중국 AI 모델, 통제된 테스트에서 복잡한 사이버 공격을 수행한 것으로 알려져

Reuters와 The Straits Times의 보도에 따르면, 중국 AI 모델이 통제된 테스트에서 복잡한 사이버 공격을 수행한 것으로 알려졌다. 이 발견이 중요한 이유는 점점 더 강력해지는 AI 시스템이 고립된 보안 작업을 넘어 공격 과정에서 여러 단계를 조율할 수 있음을 시사하기 때문이다.

현재 확인 가능한 보도는 해당 활동이 연구진이 수행한 통제된 테스트였으며, 실제 침입이 확인된 것은 아니라고 설명한다. 이 보고서에 제공된 자료에는 해당 모델과 개발사, 테스트 환경, 구체적인 표적 또는 성공률이 명시되어 있지 않다. 이러한 정보가 없기 때문에 시스템이 얼마나 고도화되었는지, 또는 해당 실험이 실제 사이버 위험을 얼마나 가깝게 반영했는지 평가하기 어렵다.

보도된 테스트가 보여주는 것과 보여주지 않는 것

Reuters와 The Straits Times의 핵심 주장은 중국 AI 모델이 통제된 환경에서 복잡한 사이버 공격을 완료했다는 것이다. 여기서 확인할 수 있는 어느 출처의 발췌문도 취약점 발견, 자격 증명 탈취, 측면 이동, 지속성 확보, 데이터 추출 또는 명령·제어 활동과 같은 작업에 대한 기술적 설명을 제공하지 않는다.

이 구분은 중요하다. 모델은 익스플로잇 코드를 생성하거나 공격 단계를 제안하거나 보안 도구를 조작할 수 있지만, 그렇다고 독립적으로 처음부터 끝까지 침입을 완료했다는 의미는 아니다. 반대로 제한적인 인간 개입만으로 여러 연결된 작업을 계획하고 실행할 수 있는 시스템이라면 방어자와 공격자 모두에게 더 중대한 변화를 의미할 것이다.

“통제된 테스트”라는 표현은 보고된 활동이 확인된 실제 피해자를 상대로 한 것이 아니라 평가를 위해 설계된 환경에서 진행되었음을 뜻한다. 따라서 현재의 증거는 역량에 대한 우려를 뒷받침하지만, 해당 모델이 확인된 범죄 또는 국가 지원 공격에 사용되었다고 주장할 근거는 제공하지 않는다.

증거는 여전히 제한적이다

Reuters와 The Straits Times가 이 사건에 대해 인용된 두 출처이며, 두 매체 모두 중국 AI 모델이 통제된 테스트에서 복잡한 사이버 공격을 수행했다고 연구진이 밝혔다고 폭넓게 설명한다. 제공된 자료에는 연구 논문, 테스트 로그, 모델 문서, 연구진의 직접 인용 또는 독립적인 재현 결과가 포함되어 있지 않다.

따라서 가장 강하게 내릴 수 있는 결론도 제한적이어야 한다. 보도는 연구진이 중요하다고 판단한 행동을 관찰했다는 점을 시사한다. 그러나 모델이 자율적으로 작동했는지, 얼마나 많은 프롬프트나 도구 접근 권한을 받았는지, 인간이 각 단계를 승인했는지, 기존 AI 시스템 및 전통적인 보안 도구와 비교해 어떤 성능을 보였는지는 입증하지 않는다.

이러한 질문은 AI 모델에 대한 주장을 평가할 때 특히 중요하다. 네트워크 설계, 사용 가능한 도구, 작업 지침, 권한 및 평가 방식에 따라 결과는 크게 달라질 수 있다. 사전에 준비된 실험실 환경에서 수행된 벤치마크는 실제 역량을 보여줄 수 있지만, 방어가 적용된 운영 네트워크를 상대로 시스템이 달성할 수 있는 수준을 과대평가할 수도 있다.

현재 확인 가능한 증거에는 모델명이 없기 때문에 DeepSeek 또는 다른 중국 AI 제품과 직접 비교하는 것도 불가능하다. 연구진이나 원문 보고서에서 더 많은 정보가 나오기 전에는 해당 행동을 특정 회사나 모델 계열의 성과로 돌리는 것은 시기상조다.

보안팀에 이 발견이 중요한 이유

이러한 한계에도 불구하고, 이번 보도는 방어자들에게 실질적인 우려를 제기한다. AI가 정찰에서 익스플로잇으로 이동하는 데 필요한 시간을 단축할 수 있다는 점이다. 강력한 시스템은 운영자가 많은 표적을 검색하고, 실패한 시도 뒤에 지침을 조정하며, 스크립트를 작성 또는 수정하고, 여러 보안 도구를 통한 행동을 연결하도록 지원할 수 있다.

기업 보안팀이 당장 해결해야 할 문제는 AI가 도움 없이 공격의 모든 단계를 수행할 수 있는지 여부가 아니다. 핵심은 이 기술이 대규모 공격을 시도하는 데 필요한 전문성, 비용 또는 시간을 낮추는지 여부다. 침입의 일부 단계만 안정적으로 처리하는 모델이라도 취약점 관리, 신원 및 접근 통제, 엔드포인트 모니터링, 사고 대응팀에 대한 부담을 높일 수 있다.

동일한 역량은 방어 작업에도 활용될 수 있다. 보안 연구진은 AI를 사용해 취약점을 재현하고, 테스트 사례를 생성하며, 코드를 검토하고, 공격자를 모의할 수 있다. 그러나 이러한 활용에는 엄격한 격리, 제한된 권한, 감사 로그 및 승인 통제가 필요하다. 이번 테스트 결과는 도구 접근 권한을 가진 AI 시스템을 일반적인 채팅 인터페이스가 아니라 운영 행위자로 다뤄야 한다는 점을 재확인한다.

AI 에이전트를 개발하는 제작사에는 이번 이야기가 권한 부여와 격리에 관한 질문을 제기한다. 네트워크를 탐색하고 코드를 실행하거나 보안 도구를 호출할 수 있는 제품은 명시적인 범위 제한, 영향이 큰 작업에 대한 인간 검토, 프롬프트 조작 방지 장치를 갖추도록 설계되어야 한다. 원시적인 능력만큼이나 신뢰성도 중요하다. 때때로 창의적이지만 예측할 수 없는 에이전트는 공격자와 정상적인 사용자 모두에게 위험을 초래할 수 있다.

시장 및 정책적 영향

이번 보도는 중국 AI 개발사와 국제 연구소 간 경쟁이 코딩, 도구 사용 및 자율적 작업 수행을 점점 더 포함하는 가운데 나왔다. 사이버 보안은 모델 역량의 향상이 방어적 가치를 만들어내는 동시에 악용 가능성도 키울 수 있는 가장 분명한 분야 중 하나다.

기업 구매자에게 이번 사건은 일반적인 추론 또는 코딩 벤치마크만으로 AI 제품을 평가해서는 안 되는 또 하나의 이유다. 구매자는 모델에 자격 증명, 네트워크 접근 권한, 셸 도구 또는 민감한 문서가 주어졌을 때 어떻게 행동하는지, 어떤 작업을 거부하는지, 그러한 거부를 어떻게 우회할 수 있는지, 그리고 모든 도구 호출을 사후에 검토할 수 있는지를 물어야 한다.

정책 입안자에게 통제된 시연은 유용한 신호이지만 실제 영향에 대한 증거를 대신할 수는 없다. 효과적인 감독을 위해서는 더 명확한 테스트 기준, 자율성과 도구 접근에 관한 공개, 무해한 보안 연구와 거의 감독 없이 공격을 수행할 수 있는 시스템을 구분할 방법이 필요하다.

이번 보도는 소통상의 과제도 부각한다. “복잡한 사이버 공격”이라는 포괄적인 표현은 관심을 끌 수 있지만, 코드 생성, 부분적인 작업 완료 및 처음부터 끝까지 성공한 작전의 차이를 가릴 수 있다. 연구진과 공급업체는 위험한 작전 지침을 공개하지 않으면서도 외부 전문가가 이러한 차이를 평가할 수 있도록 충분한 방법론을 공개해야 한다.

다음으로 주목할 점

가장 중요한 후속 조치는 모델과 연구진의 신원이다. 모델명이 공개되고 기술 논문, 평가 보고서 또는 테스트 저장소가 제공되면 보안팀은 헤드라인 수준의 설명에 의존하지 않고 해당 주장을 검토할 수 있다.

독자는 공격 경로, 인간의 개입, 도구 권한, 표적 환경, 실패율 및 비교 기준에 관한 세부 사항도 살펴봐야 한다. 모델의 행동이 특정 목적을 위해 구축된 테스트베드를 넘어 일반화되는지를 보여주는 증거와 함께 독립적인 재현이 특히 중요하다.

그 밖에 주목할 신호로는 모델 개발사가 접근 통제를 변경하거나 새로운 보호 장치를 도입하거나 보안 평가를 공개하는지, 방어 연구진이 결과를 재현하는지, 사고 대응팀이 실제 환경에서 관련 AI 지원 활동을 관찰하는지가 있다. 이러한 신호가 나타나기 전까지 이번 발견은 심각한 역량 경고로 받아들여야 하며, 광범위한 자율 사이버 공격의 증거로 간주해서는 안 된다.

Creati.ai의 관점

이 이야기의 중요성은 모델의 국적보다는 AI 에이전트와 현실 세계의 도구가 점점 더 연결되고 있다는 점에 있다. 보고된 테스트에 의미 있는 수준의 자율성이 포함되었다면, 이는 모델이 익스플로잇을 작성하거나 취약점을 설명할 수 있는지만이 아니라 완전한 작업 흐름을 측정해야 하는 이유를 보여준다.

현재 확인 가능한 증거는 특정 제품이나 임박한 위협에 대한 주장을 뒷받침하기에는 너무 제한적이다. 그러나 AI 시스템이 코드나 네트워크와 상호작용할 수 있을 때 권한, 격리, 모니터링 및 인간 승인에 관한 더욱 엄격한 테스트가 필요하다는 점을 정당화하기에는 충분하다. 제작사와 기업 구매자에게 통제된 접근과 감사 가능한 행동은 선택적인 보안 기능이 아니라 핵심 제품 요건으로 취급되어야 한다.