Tencent AI 책임자, 생물무기가 다가온다고 경고하며 모델 접근에 대한 중도 노선 지지
Tencent AI 책임자 Vinces Yao는 AI 기반 생물무기가 다가오고 있다고 경고하며, 더 안전한 오픈 모델에는 단순한 거부가 아니라 학습 데이터 통제가 필요하다고 말했다.
Tencent의 최고 AI 과학자인 Vinces Yao Shunyu는 AI 시스템이 곧 생물무기 개발을 도울 수 있다고 경고했다. 동시에 완전히 개방된 모델이나 완전히 폐쇄된 모델 어느 쪽도 이 위험에 대한 완전한 해답은 아니라고 주장했다.
The Decoder가 South China Morning Post가 다룬 발언을 바탕으로 보도한 Yao의 입장은 고급 AI에 개발자와 대중이 어느 정도 접근해야 하는지를 둘러싼 갈등의 중심에 Tencent를 놓는다. 그는 방어 작업을 위해 오픈 모델을 유지하면서 생물학적 또는 사이버 공격을 가능하게 할 수 있는 기능에는 더 강한 통제를 적용하는 중간 지대를 지지한다.
이 논쟁은 Tencent가 계획 중인 Hy4 출시와 직접 관련된다. 회사는 안전성 보고서와 함께 Hy4를 오픈 웨이트 모델로 공개할 예정이다. 위험한 해킹 지식을 학습 데이터에서 제거했으며 모델의 생물학적 능력은 고위험 기준보다 낮다고 말한다. 그러나 이러한 주장은 출처 자료에서 독립적으로 확인되지 않았다.
Yao가 단순한 오픈 대 폐쇄식 답변을 거부하는 이유
이전에 OpenAI에서 일했던 Yao는 두 접근 모델 모두에 장점이 있다고 보는 것으로 전해졌다. 폐쇄형 시스템은 중앙화된 안전장치를 적용하고 고급 기능을 검증된 사용자에게 제한할 수 있다. 반면 오픈 시스템은 방어 담당자가 단일 제공자의 정책이나 가용성에 의존하지 않고 모델을 점검하고 조정하며 실행할 수 있게 한다.
그는 이러한 절충을 보여주는 사례로 Hugging Face 보안 사고를 들었다. 보도에 따르면 Anthropic의 Claude를 포함한 미국의 호스팅 모델은 안전 필터 때문에 공격 명령 분석을 거부했지만, 중국의 오픈 모델 GLM-5.2는 포렌식 조사에서 로그를 분석하는 데 사용됐다.
Hugging Face 보고서가 뒷받침하는 좁은 사실은 GLM-5.2가 조사 중 사용됐다는 점뿐이며, 모델이 공격을 막았다는 뜻은 아니다. Hugging Face는 보안팀이 악용된 취약점을 패치하고 영향을 받은 서버를 재구축했으며 자격 증명을 교체한 뒤 사고를 억제했다고 밝혔다. 또한 이 사건을 호스팅 모델의 안전 필터에 반대하는 근거로 봐서는 안 된다고 강조했다.
Yao의 생물학적 위험 경고가 더 중요한 이유는 생물학에서 방어적 능력과 공격적 능력을 분리하기 어렵기 때문이다. 연구자가 병원체를 이해하거나 실험을 설계하도록 돕는 모델은 해를 끼치려는 사람의 장벽도 낮출 수 있다. The Decoder는 중국과 미국의 선도 모델 간 격차가 비교적 작기 때문에 한 국가의 시장이 아니라 업계 전체에서 주의해야 한다는 것이 Yao의 견해라고 보도했다.
증거는 양쪽의 약점을 보여준다
오픈 모델의 거부에만 의존해서는 안 된다는 주장은 사용자가 웨이트에 접근할 수 있을 때 모델에서 학습된 거부 행동을 제거하는 기술인 abliteration으로 설명된다. The Decoder는 수정된 변형 모델 수천 개가 Hugging Face에서 제공되며 Abliteration.ai는 GLM-5.3의 필터링되지 않은 버전에 대한 접근을 제공한다고 보도했다.
보고서가 인용한 연구는 현재의 방어책이 이런 수정을 어렵게 만들 수는 있지만 안정적으로 막지는 못한다고 말한다. 이로 인해 호스팅 모델과 공개 모델 사이에는 근본적인 차이가 생긴다. 제공자는 서비스를 업데이트하거나 철회할 수 있지만, 공개된 웨이트는 퍼진 뒤 회수할 수 없다.
폐쇄형 모델에는 다른 실패 방식이 있다. Anthropic과 다른 미국 기업들은 Project Glasswing과 Daybreak를 비롯한 프로그램을 통해 일부 고급 사이버 기능을 검증된 파트너에게 제한했다. Anthropic은 의심스러운 사이버·생물학 관련 프롬프트를 성능이 낮은 모델로 보내는 라우팅 통제도 사용했다. Artificial Analysis는 처음에 이 라우팅이 작업의 8~9%에 영향을 미친다고 추정했으며, 사용자들은 MRI 분석이 생물테러와 관련될 가능성이 있는 것으로 표시되는 등 오탐을 보고했다. Anthropic은 필터가 지나치게 공격적이었다고 인정했다.
이 사례들은 오픈 시스템이나 폐쇄형 시스템 중 어느 하나가 본질적으로 더 안전하다는 것을 입증하지 않는다. 오픈 모델은 웨이트 수정으로 안전장치를 잃을 수 있고, 폐쇄형 시스템은 정당한 작업을 차단하거나 속도가 중요한 상황에서 방어 담당자가 모델을 사용하지 못하게 할 수 있음을 보여줄 뿐이다. 증거는 별도 보고서와 공급자 또는 제3자 분석에서 나온 것이므로 통제된 모델 안전성 비교로 읽어서는 안 된다.
Tencent의 Hy4 전략은 통제를 학습 단계로 옮긴다
Tencent가 Hy4에서 계획하는 접근법은 학습 후 추가된 거부 행동에만 의존하지 않고 위험한 해킹 지식을 학습 데이터에서 제거하는 것이다. The Decoder가 인용한 연구자들은 모델이 거부 층을 삭제하면 잠금 해제되는 능력을 단순히 담고 있는 것이 아니므로 이런 개입이 abliteration에 더 강하다고 말한다.
Tencent는 Hy4의 생물학적 능력이 고위험 기준보다 낮다고 말한다. 이는 회사의 평가이지, 현재 이용 가능한 증거에서 독립적으로 검증된 벤치마크는 아니다. 예정된 안전성 보고서는 Tencent가 기준을 어떻게 정의하는지, 어떤 평가를 사용했는지, 제거된 지식을 재구성하려는 시도에 모델을 테스트했는지를 더 자세히 보여줄 수 있다.
중국 표준화 기관 TC260도 오픈 모델의 안전장치는 우회하거나 제거할 수 있다고 경고했으며 오픈소스 AI의 보안 표준을 개발하고 있다. 그러나 정책 차원에서는 중국과 미국 모두 특히 강력한 오픈 모델의 공개를 막을 구속력 있는 공개 기준을 마련하지 않았다. 중국의 수출통제 초안은 일부 대형 모델을 포함하지만 이미 공개된 오픈 모델은 면제한다고 전해졌다.
개발자에게 핵심 기술 문제는 데이터 필터링이 감사하기 어려운 또 하나의 주장에 그치지 않고 지속 가능한 안전 계층이 될 수 있는지 여부다. 학습 데이터 제거는 위험한 정보에 대한 직접 접근을 줄일 수 있지만, 모델 평가는 기억, 재구성, 도구 사용, 새로운 위험을 만들 수 있는 무해한 능력의 조합을 시험해야 한다.
AI 개발자와 기업 구매자에 대한 시사점
이 논쟁은 호스팅 모델과 자체 배포 모델 사이에서 선택하는 팀의 위험 계산을 바꾼다. Claude와 같은 호스팅 시스템은 정책 업데이트, 모니터링, 중앙화된 접근 통제를 제공할 수 있지만, 안전장치가 보안 업무, 과학 분석 또는 기타 정당한 업무 흐름을 방해할 수 있다. 오픈 웨이트 모델은 더 큰 통제와 오프라인 배포를 제공하지만, 테스트, 접근 관리, 로깅, 패치, 악용 방지의 책임은 구매자에게 돌아간다.
기업에 중요한 선택은 단일 모델이 아닐 수도 있다. 민감한 업무는 고위험 행동용 제한 모델, 분석용으로 더 허용적인 모델, 그리고 도구가 인프라를 변경하거나 생물학적 물질과 상호작용하기 전에 인간의 승인을 받는 다층 시스템을 사용할 수 있다. 이렇게 하면 거부 메시지가 충분한 안전장치라고 가정하지 않고도 운영상 유용성을 유지할 수 있다.
모델 개발자에게 Hy4는 학습 시점의 통제가 실제 수정과 적대적 평가를 견디는지 시험하는 사례가 될 것이다. 연구자에게는 Tencent의 생물학적 위험 평가가 표준화된 테스트에 근거하는지 내부 방법론에 근거하는지를 밝힐 수 있다. 정책 담당자에게는 공개 후 웨이트를 규제하기가 얼마나 어려운지를 다시 보여준다.
다음에 지켜볼 것
첫 번째 신호는 Tencent의 Hy4 출시와 안전성 보고서다. 학습 데이터 필터링 과정, 생물학·사이버 평가, 모델 웨이트 접근, 외부 연구자가 회사의 결론을 재현할 수 있는지에 관한 세부 사항을 봐야 한다.
두 번째 신호는 독립 사용자들이 모델의 제한을 얼마나 효과적으로 우회하거나 재구성하는지다. abliteration 시도 후에도 Hy4에서 제거된 해킹 기능을 사용할 수 없다면 Tencent의 접근법은 신뢰를 얻을 것이다. 파인튜닝, 프롬프트, 도구 통합으로 기능을 복원할 수 있다면 학습 데이터 필터링의 한계가 더 분명해진다.
시장에서는 보고된 오탐 이후 Anthropic이 라우팅 정책을 바꾸는지, 중국이나 미국이 고성능 오픈 웨이트 모델에 대해 집행 가능한 규칙을 만드는지도 지켜봐야 한다. 이러한 결정은 배포 비용과 안전 업무가 모델 제공자에서 고객으로 얼마나 이동할지를 좌우한다.
Creati.ai의 관점
Yao의 경고가 중요한 이유는 오픈 대 폐쇄 논쟁을 해결해서라기보다 접근 정책을 핵심 안전 통제로 취급하는 것의 약점을 드러내기 때문이다. 폐쇄형 모델은 방어 작업에 지나치게 제한적일 수 있고, 오픈 모델은 웨이트가 공개되면 안전장치를 잃을 수 있다. 어느 쪽도 능력 테스트, 운영 통제, 독립적 검토의 필요성을 없애지 못한다.
Tencent의 Hy4 출시는 학습 단계의 위험 저감을 시험하는 유용한 실험이 될 수 있지만, 그 의미는 오픈 웨이트라는 이름이 아니라 증거에 달려 있다. AI 개발자와 기업 구매자에게 실질적인 교훈은 위험한 프롬프트를 거부하는지만 볼 것이 아니라 모델 지식, 도구 권한, 모니터링, 롤백 선택지를 포함한 전체 배포 체인을 평가해야 한다는 것이다.
