Anthropic CEO, AI 개발 속도를 늦추는 계획 제시

Anthropic CEO 다리오 아모데이는 최첨단 AI 개발의 속도를 늦출 것을 촉구하며, 최근의 발전이 구축 중인 시스템의 역량과 위험을 모두 키웠다고 주장했다. 그는 선도적인 AI 기업 내부에 독립 평가자를 두고, 안전 기준에 대한 조율을 진행하며, 위험한 용도에 대한 제한적 국제 합의를 제안했다.

이 제안은 AI 위험에 대한 광범위한 경고에서 개발을 제약할 구체적 메커니즘으로의 전환을 의미한다. OpenAI CEO 샘 알트먼은 OpenAI도 기업들이 “프런티어의 속도를 맞춰야 한다”는 데 동의한다고 말했고, 내장형 평가자를 도입하겠다고 시사했지만 구체적인 실행 계획은 제시하지 않았다. SpaceX CEO 일론 머스크도 아모데이의 입장을 공개적으로 지지했다.

아모데이가 더 느린 프런티어 AI를 요구하는 이유

새 블로그 글에서 아모데이는 AI 기업들이 더 신중한 접근을 취해야 한다고 확신하게 된 두 가지 사건이 있었다고 말했다. 보도된 OpenAI-HuggingFace 해킹과, 그가 AI 역량의 급격한 가속이라고 표현한 상황이다. 그는 특히 시스템이 차세대 AI 구축을 돕는 능력이 더 좋아지고 있다는 점에 큰 비중을 뒀다.

아모데이의 주장은 AI 개발을 포기하자는 것이 아니다. 오히려 그는 모델 능력이 향상되는 속도를 줄이고, 추가 시간을 안전 관행을 강화하는 데 써야 한다고 말했다. 그는 AI가 사람들의 삶을 크게 개선할 수 있다고 보면서도, 그 이익은 기술을 더 신중하게 구축하고 배포하는 데 달려 있다고 주장했다.

이 시점은 주요 AI 연구소 안팎의 압박이 커지고 있음을 보여주기도 한다. TechCrunch는 Anthropic 연구원 제이콥 콕슨이 선도 기업들이 받아들일 수 없는 위험을 감수하고 있다는 우려로 사임했다고 전했다. 아모데이의 글은 그 사임을 직접 언급하지 않았고, 공개된 증거만으로는 그 사임이 그의 제안을 직접 촉발했다고 볼 수 없다. 다만 AI 안전성 논쟁이 프런티어 모델 조직 내부에서도 더 눈에 띄게 되었다는 점은 보여준다.

내장형 평가자는 내부 접근 권한을 갖게 된다

아모데이의 가장 즉각적인 제안은 제3자 안전 평가자를 프런티어 AI 기업 내부에 배치하는 것이다. 그는 METR 같은 조직을 예로 들며, 이들이 기업이 속도와 안전에 대한 약속을 지키고 있는지 확인하고 중요한 사고가 보고되도록 도울 수 있다고 말했다.

제안된 방식에서는 평가자들에게 회사 신분증, 작업 공간, 노트북, 그리고 내부 위험평가 팀과 대체로 비슷한 수준의 접근권이 부여된다. 아모데이는 법이나 계약이 요구하는 경우 예외가 적용될 수 있다고 말했다. 그는 이 모델을 사후 공시만 기대하는 대신 금융기관 내부에서 일하는 규제 당국에 비유했다.

아모데이의 글에 따르면 Anthropic은 이 접근법에 “일방적으로 약속”하고 있다. 알트먼은 이 아이디어를 좋다고 평가하며 OpenAI도 같은 방식으로 하겠다고 했지만, 자세한 내용은 추후 공개하겠다고 말했다. 이런 약속은 독립적으로 검증된 운영 프로그램이 아니라 경영진의 발언에 머물러 있다. 현재까지 공개된 증거는 평가자의 권한, 보고 체계, 자금 조달, 결과 공개 능력을 구체적으로 밝히지 않는다.

이 구분은 AI 개발자와 기업 구매자에게 중요하다. 접근권은 있지만 출시를 멈출 권한이 없는 평가자는 의사결정을 바꾸지 않으면서 가시성만 제공할 수 있다. 반대로 진정으로 독립적인 검토 기능은 모델 출시 일정, 접근 정책, 사고 대응, 그리고 고객이 민감한 업무 흐름에 AI 에이전트를 배포하기 전에 받는 근거에 영향을 줄 수 있다.

조율은 경쟁 및 반독점 장벽에 부딪힌다

아모데이는 또한 민주주의 국가의 주요 AI 기업들이 공통의 안전 기준과 무제한적 진보에 대한 제한을 조율해야 한다고 제안했다. 그는 경쟁사 간의 직접 조율은 반독점 우려를 낳을 수 있으며, 특히 기업들이 공동으로 제품을 제한하거나 경쟁을 늦추는 듯 보일 경우 더 그렇다고 인정했다.

그의 해법은 미국 정부가 중재하거나 좁게 정의된 안전 논의를 가능하게 하고, 제한적인 반독점 면제를 제공하는 것이었다. 이 제안은 정책 입안자들이 기술적 안전 협력과 반경쟁적 행위를 구분해야 함을 요구한다. 원문에는 그러한 면제가 존재한다는 संकेत도, 각국 정부가 이를 만들기로 합의했다는 내용도 없다.

지정학적 도전도 마찬가지로 크다. AI 개발 속도 저하를 비판하는 사람들은 종종 규제가 중국의 추격을 허용할 수 있다고 주장한다. 아모데이는 강력한 칩과 반도체 제조 장비에 대한 수출 통제, 그리고 모델 증류에 대한 더 강경한 대응이 결합되면 향후 3~5년 동안 미국의 우위를 확대할 수 있다고 반박했다.

이는 확정된 결과가 아니라 전략적 판단이다. 집행, 국내 혁신의 속도, 중국이 제한된 하드웨어와 소프트웨어를 대체할 수 있는 능력, 그리고 동맹국 정부의 조율 의지에 달려 있다. 따라서 아모데이의 제안은 AI 안전 정책을 산업 정책 및 국가안보 결정과 연결하며, 모델 개발을 기업 연구실에 국한된 문제로 보지 않는다.

가장 좁은 길은 전 세계 안전 규칙일 수 있다

아모데이의 마지막 제안은 가능하다면 미국, 동맹국, 그리고 권위주의 정부 간의 국제 조율이었다. 그는 중국과의 협력에는 명확한 한계가 있음을 인정했지만, 정부들이 명백히 위험한 소수의 응용 분야에 대해서는 합의할 수 있다고 제안했다.

그는 AI를 활용한 생물무기 생산을, AI 개발 전반에 대한 광범위한 글로벌 합의보다 좁은 금지 조치가 더 실현 가능할 수 있는 영역의 예로 들었다. 이런 규칙은 모델 역량을 둘러싼 더 넓은 논쟁을 해결하지는 못하겠지만, 고위험 용도에 대한 최소한의 경계를 만들 수 있다.

이 접근은 더 넓은 신뢰 문제에도 대응한다. 아모데이는 AI에 대한 대중의 반발이 기술 기업, 기술 분야, 정부에 대한 회의론을 반영한다고 주장했다. TechCrunch가 인용한 기자 브라이언 머천트를 포함한 업계 비판자들은 종말론적 시나리오가 단계별 증거로 충분히 뒷받침되는지 의문을 제기했고, 포괄적인 안전 제안이 Anthropic과 OpenAI의 시장 지위를 강화할 수 있다고 경고했다.

이 비판은 핵심적인 신뢰성 문제를 부각한다. 더 많은 감독을 요구하는 기업들이 표준, 접근 규칙, 속도 제한을 정의하는 데도 참여하게 되기 때문이다. 독립적 거버넌스는 안전 조율이 규제 포획이나 기존 연구소를 새로운 경쟁자로부터 보호하는 장치가 되는 것을 막아야 한다.

다음에 주목할 점

단기적으로 가장 분명한 신호는 OpenAI가 내장형 평가자에 대한 구체적 계획을 발표하는지 여부다. 여기에는 독립성, 접근 권한, 에스컬레이션 권한, 사고 보고 의무가 포함된다. Anthropic의 자체 실행도 마찬가지로 중요하다. 공개 약속만으로는 평가자가 배포 결정에 영향을 줄 수 있는지 알 수 없다.

정책 입안자들의 반응은 두 번째 시험대가 될 것이다. 안전 논의에 대한 제한적 반독점 보호, 공식적인 사고 보고 요건, 프런티어 모델 개발 접근을 규정하는 규칙 관련 제안을 주목하라. 어떤 정부 조치든 아모데이의 아이디어가 경영진의 발언을 넘어설 수 있는지 드러낼 것이다.

AI 개발자와 기업 고객도 이런 약속이 출시 주기, 모델 접근성, 안전 문서, 고위험 기능 제한에 어떤 영향을 미치는지 살펴야 한다. 속도 조절이 실제로 운영되면 기업은 모델 업데이트는 느려지지만 신뢰성과 오남용 위험에 대한 더 강한 증거를 얻을 수 있다. 자발적 수준에 머문다면, 점점 더 강력한 시스템을 출시하려는 경쟁 압력은 그대로 지속될 것이다.

Creati.ai 관점

아모데이의 발표가 중요한 이유는 “프런티어의 속도를 맞춘다”는 표현을 제안된 운영 모델로 바꿨기 때문이다. 즉, 연구소 내부의 외부 평가자, 공통의 안전 논의, 제한된 국제 규칙이다. 하지만 제안은 아직 약속 단계에 있다. 그 가치는 평가자들이 진정으로 독립적인지, 그리고 안전 결과가 출시를 지연시키거나 바꿀 수 있는지에 달려 있다.

시장에 대한 긴장은 단순히 빠른 AI 개발과 느린 AI 개발의 문제가 아니다. 감사하기 어려운 속도와, 신뢰할 수 있는 감독이 동반된 속도 사이의 문제다. 개발자와 구매자는 Anthropic과 OpenAI의 최신 발언을 거버넌스 기대가 바뀌고 있다는 신호로 받아들여야 하며, 아직 프런티어 개발이 실질적으로 둔화되었다는 증거로 보아서는 안 된다.