Nvidia의 Jensen Huang, AI 안전은 새 법이 아니라 기업에 맡겨야 한다고 말해

Nvidia CEO Jensen Huang은 인공지능에 대한 새로운 규제 요구를 거부하며, AI 안전은 추가적인 정부 규칙이 아니라 엔지니어링, 기존 법률, 그리고 시장 압력으로 다뤄져야 한다고 주장했다.

9월 15일 Salesforce Dreamforce에서 Huang은 AI가 “외계 지성”이 아니라 사람들이 만든 컴퓨팅 시스템이라고 말했다. 그는 소프트웨어와 하드웨어이기 때문에, 기업은 제품 개발과 테스트를 통해 그 위험을 통제할 수 있어야 한다고 주장했다.

이 입장은 AI 인프라 시장에서 가장 영향력 있는 인물 중 한 명을 새로운 AI 규제에 단호히 반대하는 쪽에 서게 한다. 또한 AI 개발자와 기업 구매자들이 직면한 핵심 정책 논쟁을 부각한다. 즉, 잠재적으로 해로운 시스템을 주로 제품으로 규제해야 하는지, 아니면 점점 더 강력해지는 모델과 에이전트를 위해 특별히 설계된 규칙이 필요한지에 대한 문제다.

규제보다 엔지니어링을 강조하는 Huang의 논리

TechCrunch AI의 해당 논의 보도에 따르면, Huang은 “안전은 법적 문제가 아니라 엔지니어링 문제”라고 말했다. 그는 AI 개발을 다른 소프트웨어 및 컴퓨팅 시스템 제작과 비교하면서, 기능성, 성능, 안전성에 확신이 없을 때는 출시를 미뤄야 한다고 말했다.

Huang은 또한 자유시장이 기업들로 하여금 위험한 제품을 출시하지 않도록 하는 인센티브를 이미 제공하고 있다고 주장했다. 그의 관점에서 고객은 안정적이거나 안전하게 작동하지 않는 시스템을 거부할 것이며, 제품이 통제 불능처럼 보이면 기업은 개발 속도를 조정할 수 있다.

Nvidia 수장은 안전성과 빠른 혁신을 양립 가능한 목표로 제시했다. 그는 기업들이 필요한 경우 잠시 멈추더라도 계속 빠르게 나아가면서 제품이 준비되었는지 확인할 수 있다고 말했다. 그의 주장은 산업과 국가 전반으로 AI 채택을 확대하려는 Nvidia의 더 넓은 상업적 이해관계를 반영한다. 다만 TechCrunch가 제시한 증거만으로는 시장 인센티브만으로 심각한 피해를 막기에 충분하다고 입증되지는 않는다.

안전성 논쟁의 근거가 되는 증거

Huang의 발언은 새로운 Nvidia 안전성 연구나 독립적으로 검증된 정책 분석의 결과가 아니라 경영진의 입장이다. TechCrunch는 Salesforce 행사에서의 발언을 보도했지만, 기업의 자발적 결정이 AI 제품의 실패나 오남용을 일관되게 막는다는 데이터를 인용하지는 않았다.

소프트웨어 배포의 기록은 신중해야 할 이유를 보여준다. TechCrunch는 2024년 CrowdStrike 장애를 언급했는데, 오류가 있는 소프트웨어 업데이트가 항공사와 다른 기업들을 마비시킨 사례로, 의도치 않은 제품 실패가 출시한 회사의 범위를 훨씬 넘어서는 결과를 낳을 수 있음을 보여준다.

기사에서는 또한 메타가 자사 소셜 플랫폼에서 아동에게 해를 끼쳤다는 혐의와 관련해 180억 달러를 합의했다고 보도된 사례도 인용했다. 이 사건은 AI에 특화된 선례는 아니지만, 기업이 제품 결정의 전체 사회적 비용을 항상 내부화할 것이라고 가정하는 데 한계가 있음을 보여준다.

AI 시스템은 챗봇 상호작용 관련 혐의, 사이버보안 사건, OpenAI를 상대로 한 소송 등을 포함해 자체적인 우려를 낳아왔다. 이러한 사례들이 규제가 근본적인 피해를 막았다는 것을 증명하는 것은 아니다. 다만 시스템이 구매자나 운영자가 아닌 사람들에게 영향을 미칠 때, 내부 테스트와 고객 선택만으로 충분한 보호가 되는지 비판자들이 의문을 제기하는 이유를 보여준다.

TechCrunch가 지적했듯이 기존의 제품 책임법은 AI 제품에 적용될 가능성이 있지만, 이는 여전히 법원이 다양한 시스템, 사용 사례, 책임의 사슬 전반에서 검증해야 할 법적 문제다. 또한 출처에 따르면 Huang은 업계의 자율 규제에는 초점을 맞추지 않았는데, 이는 무제한 배포와 공식적인 정부 규칙 사이의 또 다른 경로다.

Huang의 관점이 AI 개발자에게 의미하는 것

모델 개발자와 제품 팀에게 Huang의 입장은 AI 안전을 출시 및 엔지니어링 규율로 다루는 것의 중요성을 강조한다. 여기에는 모델 동작 테스트, 배포 모니터링, 접근 제어 설정, 시스템이 예상치 않게 작동할 때의 명확한 롤백 절차 마련이 포함된다.

이러한 관행은 단순히 텍스트를 생성하는 데 그치지 않고 비즈니스 시스템에서 행동할 수 있는 AI 에이전트에 특히 중요하다. 에이전트의 실패는 고객 기록, 결제, 코드 저장소, 내부 의사결정에 영향을 줄 수 있다. 시장 압력은 사고 이후 기업에 불이익을 줄 수 있지만, 실패가 발생하기 전에 영향을 받는 사용자를 반드시 보호하는 것은 아니다.

상업적 맥락도 중요하다. Nvidia는 AI를 학습하고 배포하는 데 쓰이는 인프라의 상당 부분을 공급하고 있으며, 소프트웨어, 에이전트, 오픈 웨이트 모델, 개발 환경으로 사업을 확장하고 있다. 그 성장에는 고객들이 계속해서 대규모로 AI 시스템을 구축하고 운영하는 것이 필요하다. 이는 Huang의 안전성 주장을 무효화하지는 않지만, 독자들이 기술적 견해와 공익적 트레이드오프에 대한 독립적 평가를 구분해야 한다는 뜻이다.

기업 입장에서는 이 논의가 실질적인 실사 문제를 제기한다. 구매자는 공급업체의 내부 안전 절차가 자사 환경에서의 배포로 생기는 모든 위험을 커버할 것이라고 가정할 수 없다. 모델이나 에이전트가 피해를 초래할 경우를 대비해 계약상 보호장치, 감사권, 사고 보고, 인간의 감독, 명확한 책임 소재가 필요하다.

규제, 자율 규제, 경쟁

Huang의 발언은 AI 업계가 자율 기준이 개발 속도를 늦추지 않으면서 안전장치를 제공할 수 있는지 고민하는 시점에 나왔다. TechCrunch는 Microsoft CEO Satya Nadella가 기업과 중국을 포함한 국가들이 해킹과 시민 안전 같은 위험에 대해 우려를 공유해야 한다고 주장했다고 보도했다.

이 주장은 조율된 업계 자율 규제를 향하지만, 참여와 집행은 여전히 미해결이다. 자발적 틀은 적용 범위, 테스트 기준, 보고 의무, 그리고 이를 무시하는 기업에 대한 결과가 얼마나 강한지에 따라 강도가 결정된다. 또한 독점 시스템, 오픈 웨이트 모델, 제3자를 통해 배포되는 제품에 일관되게 적용하기 어려울 수 있다.

Huang은 오픈 웨이트 모델을 독점 AI 연구소에 대한 경쟁적 균형추로 장려해 왔다. 이 접근은 모델과 도구에 대한 접근성을 넓힐 수 있지만, 원 개발자가 예상하지 못한 방식으로 하위 사용자가 시스템을 수정, 미세 조정, 배포할 수 있어 감독을 더 복잡하게 만든다.

따라서 핵심 정책 질문은 단순히 AI가 소프트웨어인지 여부가 아니다. 광범위한 자율성, 불확실한 행동, 대규모 사회적 영향을 지닌 소프트웨어를 일반적인 상업 제품에 사용되는 것과 같은 메커니즘으로 충분히 통치할 수 있는가 하는 문제다.

앞으로 주목할 점

다음 신호는 기업들이 Huang이 설명한 안전성 입장을 어떻게 실제 운영으로 옮기는지에서 나올 것이다. 구매자와 개발자는 독립적으로 감사된 테스트, 의미 있는 사고 공개, 안전 우려가 발생할 때 벤더가 시스템을 중단하거나 철회하는 증거를 주시해야 한다.

법원 소송도 기존 제품 책임 규칙이 모델 제작자, 애플리케이션 개발자, 배포자, 사용자 사이에 책임을 어떻게 배분할 수 있는지 분명히 할 것이다. 정책 입안자들은 이런 사건들을 바탕으로 새 규칙이 필요한지, 아니면 현행법을 조정할 수 있는지 판단할 수 있다.

업계 주도의 표준도 또 다른 시험대가 될 것이다. 그 신뢰성은 주요 AI 연구소와 인프라 제공업체가 공통 정의를 채택하고, 실패에 대한 정보를 공유하며, 안전 약속을 마케팅 문구로 취급하는 대신 미준수에 대한 결과를 받아들이는지에 달려 있다.

Creati.ai 관점

Huang은 AI 안전의 많은 부분이 평가, 접근 제어, 모니터링, 엄격한 출시 절차 같은 엔지니어링 의사결정과 관련된다는 점에서 옳다. 그러나 기술적 통제와 공적 책임은 서로 대체될 수 없다. 기업은 선의로 노력하더라도 실패 모드를 놓칠 수 있고, 영향을 받는 사람들은 그로 인한 피해를 실질적으로 피할 방법이 없을 수 있다.

더 지속 가능한 접근은 기술적 안전 작업과 집행 가능한 책임을 결합하는 것이다. AI 개발자에게는 실패를 전제로 설계하고 통제를 문서화하는 것을 의미한다. 기업에게는 설명만 믿지 말고 증거를 요구하는 것을 의미한다. 그리고 정책 입안자에게는 어디에 표적화된 새 규칙이 필요한지 결정하기 전에 기존 법이 작동하는지 검증하는 것을 의미한다.