캘리포니아의 AI ‘킬 스위치’ 명령, 비상 통제와 독립 감사 도입을 의제로 올리다
개빈 뉴섬 캘리포니아 주지사가 AI 모델 킬 스위치와 독립 연구소 감사인을 요구하는 명령에 서명하며 AI 안전에 대한 주 차원의 압박을 강화했다.
개빈 뉴섬 캘리포니아 주지사는 AI 기업에 대한 더 강력한 감독을 요구하는 행정명령에 서명했으며, 여기에는 비상시 AI 모델을 비활성화할 수 있는 “킬 스위치”와 AI 연구소 내부에 배치되는 독립 감사인에 대한 권고가 포함된다. 이번 조치는 공개나 테스트만이 아니라 고급 모델에 대한 운영 통제를 캘리포니아의 AI 정책 논의의 중심에 올려놓는다.
이 명령은 최종적인 기술 표준을 수립하거나 모든 모델 개발자에게 즉각적으로 보편적인 종료 메커니즘 설치를 요구하는 것으로 보이지는 않는다. The Decoder에 따르면, 전문가 패널은 제안된 안전장치에 대한 권고안을 두 달 안에 제시해야 한다. 현재 공개된 보도는 패널의 구성원, 종료를 유발할 조건, 클라우드 호스팅·오픈 웨이트·로컬 배포 시스템 전반에서 킬 스위치가 어떻게 작동할지 밝히지 않는다.
뉴스섬의 명령이 바꾸려는 것
이 행정명령은 AI 기업에 대한 독립적 감독을 가속화하고, 중대한 위험을 초래한다고 판단되는 모델을 멈추거나 억제하는 방법을 모색하도록 설계됐다. The Decoder는 검토 중인 권고 중 하나로 독립 감사인을 AI 연구소 내부에 직접 배치해, 시스템을 만드는 조직 내부에서 외부 검토자가 개발과 안전 관행을 감시할 수 있게 하는 방안을 보도했다.
“킬 스위치”라는 표현은 정치적으로는 명확하지만 기술적으로는 광범위하다. 종료 제어는 호스팅된 모델에 대한 접근 비활성화, 자격 증명 철회, 학습 실행 중단, 애플리케이션 프로그래밍 인터페이스 차단, 모델 가중치 배포 제한 등을 의미할 수 있다. 이러한 메커니즘은 집행과 신뢰성에 서로 다른 함의를 갖는다.
제품 팀에게 이 차이는 중요하다. 기업은 일반적으로 자신이 통제하는 API 서비스를 중단할 수 있지만, 이미 다운로드되었거나 미세조정되었거나 다른 인프라에 복사되었거나 제3자 소프트웨어에 통합된 모델을 비활성화할 능력은 더 제한적일 수 있다. 따라서 이 명령의 권고는 제어 수단이 존재하는지뿐 아니라, 누가 소유하고 누가 활성화할 수 있으며, 더 큰 보안 또는 가용성 문제를 만들지 않고 사용할 수 있는지도 다뤄야 한다.
제안의 배경이 된 사건과 정책 공백
The Decoder는 뉴스섬의 조치를 Hugging Face 관련 공격을 포함한 최근 AI 관련 사건들과 연결했다. 그러나 공개된 증거는 그 사건에 대한 추가 세부 정보를 제공하지 않으며, 모델 종료가 이를 막았을 것이라고 입증하지도 않는다. 다만 이 명령의 정치적 논리를 보여준다. 즉, AI 안전 조치는 실험실 평가에서의 모델 행동만이 아니라 주변 인프라와 배포 생태계까지 포괄해야 할 수 있다는 것이다.
뉴스섬은 또한 현재 연방 법률에는 AI 기업이 위험한 사건을 보고하도록 요구하는 조항이 없다고 주장했다. The Decoder가 전한 이 주장은, 캘리포니아의 접근을 전국적 보고·감독 공백을 메우려는 시도로 규정한다. 뉴스섬은 의회가 캘리포니아의 AI 규칙을 전국 기준으로 채택하라고 촉구해 왔다.
이 정책은 AI를 어떻게 통치해야 하는지를 둘러싼 미해결의 연방-주 갈등 속에서 나왔다. The Decoder는 뉴스섬이 AI 연구소들이 공포를 조장한다고 비난한 도널드 트럼프를 비판했다고 보도했다. 이 정치적 공방은 모델 안전, 사건 보고, 통제 부과 권한을 주, 의회, 업계 중 누가 주도해야 하는지에 대한 더 큰 논쟁 속에 위치시키기 때문에 중요하다.
확인된 것과 아직 제안 단계인 것
확인된 사건은 더 빠른 독립 감독과 모델 킬 스위치에 대한 권고를 요구하는 행정명령의 서명이다. The Decoder에 따르면 다음 공식 단계는 두 달 안에 예상되는 전문가 패널 보고서다. 소식통은 캘리포니아가 이미 집행 기관을 지정했는지, 기술 설계를 승인했는지, 또는 특정 AI 기업들에 직접적인 종료 의무를 부과했는지는 말하지 않는다.
독립 감사인 제안도 명확화가 필요하다. 감사인은 안전 문서를 검토하거나, 테스트 결과를 점검하거나, 사건 대응을 모니터링하거나, 내부 개발 시스템에 접근할 수 있다. 각 접근 방식은 기밀성, 책임, 이해충돌, 그리고 독점 모델 연구 접근에 대해 서로 다른 부담을 만든다.
The Next Web의 보도는 이 조치를 뉴스섬이 캘리포니아를 위한 AI 킬 스위치를 제안한 것으로 묘사했지만, 제공된 증거에는 전체 기사 본문이 없었다. 따라서 이용 가능한 세부 사항에 대해서는 The Decoder가 더 강한 출처이며, 명령의 법적 문구와 실행에 대한 중요한 질문은 여전히 남아 있다.
제안의 정치적 논리는 더 넓은 위험 논쟁의 지지를 받는다. The Decoder는 또한 42명의 수학자가 가까운 미래에 급속히 발전할 수 있는 고급 AI 시스템에 대해 경고했다고 보도했다. 이 경고는 특정 모델이 종료 제어를 필요로 한다는 증거는 아니지만, 큰 사고가 발생하기 전에 정책 입안자들이 개입 메커니즘을 고려하는 이유를 설명하는 데 도움이 된다.
AI 개발자와 기업 구매자에 대한 시사점
만약 캘리포니아가 이 명령을 집행 가능한 규칙으로 전환한다면, 모델 개발자는 배포 아키텍처의 일부로 비상 통제를 문서화해야 할 수 있다. 여기에는 버전 수준 종료 절차, 접근권 철회, 사건 에스컬레이션 경로, 감사 로그, 테스트된 복구 계획 등이 포함될 수 있다. 제3자 모델을 사용하는 개발자도 제공자가 서비스를 중단하고 그 이유를 중요 워크플로를 예기치 않게 방해하지 않으면서 전달할 수 있다는 계약상 확인이 필요할 수 있다.
독립 감사인은 연구소가 연구와 제품 개발을 조직하는 방식에도 영향을 줄 수 있다. 외부 검토자는 안전 주장을 평가할 수 있을 만큼 충분한 접근 권한이 필요하고, 기업은 지식재산과 사용자 데이터에 대한 보호장치를 원할 것이다. 기업 구매자에게 감사인의 존재는 조달 신호가 될 수 있지만, 감사 범위, 독립성, 시정 요구사항이 투명할 때에만 그렇다.
이번 제안은 중앙집중형 AI 배포와 분산형 AI 배포의 차이도 드러낼 수 있다. 호스팅된 코딩 어시스턴트나 기업용 챗봇 같은 관리형 API에는 킬 스위치가 비교적 쉽다. 그러나 오픈 웨이트 모델, 고객 인프라에서 실행되는 자율 시스템, 그리고 원 개발자의 직접 통제를 넘어 미세조정된 애플리케이션에는 더 어렵다.
그렇다고 비상 통제가 무의미해지는 것은 아니다. 이는 정책 입안자들이 통제하려는 위험을 정의해야 한다는 뜻이다. 제공자의 서비스를 중단하는 것, 모델이 외부 도구에 접근하지 못하게 하는 것, 손상된 배포를 봉쇄하는 것은 서로 다른 목표다. 이를 하나의 보편적 스위치로 취급하면, 단호해 보이지만 구현이나 검증이 어려운 규칙이 나올 수 있다.
앞으로 주목할 점
전문가 패널의 보고서는 이 발표가 실현 가능한 정책으로 발전하는지 가늠하는 첫 번째 큰 시험대다. 핵심 신호는 “킬 스위치”의 정의, 활성화를 정당화할 수 있는 사건 또는 위험 임계치, 그리고 프론티어 연구소, 애플리케이션 개발자, 오픈 모델 배포자에 따라 권고가 달라지는지 여부다.
개발자들은 제안된 독립 감사인에 대한 세부 사항도 주시해야 한다. 누가 임명하는지, 어떤 시스템을 검사할 수 있는지, 이해충돌을 어떻게 다루는지, 그리고 결과가 공개되는지 여부다. 기업팀은 캘리포니아의 프레임워크가 공급업체 계약, 모델 호스팅, 사건 통지, 오픈 웨이트 모델 사용에 영향을 미칠 수 있는지 알고 싶어할 것이다.
마지막으로, 의회와 AI 기업들의 반응은 캘리포니아 규칙이 전국적 기준점이 될지, 아니면 주 차원의 실험으로 남을지를 보여줄 것이다. 뉴스섬의 주장은 부분적으로 전국적 의무의 부재에 기반하므로, 연방 차원의 사건 보고 제안이 언제, 어떤 내용으로 나오는지는 특히 중요하다.
Creati.ai 관점
뉴스섬의 명령이 중요한 이유는 캘리포니아가 이미 작동하는 킬 스위치를 도입했기 때문이 아니라, 모델의 비상 통제를 구체적인 규제 목표로 만들었기 때문이다. 실제 가치는 패널이 그 구호를, 모델이 어떻게 호스팅·복제·미세조정되고 도구와 연결되는지에 맞는 좁게 정의된 제어로 번역할 수 있느냐에 달려 있다.
AI 기업과 구매자에게 당장의 교훈은 종료와 봉쇄를 단순한 컴플라이언스 문구가 아니라 아키텍처 문제로 다루라는 것이다. 명확한 소유권, 철회 가능한 접근권, 세부 로그, 검증된 사건 절차를 갖춘 시스템은 모델 동작과 인프라가 여러 공급업체에 걸쳐 분산된 시스템보다 관리하기 쉽다. 캘리포니아의 다음 권고는 그 개입이 이러한 운영 현실을 반영할 수 있는지를 보여줄 것이다.
