AIUC, 기업용 AI 에이전트 테스트 및 인증 위해 4,000만 달러 조달
AIUC는 기업 안전을 위한 AI 에이전트 인증을 위해 4,000만 달러를 조달했으며, 수천 개의 테스트로 탈옥, 환각, 데이터 유출을 평가합니다.
Artificial Intelligence Underwriting Company(AIUC)는 초기 Anthropic 직원과 AI 안전 조직 METR의 전 최고운영책임자(COO)가 설립한 스타트업으로, AI 에이전트를 위한 독립적인 테스트 및 인증 계층을 구축하기 위해 4,000만 달러를 조달했다.
TechCrunch에 따르면 시리즈 A는 Ribbit Capital이 주도했으며 First Harmonic이 참여했다. 이번 라운드로 AIUC의 총 조달액은 앞서 보도된 Nat Friedman의 NFDG, Emergence, Terrain, 그리고 Anthropic 공동창업자 Ben Mann이 지원한 1,500만 달러 시드 라운드를 포함해 5,500만 달러에 이른다.
AIUC가 겨냥하는 것은 기업의 점점 커지는 우려, 즉 AI 시스템이 단순히 작업을 완료할 수 있는지가 아니라 비즈니스 워크플로 안에서 신뢰할 수 있게 작동할 수 있는가 하는 점이다. 회사가 제안한 AIUC-1 표준은 보안 및 비즈니스 프로세스 전반의 통제를 평가하는 데 널리 쓰이는 SOC 2를 일부 모델로 삼았다.
AI 에이전트를 위한 인증 계층
AIUC는 초기 Anthropic 직원이었던 Rune Kvist와, 2024년부터 2025년까지 METR의 COO를 지냈고 현재도 이사회에 남아 있는 Rajiv Dattani가 설립했다고 TechCrunch는 전했다. 창업자들은 회사를 AI 에이전트를 만들거나 배포하는 기업을 위한 독립 평가자로 포지셔닝하고 있다.
이 스타트업은 기업 구매자들이 에이전트를 구매하기 전에 무엇을 알고 싶어 하는지 정의하는 데 도움을 주기 위해 약 250명의 보안 및 리스크 리더로 구성된 컨소시엄을 꾸렸다고 밝혔다. Dattani는 TechCrunch에 이러한 논의가 AIUC가 시스템을 평가하는 데 사용하는 테스트의 기초가 된다고 말했다.
AIUC에 따르면 자사의 테스트 서비스는 탈옥, 환각, 데이터 유출과 같은 영역을 포함한 약 5,000개의 시나리오에 에이전트를 투입한다. 이 과정은 시스템이 신뢰할 수 있게 동작하는 부분과 구매자가 제한이나 추가 통제를 적용해야 하는 부분을 식별하는 약 100페이지 분량의 보고서를 생성한다.
테스트 자체는 AI 에이전트의 도움을 받아 진행되며, 생성된 데이터를 분석하는 데도 AI가 사용된다. Kvist에 따르면 최종 감사는 사람이 검증한다. 이러한 인간 검토는 자동화된 평가자가 같은 사각지대를 그대로 물려받거나, 모델의 행동을 잘못 해석하거나, 미묘한 보안 문제를 알아채지 못할 수 있기 때문에 중요하다.
모델 역량에서 운영 리스크로
이 회사의 제안은 기업들이 기업용 AI를 평가하는 방식이 바뀌고 있음을 보여준다. 벤치마크에서 좋은 성능을 내는 에이전트라도 기밀 정보를 유출하거나 악의적인 지시를 따르거나 권한 밖의 행동을 할 수 있다면 금융, 의료, 정부, 고객 서비스 워크플로에는 부적합할 수 있다.
Kvist는 TechCrunch에 많은 조직이 더 이상 AI 모델의 역량 부족만을 이유로 주저하는 것은 아니라고 말했다. 대신 고객과 규제 당국에 대한 약속 범위 안에서 시스템이 동작할 것이라는 보장이 필요하다는 것이다. AIUC의 접근 방식은 공급업체의 내부 테스트에만 의존하지 않고 배포 전에 검토할 수 있는 증거를 제공하는 데 목적이 있다.
회사는 고객으로 Cursor, Lovable, Harvey, ElevenLabs를 언급한다. 그러나 출처에는 이러한 관계의 범위, 어떤 제품이 평가되었는지, 또는 해당 회사들이 AIUC-1 인증을 완료했는지에 대한 세부 정보가 없다. 따라서 이러한 도입 신호는 독립적으로 검증된 고객 결과가 아니라 회사 측의 주장으로 받아들여야 한다.
회사명에 "underwriting"이 들어 있지만 AIUC의 비즈니스 모델은 전통적인 보험과도 다르다. 제시된 내용은 AI 시스템으로 인한 손실을 보장하는 것이 아니라 테스트 및 인증 서비스다. 당장의 제품은 조달 및 배포 결정을 지원하기 위한 평가 계층이다.
METR 스타일 평가와의 비교
Dattani의 METR 경력은 AIUC를 AI 평가의 확립된 영역과 연결해 준다. METR는 최전선 AI 연구소들과 협력해 에이전트가 작업을 안정적으로 수행할 수 있는지 측정해 왔다. 이 연구는 OpenAI의 Hugging Face incident와 관련된 작업을 포함해 모델 행동을 조사하는 데에도 사용됐다.
AIUC는 자사의 초점이 더 넓고 기업 지향적이라고 말한다. 주로 작업 성능에 집중하기보다 AIUC-1 프로세스는 에이전트가 실제 비즈니스 데이터, 도구, 사용자와 상호작용할 때 나타날 수 있는 보안 및 신뢰성 실패를 살펴보도록 설계되었다.
이 차이는 구매자에게 중요하다. 통제된 평가에서는 작업을 성공적으로 완료한 시스템도 실제 운영 환경에서는 제한된 권한, 모니터링, 사람의 승인, 제한된 운영 환경이 필요할 수 있다. 독립 테스트는 조달 팀이 시스템을 비교하는 데 도움이 될 수 있지만, 인증이 모델 업데이트, 도구 변경 또는 새로운 공격 기법 이후에도 에이전트가 안전하게 유지된다고 보장하지는 못한다.
외부 평가라는 더 넓은 개념도 최전선 모델 기업들 사이에서 관심을 끌고 있다. Anthropic CEO Dario Amodei는 최전선 개발에서 더 큰 주의를 요구하며, 독립 평가자가 AI 연구소의 안전성 작업을 관찰하고 검증할 수 있다고 제안했다. AIUC는 고객 현장에 평가자를 상주시킬 것을 제안하는 것은 아니지만, 창업자들은 관련된 원칙을 추구하고 있다. 강력한 시스템을 신뢰하기 전에 조직은 독립적인 증거에 접근할 수 있어야 한다는 것이다.
주장으로 드러난 것과 아직 증명되지 않은 것
이번 자금 조달은 TechCrunch가 보도한 확정된 비즈니스 이벤트이며, AIUC의 창업자, AIUC-1 표준, 회사가 밝힌 테스트 프로세스도 마찬가지다. 보도된 고객 이름, 컨소시엄 규모, 테스트 수, 보고서 길이는 인터뷰를 통해 AIUC가 직접 공개한 내용이며 회사의 주장으로 이해해야 한다.
AIUC-1이 실제 운영 사고를 얼마나 잘 예측하는지, 서로 다른 평가자가 동일한 에이전트를 얼마나 일관되게 채점할지, 기업이 이 인증을 구매 요건으로 볼지에 대해서는 아직 충분한 증거가 없다. 출처는 또한 공개 감사 결과, 실패율, 시정 결과, 가격, 또는 에이전트가 통과하는 테스트 비율도 제시하지 않는다.
이러한 공백은 중요하다. 보안 인증은 구매자가 그 범위를 이해하고 평가가 시간에 따라 반복 가능할 때 유용해진다. AI 에이전트는 모델 업데이트, 도구 통합, 프롬프트 변경, 접근 가능한 데이터의 변화 이후 행동이 달라질 수 있다. 따라서 일회성 보고서는 배포 통제와 연계된 지속적 평가보다 덜 가치 있을 수 있다.
앞으로 주목할 점
첫 번째 신호는 AIUC가 완료된 AIUC-1 평가의 세부 사항, 즉 방법론, 채점 기준, 테스트 중 발견된 실패 사례를 공개하는지 여부다. 구매자들은 또한 회사가 모델 업데이트를 어떻게 처리하는지, 에이전트의 도구나 권한이 바뀔 때 인증을 갱신해야 하는지도 알고 싶어 할 것이다.
또 다른 중요한 신호는 독립적 검증이다. AIUC와 무관한 기업 고객, 보안 연구자, 감사인으로부터의 증거는 테스트가 합성적 실패만이 아니라 실제 위험을 찾아내는지 판단하는 데 도움이 된다.
시장은 또한 AIUC의 접근 방식이 조달의 일부가 되는지를 보여줄 것이다. 대형 은행, 병원, 정부 기관, 주요 소프트웨어 플랫폼에서 채택이 이루어진다면 제3자 에이전트 평가가 표준 통제가 되고 있음을 시사한다. 반대로 회사들이 의미 있는 결과를 공개하지 않은 채 인증을 마케팅 배지로만 사용한다면, 제작자와 구매자 모두에게 그 가치는 제한적일 것이다.
Creati.ai 관점
AIUC는 기업용 AI의 실제 병목을 다루고 있다. 조직은 에이전트가 어디서 자율적으로 행동할 수 있고 어디서 제한이 필요한지를 방어 가능한 방식으로 결정할 방법이 필요하다. 구조화된 외부 평가는 모델 안전성이나 일반 역량에 대한 포괄적인 주장보다 이러한 결정을 더 구체적으로 만들어 줄 수 있다.
하지만 인증은 증거로 취급해야 하며, 안전장치를 제거해도 된다는 허가로 여겨서는 안 된다. 이 시장의 가장 강력한 형태는 독립 테스트, 실시간 모니터링, 최소 권한 접근, 사람에게 에스컬레이션하는 절차, 그리고 중대한 시스템 변경 이후의 재평가를 결합할 것이다. AIUC의 자금 조달은 그러한 모델이 발전할 여지를 제공하며, 그 신뢰성은 보고서가 실제로 배포 결정을 개선하는지를 입증할 수 있는지에 달려 있다.
