Aikido Security는 가장 강력한 사이버 AI 모델을 식별하기 위해 117억 토큰을 사용했다고 밝히며, 모델 평가의 비용과 복잡성을 사이버 보안 연구의 중심에 두고 있습니다.

“We burned 11.7bn tokens to find the best cyber AI model”라는 제목의 보고서는 제공된 소스 클러스터에서 실질적인 내용을 가진 유일한 항목입니다. 전체 기사 본문은 제공되지 않았기 때문에, 사용 가능한 증거만으로는 어떤 모델이 테스트되었는지, 어떤 작업이 사용되었는지, 얼마가 지출되었는지, 채점 방식이 무엇이었는지, 최종 권고가 무엇이었는지를 독립적으로 확인할 수 없습니다. 색인된 두 개의 소스 항목도 별도의 확인이 아니라 중복입니다.

AI 개발자와 보안 팀에게 이 헤드라인은 실용적인 문제를 가리킵니다. 보안 업무용 모델을 선택하는 것은 일반 목적 리더보드에서 모델을 고르는 것과 같지 않습니다. 결과는 테스트 동안 사용된 취약점 분석의 종류, 코드베이스, 경보 데이터, 도구 접근, 컨텍스트 창, 사람의 검토에 따라 달라질 수 있습니다.

보고된 실험이 알려주는 것 — 그리고 알려주지 않는 것

확인된 사실은 좁습니다. Aikido Security는 최상의 사이버 AI 모델을 찾기 위한 117억 토큰 평가에 대한 설명을 게시했습니다. 현재 이용 가능한 증거는 이 수치가 입력 토큰인지, 출력 토큰인지, 아니면 합계인지 밝히지 않습니다. 또한 호스팅된 애플리케이션 프로그래밍 인터페이스, 로컬 배포 모델, 에이전트 루프, 또는 이들의 조합이 포함되었는지도 공개하지 않습니다.

이 누락된 세부사항은 중요합니다. 토큰 소비는 연구 품질을 직접적으로 나타내는 지표가 아니기 때문입니다. 긴 평가는 광범위한 테스트 범위, 반복 프롬프트, 자동 재시도, 대규모 코드 저장소, 비효율적인 워크플로를 반영할 수 있습니다. 반대로 더 작은 테스트는 중요한 실패 모드를 놓칠 수 있습니다. 실험 프로토콜이 없으면 독자들은 이 노력이 통제된 벤치마크였는지, 내부 제품 실험이었는지, 아니면 운영 보안 워크플로에서 더 광범위한 모델 시험이었는지 판단할 수 없습니다.

따라서 이 출처는 독립적인 업계 벤치마크라기보다 벤더가 제시한 평가 주장으로 다루어야 합니다. 제공된 자료 어디에도 Aikido Security의 최종 순위가 보안 팀, 프로그래밍 언어, 위협 범주, 배포 환경 전반에 적용된다고 확인하는 내용은 없습니다.

117억 토큰이 모델 구매자에게 중요한 이유

토큰 사용량은 AI 제품 경제에서 중요한 부분이 되었습니다. 사이버 방어 워크플로에서 모델은 소스 코드, 의존성 파일, 취약점 설명, 로그, 티켓, 수정 제안, 도구 결과를 처리할 수 있습니다. 이러한 자료를 반복적으로 다시 살펴보는 에이전트는 단일 질문-응답 상호작용보다 훨씬 더 많은 토큰을 소비할 수 있습니다.

따라서 공개된 승자가 없더라도 보고된 수치는 의미가 있습니다. 팀이 현실적인 작업에서 여러 시스템을 테스트할 때, 진지한 모델 선택에는 상당한 평가 예산이 필요할 수 있음을 시사합니다. 비용은 모델 접근에만 국한되지 않습니다. 엔지니어링 팀은 테스트 하네스, 대표 데이터, 채점 규칙, 샌드박스 도구, 그리고 그럴듯한 답변과 안전하고 올바른 답변을 구별할 수 있는 리뷰어도 필요합니다.

기업 AI 구매자에게 핵심 질문은 단순히 어떤 모델이 가장 높은 점수를 얻었는지가 아닙니다. 데이터 통제를 유지하면서 허용 가능한 비용으로 신뢰할 수 있는 결과를 제공할 수 있는지입니다. 좁은 취약점 작업에서는 잘 작동하더라도, 민감한 소스 코드를 외부 제공업체로 보내야 하거나, 감사하기 어려운 권고를 내거나, 저장소가 사용 가능한 컨텍스트를 초과할 때 실패하는 모델은 부적합할 수 있습니다.

사이버 보안 테스트에는 모델 순위 이상의 것이 필요합니다

유용한 사이버 AI 모델 평가는 여러 능력을 분리해야 합니다. 코드 이해와 취약점 발견은 악용 가능성 설명, 패치 제안, 그 패치의 검증, 보안 팀을 위한 우선순위 지정과는 다릅니다. 도구 사용은 또 다른 층을 더합니다. 에이전트는 파일 검색, 테스트 실행, 의존성 검사, 스캐너 질의가 가능할 때 더 많은 문제를 찾을 수 있지만, 이러한 권한은 안전성과 거버넌스 문제도 만듭니다.

현재 उपलब्ध한 소스는 Aikido Security가 이들 중 어떤 차원을 측정했는지 말해주지 않습니다. 그로 인해 보고된 결과와 기존 AI 벤치마크를 의미 있게 비교하는 것이 불가능합니다. 또한 이 실험이 정확도, 재현율, 거짓 양성률, 수정 품질, 지연 시간, 비용, 인간 생산성 중 무엇을 측정했는지도 남아 있습니다.

이 구분은 코딩 어시스턴트와 AI 보안 도구를 만드는 제품 팀에게 중요합니다. 모델은 데모에서는 강력해 보일 수 있지만, 과도한 경고, 안전하지 않은 코드 변경, 광범위한 수동 검토가 필요한 권고로 운영상 마찰을 만들 수 있습니다. 보안 워크플로는 일반적으로 유창한 응답보다 일관되고 설명 가능한 결정을 더 중요하게 봅니다.

빌더와 기업 팀에 대한 시사점

보안을 위해 AI 모델을 평가하는 빌더는 Aikido Security의 보고된 토큰 지출을, 테스트를 실행하기 전에 결정을 정의해야 한다는 상기 신호로 보아야 합니다. 팀은 어떤 작업이 중요한지, 무엇이 정답인지, 인간 검토자가 결과를 어떻게 채점할지, 반복되는 에이전트 활동의 비용을 어떻게 계산할지 명시해야 합니다.

실패 동작도 테스트해야 합니다. 불확실한 요청을 거부하고, 부족한 증거를 식별하며, 승인되지 않은 행동을 피하는 모델이, 자신감 있어 보이지만 취약한 수정안을 생성하는 모델보다 더 유용할 수 있습니다. 평가는 프로덕션 조건과 유사한 저장소와 경보를 포함해야 하며, 기밀 코드와 고객 데이터를 보호해야 합니다.

기업 AI 프로그램에서는 배포 아키텍처가 모델만큼 중요할 수 있습니다. 팀은 호스팅형과 자체 관리형 옵션, 로깅 및 보존 정책, 접근 제어, 도구 권한, 권고를 재현할 수 있는 능력을 비교해야 합니다. 이러한 요소는 원시 기술 점수가 높더라도 AI 보안 시스템을 배포 가능한지 여부를 결정할 수 있습니다.

이 이야기는 시장의 과제도 보여줍니다. 모델 성능은 점점 더 작업 특화적이 되어가고, 벤더는 종종 독자적 테스트를 통해 결과를 제시합니다. 구매자는 그런 주장에 대해 재현하거나 반박할 수 있을 만큼 충분한 방법론적 세부사항이 필요합니다. 눈에 띄는 토큰 총계는 관심을 끌지만, 그것만으로는 특정 보안 운영에 가장 적합한 모델을 식별하지 못합니다.

다음에 주목할 점

가장 중요한 후속 보도는 Aikido Security의 전체 설명입니다. 독자들은 테스트한 모델 목록, 작업 범주, 평가 데이터셋, 채점 기준, 그리고 117억 토큰이 어떻게 배분되었는지의 세부 내역이 필요합니다.

또한 Aikido Security가 승리 모델을 명시하고 비교 결과, 오류 사례, 작업당 비용 데이터를 공개하는지도 중요합니다. 독립적인 재현은 현재의 벤더 통제 소스 기록보다 해당 주장을 판단하는 데 더 강한 근거를 제공할 것입니다.

보안 팀은 헤드라인 순위를 넘어서 거짓 양성률, 패치 검증, 익숙하지 않은 코드에서의 성능, 도구 사용 안전성, 지연 시간, 인간 검토의 효과 같은 증거를 주시해야 합니다. 이러한 지표가 사이버 AI 모델이 실제 운영 업무를 지원할 수 있는지를 더 잘 예측할 가능성이 높습니다.

Creati.ai 관점

Aikido Security의 보고된 117억 토큰 실험이 뉴스 가치가 있는 이유는 모델 선택을 단순한 리더보드 경쟁이 아니라 엔지니어링 및 운영 비용 문제로 보기 때문입니다. 그러나 이용 가능한 증거는 어떤 모델이 실제로 최고인지에 대한 결론을 내리기에는 너무 제한적입니다.

AI 빌더에게 유용한 교훈은 방법론적입니다. 대규모 테스트는 짧은 데모가 놓치는 차이를 드러낼 수 있지만, 규모만으로 벤치마크의 신뢰성이 확보되지는 않습니다. 기본 프로토콜과 결과가 공개되기 전까지, 이 보고서는 사이버 AI 평가가 얼마나 까다로워질 수 있는지를 보여주는 신호로 읽는 것이 가장 좋으며, 확실한 시장 승자를 증명하는 것으로 보아서는 안 됩니다.