AI 벤치마킹

KT의 AutoModelRouter가 글로벌 벤치마크에서 2위를 차지한 것으로 보도되며, 모델 선택 효율성이 기업용 AI 배포의 핵심으로 떠올랐다.

Andreessen Horowitz의 지원을 받는 Vals가 기업과 연방 기관을 위한 비공개·과제 기반 AI 벤치마킹을 구축하기 위해 4,000만 달러를 조달했다. 기존 테스트는 이미…

AWS의 벤치마크 데이터는 팀이 품질, 턴 수, 재작업을 측정할 때 Amazon Bedrock의 OpenAI 모델이 정답 비용을 낮출 수 있음을 시사한다.

Google DeepMind는 Gemini Flash Lite용으로 암호학적으로 보호된 더블블라인드 벤치마크를 시험하며, 오염을 줄이고 AI 평가에 대한 신뢰를 회복하는 것을 목표로 하고 있다.

Motif가 한국 모델 대상 글로벌 AI 벤치마크에서 선두를 차지한 것으로 보도된 가운데, 업계는 그 결과가 유지되는지 시험할 수 있는 두 번째 Dokpamo 평가를 기다리고 있다.

Anthropic의 Claude Opus 5가 ARC-AGI-3에서 새로운 최고 점수를 기록하며, 실제 추론 능력 향상인지 벤치마크 대응인지에 대한 질문이 다시 불거졌다.

OpenAI는 SWE-Bench Pro 작업의 약 30%가 깨졌을 수 있다고 말하며, AI 업계가 코딩 모델을 측정하는 방식에 대한 새로운 의문을 제기했습니다.

새로운 생성형 AI 기반 벤치마킹 시스템은 자율주행차와 로보택시 부문에서 미국 경쟁사들에 대한 중국의 우위를 보여준다.

Google DeepMind는 Kaggle Game Arena에 Werewolf와 포커 벤치마크를 공개해 AI의 사회적 기술, 기만 탐지 및 위험 관리 능력을 테스트합니다. Gemini 3 Pro와 Flash 모델은 이전 세대에 비해 상당한 성능 향상을 보여주고 있습니다.