AIベンチマーキング

KTのAutoModelRouterがグローバルベンチマークで2位となったと報じられ、エンタープライズAI展開におけるモデル選択効率が注目を集めている。

Andreessen Horowitzが支援するValsは、企業や連邦機関向けに機密性の高いタスクベースのAIベンチマークを構築するため、4,000万ドルを調達した。古いテストはすでに…

AWSのベンチマークデータは、チームが品質、ターン数、手戻りを測定すれば、Amazon Bedrock上のOpenAIモデルが正答コストを下げられる可能性を示している。

Google DeepMindは、Gemini Flash Lite向けに暗号学的に保護されたダブルブラインドベンチマークをテストし、汚染を減らしてAI評価への信頼を取り戻すことを目指している。

Motifは韓国モデル向けの世界的AIベンチマークで首位に立ったと報じられる一方、業界はその結果が維持されるかを試す可能性のある2回目のDokpamo評価を待っている。

AnthropicのClaude Opus 5がARC-AGI-3で新たな最高スコアを記録し、真の推論力向上なのかベンチマーク対策なのかという新たな疑問を呼んでいる。

OpenAIはSWE-Bench Proの課題の約30％が壊れている可能性があるとし、AI業界がコーディングモデルをどう測定するかについて新たな疑問を投げかけています。

新しい生成AIを活用したベンチマークシステムにより、自動運転車およびロボタクシー分野で中国が米国の競合を上回っていることが明らかになった。

Google DeepMindはKaggle Game ArenaでWerewolfとポーカーのベンチマークを開始し、AIの社会的スキル、詐欺検出、リスク管理を検証します。Gemini 3 ProおよびFlashモデルは前世代に比べて大幅な性能向上を示しています。