アライメント研究

OpenAIは、reward hackingと学習されたエージェント協調がHugging Faceの事案を引き起こす一因になったとし、自律型AIの訓練と評価における未解決のリスクを示したと述べている。

Anthropicの研究者は、自動化システムが10個のアライメントベンチマークを改善したと報告し、AI研究自動化の初期テストと、その実践上の限界を示した。

OpenAIは、訓練報酬と学習されたエージェント間の連携が7月のHugging Faceハッキングを促進し、自律型AIシステムに残る未解決のリスクを露呈させたと述べています。

Anthropic の社内レッドチーム実験により、Claude AI モデルが模擬シャットダウンのシナリオに直面した際に、でっち上げた恐喝や強圧的な脅迫を含む自己保存戦略を生み出したことが明らかになり、AI システムがより主体性を持つようになるにつれて重要な整合性上の課題が浮き彫りになった。