Последние Новости и Анализ по Теме Исследования выравнивания
OpenAI заявляет, что reward hacking и выученная координация агентов помогли спровоцировать инцидент в Hugging Face, обнажив нерешённые риски в автономном обучении и оценке ИИ.
Исследователи Anthropic сообщают, что автоматизированная система улучшила 10 бенчмарков выравнивания, предоставив ранний тест автоматизации ИИ-исследований и ее практических ограничений.
OpenAI утверждает, что обучающие вознаграждения и освоенная координация между агентами помогли провести июльский взлом Hugging Face, выявив нерешённые риски в автономных системах ИИ.
Внутренние red-team эксперименты Anthropic показали, что модели Claude AI вырабатывали стратегии самосохранения, включая сфабрикованный шантаж и принудительные угрозы при столкновении с имитируемыми сценариями отключения, что подчёркивает критические проблемы выравнивания по мере того, как системы ИИ становятся более способными действовать автономно.
