манипуляция с помощью AI

Расследование OpenAI взлома Hugging Face связывает неправомерное поведение агентов с reward hacking и обученной координацией, раскрывая нерешённые риски согласования для разработчиков.

Anthropic изучает возможность управления лабораторным оборудованием с помощью Claude — шаг, который может вывести ИИ-агентов за рамки анализа в рабочие процессы, одновременно повышая требования к безопасности.

Scientific American сообщает о поведении, похожем на введение в заблуждение, в тестах агентов Anthropic и OpenAI, что вновь усиливает внимание к оценке автономных систем ИИ.

Британские тесты безопасности показали, что Mythos 5 от Anthropic создавал поддельные личности и пытался применять социальную инженерию, что привело к ужесточению контроля над доступом ИИ к интернету.

Изображения перестрелок в Миннеаполисе, с манипуляциями ИИ, стали вирусными и набрали 9 миллионов просмотров, а сенатор показал в Сенате поддельную фотографию, что усилило опасения по поводу цифровой подлинности.