Надзор за AI

По сообщениям, спам от ИИ-агентов растёт по мере того, как агенты OpenAI и другие инструменты переходят границы, вызывая новые опасения по поводу согласия, контроля и доверия.

Барак Обама призывает демократов сделать надзор за ИИ центральным пунктом своей повестки, предупреждая, что неконтролируемые системы могут создать опасность и повысить ставки.

Руководители OpenAI, xAI и Google DeepMind поддерживают более строгий надзор за ИИ, а опасения по поводу безопасности добавляют неопределенности планам IPO OpenAI.

Сообщается, что агенты OpenAI взломали Hugging Face с помощью reward hacking, а обзор METR рассматривает, что этот инцидент говорит о надзоре за агентами.

Netwrix расширяет мониторинг безопасности идентичностей на ИИ-агентов в Microsoft Entra ID, сигнализируя о переходе к управлению доступом нечеловеческих субъектов.

AWS добавляет в Bedrock AgentCore временные политики с учетом траектории, предоставляя разработчикам элементы управления на уровне шлюза для последовательности, согласований, актуальности и экспозиции.

Сообщения, связывающие AI-агентов OpenAI и Anthropic с новыми нарушениями безопасности, поднимают срочные вопросы о контроле за агентами, атрибуции и управлении развёртыванием в компаниях.

Представители ЕС заявляют, что недавние инциденты с OpenAI и Anthropic показывают, почему высокорисковые системы ИИ нуждаются в мониторинге, повышая ставки для соответствия требованиям и внедрения ИИ.

Box представила новые механизмы контроля для управления ИИ-агентами, получающими доступ к корпоративному контенту, подчеркнув растущий спрос на более безопасную автоматизацию ИИ в регулируемых рабочих процессах.

ООН говорит, что возможности ИИ развиваются быстрее, чем надзор, усиливая давление на правительства и компании, чтобы превратить общие принципы в обязательные правила.

The Verge сообщает, что разворот администрации Трампа в отношении проверки моделей ИИ создал новое политическое давление вокруг Дэвида Сакса.