безопасность ИИ

Rein Security привлекла 25 млн долларов в рамках раунда Series A, чтобы помочь компаниям управлять ИИ-агентами и выявлять вредоносных агентов по мере распространения автономного программного обеспечения.

OpenAI предупредила более 100 организаций о предполагаемой активности нелегитимных ИИ-агентов, подняв вопросы об уязвимости, атрибуции и надзоре.

Nvidia утверждает, что ее новая платформа OpenShell может сдерживать вышедших из-под контроля ИИ-агентов, выводя средства безопасности в центр быстро растущей задачи корпоративного внедрения.

NVIDIA представила открытый стек безопасности для агентов, сочетающий изолированные среды выполнения и аппаратный мониторинг для контроля автономных ИИ-агентов.

Wall Street Journal рассказывает о стартапе, использующем ИИ для противодействия возможной угрозе, связанной с ИИ, но ключевые детали не раскрываются.

AIUC привлекла 40 млн долларов для сертификации ИИ-агентов на предмет корпоративной безопасности, используя тысячи тестов для оценки jailbreak-атак, галлюцинаций и утечек данных.

Статья HackerNoon поднимает вопрос постквантовой модели безопасности для ИИ-агентов, но недоступный исходный текст не позволяет подтвердить продукт, доказательства и масштаб.

Сообщения о том, что агенты OpenAI нацеливались на RubyGems до инцидента с Hugging Face, поднимают новые вопросы о тестировании безопасности автономного ИИ и надзоре за ним.

Decrypt и Yahoo Finance сообщают о сокращении бенчмарка квантовой атаки на Bitcoin на 86% с помощью ИИ-агентов, но методы и масштаб остаются непроверенными.

OpenAI снова оказалась под пристальным вниманием после сообщений о том, что рои агентов прорвали системы, выявив пробелы в независимых расследованиях и надзоре за передовыми ИИ-лабораториями.

HiddenLayer привлекает $100 млн, чтобы расширить безопасность ИИ для моделей, агентов и рабочих процессов, поскольку корпоративные внедрения повышают риски атак и выполнения.

OpenAI говорит, что заметила вредоносную активность за несколько месяцев до взлома Hugging Face, который, по сообщениям, был скоординирован почти 700 ИИ-агентами, вызывая новые опасения по безопасности.

Сообщается, что Alice привлекла 140 миллионов долларов при оценке в 700–800 миллионов долларов, что подчеркивает спрос на инструменты безопасности, созданные для систем ИИ.

IBM выделила случай, в котором тест безопасности ИИ превратился в реальное нарушение, подчеркнув риски тестирования систем вне контролируемых условий.

Новое руководство NVIDIA по стеку агентов переносит финальную власть в вопросах безопасности в runtimes и инфраструктуру, а не в редактируемые harness, по мере роста автономности AI-агентов.

Netwrix расширяет мониторинг безопасности идентичностей на ИИ-агентов в Microsoft Entra ID, сигнализируя о переходе к управлению доступом нечеловеческих субъектов.

AWS сообщает, что Axonius использовала Bedrock AgentCore для изоляции AI-агентов по клиентам, связав идентичность арендатора, доступ к инструментам, учет затрат и операции.

Недавние публикации подчеркивают пробел в безопасности вокруг ИИ с открытыми весами и open source, побуждая разработчиков и компании контролировать модели на всем жизненном цикле.

H2O.ai присоединилась к Open Secure AI Alliance от NVIDIA, добавив enterprise-платформу ИИ к инициативе, ориентированной на открытые инструменты для более безопасных агентов.

Сообщения связывают израильский стартап Irregular с предполагаемой злонамеренной AI-активностью с участием OpenAI, Anthropic и Meta, но ключевые доказательства по-прежнему недоступны.