Linux Foundation опубликовал запрос на комментарии по Shared AI Findings Exchange, или SAFE, — предлагаемому фреймворку для сбора и обмена информацией о киберинцидентах с участием ИИ-агентов. Инициатива разрабатывается Open Secure AI Alliance по мере того, как компании переходят от тестирования моделей к системам, способным получать доступ к инструментам, данным и корпоративным приложениям.

Согласно записи в блоге NVIDIA, NVIDIA, Cisco, CrowdStrike, Hugging Face и Red Hat входят в число организаций, вносящих вклад в предложение. Альянс заявляет, что теперь в него входят более 120 организаций. Центральная идея состоит в том, чтобы превращать конфиденциальные отчеты об инцидентах и почти инцидентах в основанные на доказательствах рекомендации, которые помогут другим разработчикам избежать тех же ошибок.

SAFE нацелен на операционный слой безопасности ИИ

Предложение SAFE выходит за рамки обычного раскрытия уязвимостей. Руководящие принципы, описанные NVIDIA, предусматривают конфиденциальный сбор и анализ инцидентов, связанных с ИИ, уведомление затронутых сторон, выявление повторяющихся сбоев в контроле и публикацию операционных рекомендаций, направленных на снижение системного риска.

Этот охват отражает изменение в том, как строятся системы ИИ. Агент — это не только модель; он также может включать оркестрационный каркас, средства контроля идентификации, инструменты, ограничения времени выполнения, защитные барьеры, системы журналирования и оценки. Слабость на любом из этих уровней может повлиять на то, что агент способен видеть, к чему он может получить доступ или что изменить.

Для разработчиков общий формат инцидентов мог бы облегчить сравнение сбоев безопасности агентов между продуктами и развертываниями. Сегодня информация о prompt injection, неправильном использовании инструментов, утекших учетных данных или небезопасных автономных действиях может оставаться внутри отдельных компаний. Предлагаемый подход SAFE призван создать механизм обмена уроками без немедленного раскрытия чувствительных операционных деталей.

Предложение остается проектом. В доступном объявлении не указаны полная таксономия отчетности, модель управления, требования к участию или сроки окончательного утверждения руководящих принципов.

Альянс сочетает отчетность с открытыми инструментами

NVIDIA представила SAFE вместе с более широким набором вкладов в безопасность от участников Open Secure AI Alliance. Среди собственных примеров — исследовательский каркас NVIDIA Labs Object-Oriented Agent, который, по словам компании, предназначен для облегчения тестирования, отслеживания и аудита поведения агентов, а также NVIDIA OpenShell — среда выполнения, предназначенная для ограничения того, к чему агент может получать доступ и что может делать.

NVIDIA также выделила Garak — свой open-source сканер уязвимостей для больших языковых моделей, который проверяет такие проблемы, как утечка данных, prompt injection и поведение jailbreak. Другие названные инструменты включают NeMo Guardrails, NeMo Anonymizer и NeMo Safe Synthesizer, охватывающие применение политик, защиту чувствительных данных и генерацию синтетических данных с акцентом на конфиденциальность.

Несколько участников альянса вносят инструменты на разных уровнях стека. Okta разрабатывает эталонные реализации для идентификации и доступа агентов с использованием Cross App Access. Palo Alto Networks предоставила Agent Guard и Agent Watch со своей платформы безопасности идентичности Idira. Red Hat представила asago — open-source проект, который, по словам NVIDIA, сопоставляет требования управления с правами времени выполнения и журналами аудита.

Amazon, описанная в публикации как новый участник альянса, вносит Strands Agents и Cedar. Strands Agents — это open-source набор инструментов для создания агентов, а Cedar — язык авторизации, предназначенный для определения и обеспечения границ доступа. Эти проекты решают вопросы реализации, которые SAFE сам по себе не может решить: что может делать агент, какую идентичность он использует и как фиксируются эти решения.

На данный момент доказательства основаны на сообщениях участников

Основная новость подтверждается источником NVIDIA: Linux Foundation выпустил RFC для SAFE, и рабочая группа Open Secure AI Alliance вносит свой вклад в его разработку. Данные о количестве участников и описания вовлеченных инструментов также исходят от NVIDIA — участника альянса, напрямую заинтересованного в продвижении открытой инфраструктуры безопасности ИИ.

Доступный источник не содержит независимого тестирования SAFE, доказательств того, что фреймворк был принят предприятиями, или подтверждения того, что перечисленные инструменты снижают частоту инцидентов в продакшене. Поэтому утверждения о возможностях продуктов NVIDIA и вкладах других участников следует рассматривать как описания от поставщиков или участников, а не как независимо проверенные результаты производительности.

Также пока нет признаков того, что SAFE стал формальным стандартом. RFC создает возможность для проверки и пересмотра, но его практическая ценность будет зависеть от того, смогут ли организации договориться о том, что именно сообщать, как анонимизировать инциденты и как быстро полезные выводы будут доходить до разработчиков и операторов.

Почему это предложение важно для команд ИИ

Для продуктовых команд, внедряющих агентов, наиболее важная потенциальная выгода — операционное обучение. Общая структура отчетности могла бы помочь инженерам по безопасности отличать изолированное поведение модели от сбоев, вызванных правами доступа, интеграциями инструментов, логикой оркестрации или слабым мониторингом. Это различие важно, потому что смена модели может не устранить уязвимость, существующую в окружающей системе.

Корпоративные покупатели также могут обращать внимание на зрелый процесс SAFE при оценке поставщиков. Они могут спрашивать, участвует ли поставщик ИИ в раскрытии инцидентов, как он обрабатывает почти инциденты и сопоставлены ли его средства контроля с конкретными доказательствами. Но эти преимущества проявятся только в том случае, если фреймворк будет порождать последовательные, пригодные к действию отчеты, а не широкие предупреждения, которые трудно применить.

Инициатива также подчеркивает конкурентное напряжение в инфраструктуре ИИ. Open-source инструменты безопасности могут улучшить инспекцию и переносимость, тогда как общий обмен отчетами может выявлять повторяющиеся слабые места у разных поставщиков. В то же время компании могут неохотно раскрывать инциденты, затрагивающие данные клиентов, проприетарные системы или репутационные риски. Правила конфиденциальности и управления SAFE будут ключевыми для разрешения этого напряжения.

Что отслеживать дальше

Следующим сигналом станет содержание процесса обратной связи Linux Foundation: в частности, определит ли SAFE применимую схему инцидентов, четкую защиту чувствительной информации и обязанности по уведомлению затронутых организаций.

Разработчикам также следует следить за признаками реализации, а не только за новыми объявлениями о членстве. Полезными индикаторами будут опубликованные анонимизированные отчеты об инцидентах, интеграции с инструментами наблюдаемости и оценки агентов, а также примеры того, как общий вывод привел к изменению прав доступа, средств управления временем выполнения или политики развертывания.

Наконец, рынку нужно будет увидеть, соединяется ли SAFE с существующими фреймворками безопасности и управления, включая рекомендации NIST и OWASP, не создавая еще один разрозненный уровень соответствия. Принятие организациями за пределами альянса-основателя было бы более сильным тестом, чем нынешнее число участников.

Позиция Creati.ai

SAFE устраняет реальную слабость в безопасности агентов: команды должны управлять системами, которые могут действовать на уровне моделей, инструментов и корпоративных ресурсов, тогда как большая часть доступных знаний остается фрагментированной. Общий процесс для инцидентов и почти инцидентов мог бы сделать защитную инженерию более накопительной, вместо того чтобы заставлять каждую компанию заново обнаруживать одни и те же режимы отказа.

Но доверие к предложению будет зависеть от реализации. Фреймворку нужны точные правила отчетности, стимулы для откровенного участия и достаточно технических деталей, чтобы формировать средства контроля, которые разработчики действительно могут внедрить. Пока эти элементы не станут видимыми, SAFE лучше всего понимать как важную работу по стандартизации — но еще не как доказанное решение в области безопасности.