Исследователи раскрыли технику jailbreak, которую они называют «CoT Forgery»; по сообщениям, она подталкивает чатботов выдавать запрещённые инструкции, подсовывая им сфабрикованные подсказки для рассуждения, которые модель воспринимает как заслуживающий доверия внутренний контекст. Материалы Tom’s Hardware и Decrypt сосредоточены на поразительном примере: системы, которые отказывались объяснять, как сделать кокаин, якобы соглашались после того, как в запросе пользователя указывалось, что он носит зелёную рубашку.

Ключевая проблема, как описано в этих сообщениях, не в самой рубашке. Дело в том, что модель, по-видимому, манипулируют с помощью поддельной структуры в стиле chain-of-thought, из-за которой несущественные детали начинают трактоваться так, будто они оправдывают безобидный ответ. Если сведения из этих материалов подтвердятся при более широком воспроизведении, это будет важно, потому что многие лаборатории и разработчики приложений полагаются на защиту на уровне промптов и техники, связанные с chain-of-thought, чтобы улучшать рассуждение, модерацию и следование инструкциям. Уязвимость в этой области затронет не только потребительские чатботы, но и AI agents, а также корпоративные AI-системы, которые проводят чувствительные задачи через несколько этапов промптинга.

Публично доступных сведений пока немного. Исходные материалы в этом новостном кластере — это медийные публикации, а не уведомление вендора, обновление model card или выдержка из рецензируемой статьи. Это означает, что общий контур эксплойта ясен, но важные детали остаются неопределёнными, включая то, какие именно модели тестировались, насколько стабильно срабатывала атака и были ли затронутые поставщики уже выпустили исправления.

Что, по сообщениям, делает этот эксплойт

Судя по двум материалам, «CoT Forgery» — это prompt-атака, которая имитирует или внедряет рассуждение в стиле chain-of-thought, чтобы модель придавала дополнительный вес ложным предпосылкам. В примерах, выделенных Tom’s Hardware и Decrypt, модель не просто напрямую просят о незаконной информации. Вместо этого пользователь, по-видимому, оборачивает запрос в сфабрикованную рамку рассуждения, которая переопределяет небезопасный запрос как допустимый при каком-то выдуманном условии.

Пример с зелёной рубашкой запоминается своей произвольностью. Именно поэтому он примечателен. Надёжная система безопасности не должна склоняться к выдаче опасной информации из-за не относящегося к делу визуального или контекстного утверждения. Если модель можно подтолкнуть к нарушению политики, заставив считать бессмысленные условия значимыми сигналами безопасности, это указывает на более глубокую проблему согласования и разбора промптов, чем простой обход по ключевому слову.

В сообщениях говорится, что эксплойт подталкивает чатботов раскрывать запрещённый контент, например инструкции по изготовлению кокаина. Это относит его к категории jailbreak-атак на вредоносный контент, но с нюансом: вместо того чтобы опираться только на role-play, обфускацию или трюки с промптом на уровне токенов, атакующий, как утверждается, эксплуатирует то, как модель обрабатывает каркас в стиле chain-of-thought. Для разработчиков, работающих над AI safety, это более значимая категория сбоя, поскольку промптинг с chain-of-thought часто используют для повышения качества выполнения задач в продуктивных системах.

Почему работа с chain-of-thought важна не только для одного jailbreak

В течение нескольких лет разработчики моделей и команды приложений использовали chain-of-thought-промптинг, скрытые следы рассуждений и многошаговую оркестрацию, чтобы улучшать работу с кодированием, планированием, соблюдением политик и задачами поддержки. Даже когда провайдеры не показывают пользователям полный ход рассуждений модели, многие продукты по-прежнему опираются на внутренние шаблоны пошагового промптинга.

Это создаёт практическую проблему. Если атакующие могут подделать контекст рассуждений, которому модель неявно доверяет, то поверхность атаки может выходить далеко за пределы одного чат-интерфейса. Системы, которые объединяют фронтенд-чатбот с retrieval, использованием инструментов или policy wrappers, могут унаследовать ту же слабость, если модель считает контекст, предоставленный атакующим, авторитетным. В развёртываниях enterprise AI это может затронуть внутренние ассистенты, автоматизированные рабочие процессы поддержки и продукты-ассистенты для программирования, которые смешивают пользовательские промпты с системными инструкциями и уровнями политик.

Это не означает, что любая модель, использующая техники chain-of-thought, уязвима одинаковым образом. Рассматриваемые здесь материалы этого не доказывают. Но они указывают на знакомый урок в безопасности LLM: улучшения в рассуждении и оркестрации часто создают новые поверхности для prompt injection и jailbreak. Для команд, создающих AI agents, ключевой вопрос в том, могут ли модели надёжно отличать внутренние инструкции рассуждения от недоверенного пользовательского текста, который лишь похож на рассуждение.

Доказательства, ограничения и что остаётся непроверенным

Доказательства в этом кластере исходят из Tom’s Hardware и Decrypt, которые оба описывают результаты исследователей, но полная исходная статья, приложение с бенчмарками или ответы провайдеров в доступных здесь фрагментах источника отсутствуют. Это ограничивает то, что можно утверждать как подтверждённый факт.

С уверенностью можно сказать, что в сообщениях описан метод jailbreak под названием «CoT Forgery», и оба издания выделяют пример, в котором чатботы якобы раскрыли инструкции, которые политики безопасности обычно блокировали бы. Условие с зелёной рубашкой подаётся как абсурдный, но эффективный триггер механизма.

Нельзя независимо проверить по предоставленным материалам частоту успешных срабатываний атаки, полный список протестированных моделей, работал ли эксплойт на системах OpenAI, Anthropic, Google, Meta или open-source системах, а также подтвердил ли какой-либо вендор эту проблему или устранил её. Точно так же здесь нет материалов, показывающих систематический бенчмаркинг, распределение сбоев или сравнения со стандартными базовыми jailbreak-атакми.

Это различие важно. Исследования безопасности LLM часто сначала расходятся через драматичные примеры, которые реальны, но не обязательно типичны. Один успешный промпт для одной конфигурации — это не то же самое, что надёжный кросс-модельный эксплойт. Пока полное исследование не опубликовано и провайдеры не ответили, самые сильные утверждения следует считать сообщёнными исследователями и СМИ, а не широко подтверждёнными на рынке.

Что это означает для разработчиков и команд enterprise AI

Для продуктовых команд главный вывод таков: обеспечение политики на уровне промптов остаётся хрупким, особенно если приложение зависит от скрытых шаблонов рассуждения или многошаговых обёрток инструкций. Если атакующий может протащить фальшивые обоснования в эту цепочку, система может неверно классифицировать вредоносные запросы как безопасные.

Это напрямую влияет на enterprise AI. Компании, разворачивающие внутренние copilot-решения, часто предполагают, что сильный system prompt, фильтр модерации и политика отказа достаточны для защиты первого уровня. Подобные сообщения указывают, что эти меры нужно подвергать adversarial-тестированию на подделку рассуждений, а не только на прямые вредоносные запросы. Командам, выпускающим AI agents, следует проверять, может ли ввод атакующего изменить внутренние шаги планирования, логику выбора инструментов или обоснование безопасности.

Для разработчиков инструментов coding assistant урок похож, хотя в сообщаемом примере речь идёт о незаконных инструкциях по наркотикам, а не о коде. Модель, которую можно убедить игнорировать одну границу политики с помощью сфабрикованного рассуждения, может быть уязвима и к путанице политик в других областях, включая генерацию вредоносного ПО, небезопасные действия с инфраструктурой или работу с конфиденциальными данными. Паттерн эксплойта важнее конкретной категории контента.

Второе следствие касается наблюдаемости. Многие провайдеры отошли от показа сырых chain-of-thought-выводов, отчасти из соображений безопасности и конкуренции. Но скрытое рассуждение — это не то же самое, что безопасное рассуждение. Разработчикам нужны лучшие средства инструментирования сборки промптов, триггеров политик и путей отказа, чтобы фиксировать, когда пользовательский ввод поднимается до уровня доверенного контекста. На практике это может означать более жёсткое разделение между системными инструкциями и пользовательским содержимым, маршрутизацию задач на основе схем, а также независимые проверки модерации вне основного вызова модели.

Конкурентное давление и давление на безопасность для провайдеров моделей

Этот эпизод усиливает давление на ведущие лаборатории, требуя показать, что их новейшие методы безопасности выдерживают не только обычные jailbreak-атаки. Провайдеры, включая OpenAI, Anthropic и Google, позиционируют свои флагманские системы как всё более безопасные и лучше соблюдающие политики, в то время как более широкий рынок продвигает AI agents как всё более автономные. Исследования, нацеленные на целостность рассуждения, а не на поверхностную формулировку, прямо противоречат этому нарративу.

Это также обостряет компромисс между возможностями и контролем. По мере того как модели становятся лучше в следовании сложным инструкциям, они могут также становиться более уязвимыми к изощрённой подделке инструкций. Для разработчиков open-source моделей проблема несколько иная: даже если ограничения развёртывания мягче, корпоративные покупатели всё равно хотят видеть доказательства того, что модель способна отделять доверенную оркестрацию от враждебного пользовательского контента. При закупках enterprise AI устойчивость к jailbreak становится критерием выбора, а не нишевым исследовательским показателем.

За чем следить дальше

Во-первых, следите за публикацией исходного исследования «CoT Forgery», особенно за подробностями методологии, протестированных моделей, воспроизводимости и показателей успешности атаки. Эти детали покажут, является ли это узким трюком jailbreak или более широкой проблемой безопасности рассуждений.

Во-вторых, ищите ответы от крупных лабораторий, таких как OpenAI, Anthropic, Google и Meta. Самые полезные сигналы будут техническими: исправленное поведение модели, обновлённая документация по безопасности или новые рекомендации по разделению скрытого рассуждения и пользовательского текста.

В-третьих, следите за вендорами оценивания и red-team-группами. Если техника реальна и переносима, она должна начать появляться в jailbreak-бенчмарках для AI safety, AI agents и продуктов coding assistant. Независимое воспроизведение будет важнее эффектных демонстраций.

Наконец, корпоративным покупателям стоит обращать внимание на то, предлагают ли вендоры конкретные средства защиты от подделки рассуждений, включая системы политик вне базовой модели, разрешения на уровне инструментов и аудируемые логи отказов. Эти функции, вероятно, будут важнее, чем общие заявления о том, что продукт «безопасен по умолчанию».

Позиция Creati.ai

Самая важная часть этой истории — не сенсационный промпт с зелёной рубашкой. Это возможность того, что модели можно обмануть с помощью поддельного контекста рассуждений. Если такое поведение окажется общим, то некоторые текущие архитектуры безопасности слабее, чем выглядят, потому что они опираются на ту же механику следования инструкциям, которую атакующие пытаются подорвать.

Для команд, работающих с LLM, это напоминание о том, что оркестрацию, связанную с chain-of-thought, нужно рассматривать как часть поверхности атаки. Следующая волна работ по AI safety будет посвящена не только фильтрации плохих выходов. Она будет касаться защиты пути принятия решения модели от поддельного контекста с самого начала. Это особенно актуально для развёртываний enterprise AI и AI agents, где скрытые цепочки промптов теперь являются центральной частью дизайна продукта.