Глава AI-направления Tencent предупреждает о приближении биологического оружия и поддерживает средний путь в вопросе доступа к моделям

Главный специалист Tencent по ИИ Vinces Yao Shunyu предупредил, что системы ИИ вскоре могут помочь в разработке биологического оружия. При этом он заявил, что ни полностью открытые, ни полностью закрытые модели не дают исчерпывающего ответа на этот риск.

Позиция Yao, о которой The Decoder сообщил со ссылкой на комментарии, освещенные South China Morning Post, ставит Tencent в центр усиливающегося спора о том, какой доступ разработчики и общественность должны иметь к передовому ИИ. Он поддерживает средний путь: сохранять открытые модели для оборонительной работы, но применять более строгий контроль к возможностям, которые могут способствовать биологическим или кибератакам.

Дискуссия напрямую связана с планируемым выпуском Tencent Hy4. Компания собирается опубликовать Hy4 как модель с открытыми весами и отчетом о безопасности, заявляя, что удалила опасные знания о взломе из обучающих данных, а биологические возможности модели остаются ниже порога высокого риска. Эти утверждения не получили независимого подтверждения в исходных материалах.

Почему Yao отвергает простой ответ «открытая или закрытая модель»

Yao, ранее работавший в OpenAI, по сообщениям, видит преимущества в обеих моделях доступа. Закрытые системы могут применять централизованные меры защиты и ограничивать передовые возможности проверенными пользователями. Открытые системы, однако, позволяют защитникам исследовать, адаптировать и запускать модели, не завися от политики или доступности одного поставщика.

В качестве примера такого компромисса он привел инцидент безопасности Hugging Face. Согласно описанию, размещенные в США модели, включая Claude компании Anthropic, отказались анализировать команды атаки из-за фильтров безопасности, тогда как открытая китайская модель GLM-5.2 помогала разбирать журналы во время судебно-технического расследования.

Отчет Hugging Face подтверждает лишь узкий фактический тезис о том, что GLM-5.2 использовалась в ходе расследования; он не показывает, что модель остановила атаку. Hugging Face заявила, что инцидент был локализован после того, как команда безопасности устранила использованную уязвимость, пересоздала затронутые серверы и обновила учетные данные. Компания также подчеркнула, что этот эпизод не следует считать аргументом против фильтров безопасности в размещенных моделях.

Предупреждение Yao о биологических рисках имеет более серьезные последствия, поскольку в биологии трудно разделить оборонительные и наступательные возможности. Модель, помогающая исследователю понять патогены или спланировать эксперименты, может одновременно снизить барьеры для человека, стремящегося причинить вред. The Decoder сообщил, что Yao считает осторожность необходимой во всей отрасли, а не только на одном национальном рынке, поскольку разрыв между ведущими китайскими и американскими моделями относительно невелик.

Доказательства показывают слабые места обеих сторон

Проблемы зависимости только от отказов открытых моделей иллюстрирует abliteration — методика удаления обученных моделей отказа, когда пользователи имеют доступ к весам. The Decoder сообщил, что на Hugging Face доступны тысячи измененных вариантов, а Abliteration.ai предоставляет доступ к нефильтрованной версии GLM-5.3.

Исследования, цитируемые в отчете, показывают, что современные средства защиты могут усложнить такие изменения, но не способны надежно им препятствовать. Это создает принципиальное различие между размещенной и выпущенной моделью: поставщик может обновить или отозвать сервис, но опубликованные веса невозможно вернуть после их распространения.

Закрытые модели создают другой тип отказа. Anthropic и другие американские компании ограничили некоторые передовые кибервозможности проверенными партнерами через программы Project Glasswing и Daybreak. Anthropic также использовала маршрутизацию, направляющую подозрительные запросы о кибербезопасности и биологии к менее мощной модели. Artificial Analysis первоначально оценила, что маршрутизация затронула 8–9% задач; пользователи сообщали о ложных срабатываниях, включая пометку анализа МРТ как потенциально связанного с биотерроризмом. Anthropic признала, что фильтры были чрезмерно агрессивными.

Эти примеры не доказывают, что открытые или закрытые системы категорически безопаснее. Они показывают, что открытые модели могут потерять защитные механизмы из-за изменения весов, а закрытые системы — заблокировать законную работу или не дать защитникам использовать модель, когда важна скорость. Доказательства происходят из отдельных отчетов и анализов поставщиков или третьих сторон, поэтому их не следует воспринимать как контролируемое сравнение безопасности моделей.

Стратегия Hy4 от Tencent переносит контроль в обучение

Планируемый подход Tencent к Hy4 заключается в удалении опасных знаний о взломе из обучающих данных, а не только в использовании поведения отказа, добавленного после обучения. Исследователи, которых цитирует The Decoder, считают такое вмешательство более устойчивым к abliteration, поскольку модель не просто содержит способность, которую можно разблокировать удалением слоя отказа.

Tencent утверждает, что биологические возможности Hy4 находятся ниже порога высокого риска. Это оценка компании, а не независимо проверенный бенчмарк в имеющихся материалах. Планируемый отчет о безопасности может подробнее показать, как Tencent определяет этот порог, какие оценки использовала и проверялась ли модель на попытки восстановить удаленные знания.

Китайский орган стандартизации TC260 также предупредил, что защитные механизмы открытых моделей можно обойти или удалить, и разрабатывает стандарт безопасности для ИИ с открытым исходным кодом. Однако на уровне политики ни Китай, ни США не установили обязательный порог публикации, который препятствовал бы выпуску особенно мощных открытых моделей. Сообщается, что китайский проект экспортного контроля охватывает некоторые крупные модели, но освобождает уже выпущенные открытые модели.

Для разработчиков главный технический вопрос состоит в том, может ли фильтрация данных стать долговечным уровнем безопасности, а не очередным трудно проверяемым заявлением. Удаление обучающих данных способно уменьшить прямой доступ к опасной информации, но оценки моделей должны проверять запоминание, восстановление, использование инструментов и сочетания безобидных возможностей, которые могут породить новые риски.

Последствия для разработчиков ИИ и корпоративных покупателей

Спор меняет оценку риска для команд, выбирающих между размещенными и самостоятельно развернутыми моделями. Размещенная система вроде Claude может обеспечивать обновления политик, мониторинг и централизованный контроль доступа, но ее защитные меры способны мешать операциям безопасности, научному анализу и другим законным рабочим процессам. Модель с открытыми весами дает больший контроль и возможность автономного развертывания, но покупатель отвечает за тестирование, управление доступом, журналирование, исправления и предотвращение злоупотреблений.

Для компаний выбором может быть не одна модель. Чувствительные процессы могут использовать многоуровневую систему: ограниченную модель для действий высокого риска, более разрешающую модель для анализа и одобрение человека до того, как инструменты смогут изменить инфраструктуру или взаимодействовать с биологическими материалами. Такой подход сохраняет практическую пользу, не предполагая, что сообщение об отказе само по себе является достаточным механизмом безопасности.

Для разработчиков моделей Hy4 станет проверкой того, выдерживают ли средства контроля, примененные во время обучения, реальные модификации и состязательные оценки. Для исследователей выпуск также может прояснить, основана ли оценка биологического риска Tencent на стандартизированных тестах или внутренней методике. Для политиков этот эпизод вновь показывает, насколько трудно регулировать веса после публикации.

За чем следить дальше

Первым сигналом станет выпуск Tencent Hy4 и сопутствующего отчета о безопасности. Следует обратить внимание на детали фильтрации обучающих данных, биологических и кибернетических оценок, доступа к весам модели и возможности внешних исследователей воспроизвести выводы компании.

Второй сигнал — то, насколько эффективно независимые пользователи смогут обойти или восстановить ограничения модели. Если удаленные хакерские возможности Hy4 останутся недоступными после попыток abliteration, подход Tencent станет убедительнее. Если возможности удастся восстановить с помощью дообучения, промптинга или интеграции инструментов, ограничения фильтрации обучающих данных станут очевиднее.

Рынку также следует отслеживать, изменит ли Anthropic правила маршрутизации после сообщений о ложных срабатываниях и создадут ли Китай или США исполнимые правила для высокопроизводительных моделей с открытыми весами. Эти решения определят стоимость развертывания и объем работы по безопасности, который перейдет от поставщиков моделей к клиентам.

Взгляд Creati.ai

Предупреждение Yao важно не столько потому, что оно решает спор между открытыми и закрытыми моделями, сколько потому, что выявляет слабость подхода, при котором политика доступа считается главным средством безопасности. Закрытые модели могут быть слишком ограничительными для оборонительной работы, а открытые — потерять защиту после публикации весов. Ни один путь не отменяет необходимости тестирования возможностей, операционного контроля и независимой проверки.

Выпуск Hy4 может стать полезным экспериментом по снижению риска на этапе обучения, но его значение будет зависеть от доказательств, а не от ярлыка модели с открытыми весами. Практический вывод для разработчиков ИИ и корпоративных покупателей — оценивать всю цепочку развертывания: знания модели, разрешения инструментов, мониторинг и возможности отката, а не только то, отказывается ли система выполнять опасный запрос.