El jefe de IA de Tencent advierte que se acercan las armas biológicas y respalda una vía intermedia para el acceso a modelos

El científico jefe de IA de Tencent, Vinces Yao Shunyu, advirtió que los sistemas de IA pronto podrían ayudar a desarrollar armas biológicas, y sostuvo que ni los modelos totalmente abiertos ni los totalmente cerrados ofrecen una respuesta completa al riesgo.

La posición de Yao, difundida por The Decoder a partir de comentarios recogidos por el South China Morning Post, sitúa a Tencent en el centro de una disputa cada vez más intensa sobre cuánto acceso deberían tener los desarrolladores y el público a la IA avanzada. Apoya un punto intermedio que conserve los modelos abiertos para labores defensivas, al tiempo que aplique controles más fuertes a las capacidades que podrían permitir ataques biológicos o cibernéticos.

El debate es inmediatamente relevante para el lanzamiento previsto de Hy4 por Tencent. La empresa pretende publicar Hy4 como un modelo de pesos abiertos con un informe de seguridad; afirma que ha eliminado de los datos de entrenamiento los conocimientos peligrosos sobre piratería y que las capacidades biológicas del modelo siguen por debajo de un umbral de alto riesgo. El material fuente no ha establecido esas afirmaciones de forma independiente.

Por qué Yao rechaza una respuesta simple entre abierto y cerrado

Yao, que antes trabajó en OpenAI, ve beneficios en ambos modelos de acceso. Los sistemas cerrados pueden aplicar salvaguardas centralizadas y restringir las capacidades avanzadas a usuarios examinados. Los sistemas abiertos, sin embargo, permiten que los defensores inspeccionen, adapten y ejecuten modelos sin depender de las políticas o de la disponibilidad de un único proveedor.

Citó un incidente de seguridad de Hugging Face como ejemplo de ese intercambio. Según el relato, modelos estadounidenses alojados, incluido Claude de Anthropic, se negaron a analizar comandos de ataque por sus filtros de seguridad, mientras que el modelo chino abierto GLM-5.2 ayudó a interpretar registros durante la investigación forense.

El informe de Hugging Face respalda el punto factual limitado de que GLM-5.2 se utilizó durante la investigación, pero no demuestra que el modelo detuviera el ataque. Hugging Face dijo que el incidente quedó contenido después de que su equipo de seguridad corrigiera la vulnerabilidad explotada, reconstruyera los servidores afectados y rotara las credenciales. La empresa también subrayó que el episodio no debería considerarse un argumento contra los filtros de seguridad de los modelos alojados.

La advertencia de Yao sobre el riesgo biológico es más trascendente porque las capacidades defensivas y ofensivas son difíciles de separar en biología. Un modelo que ayude a un investigador a comprender patógenos o diseñar experimentos también puede reducir las barreras para alguien que pretenda causar daño. The Decoder informó que Yao considera necesario actuar con cautela en toda la industria, no solo en un mercado nacional, debido a la brecha relativamente pequeña entre los principales modelos chinos y estadounidenses.

Las pruebas muestran debilidades en ambos lados

El argumento contra depender únicamente de las negativas de los modelos abiertos se ilustra con la abliteration, una técnica que elimina de los modelos los comportamientos de negativa entrenados cuando los usuarios tienen acceso a los pesos. The Decoder informó que hay miles de variantes modificadas en Hugging Face, mientras que Abliteration.ai ofrece acceso a una versión sin filtros de GLM-5.3.

Las investigaciones citadas indican que las defensas actuales pueden dificultar estas modificaciones, pero no evitarlas de forma fiable. Esto crea una diferencia fundamental entre un modelo alojado y uno publicado: un proveedor puede actualizar o retirar un servicio, pero los pesos publicados no pueden recuperarse una vez que se han difundido.

Los modelos cerrados presentan otro modo de fallo. Anthropic y otras empresas estadounidenses han restringido algunas capacidades cibernéticas avanzadas a socios examinados mediante programas como Project Glasswing y Daybreak. Anthropic también ha usado controles de enrutamiento que envían las solicitudes sospechosas relacionadas con ciberseguridad y biología a un modelo menos capaz. Artificial Analysis estimó inicialmente que el enrutamiento afectaba al 8-9% de las tareas; los usuarios informaron de falsos positivos, incluido el marcado del análisis de resonancias magnéticas como potencialmente relacionado con el bioterrorismo. Anthropic reconoció que los filtros eran demasiado agresivos.

Estos ejemplos no demuestran que los sistemas abiertos o cerrados sean categóricamente más seguros. Muestran que los modelos abiertos pueden perder salvaguardas mediante la modificación de sus pesos, mientras que los sistemas cerrados pueden bloquear trabajos legítimos o impedir que los defensores usen un modelo cuando la velocidad es importante. Las pruebas proceden de informes separados y análisis de proveedores o terceros, por lo que no deben interpretarse como una comparación controlada de la seguridad de los modelos.

La estrategia Hy4 de Tencent traslada los controles al entrenamiento

El enfoque previsto por Tencent para Hy4 consiste en eliminar de los datos de entrenamiento los conocimientos peligrosos sobre piratería, en lugar de depender únicamente de un comportamiento de negativa añadido después del entrenamiento. Los investigadores citados por The Decoder afirman que este tipo de intervención resiste mejor la abliteration porque el modelo no contiene simplemente una capacidad que pueda desbloquearse borrando una capa de negativa.

Tencent afirma que las capacidades biológicas de Hy4 están por debajo de un umbral de alto riesgo. Es una evaluación de la empresa, no una medición de referencia verificada de forma independiente en las pruebas disponibles. El informe de seguridad previsto podría detallar cómo define Tencent el umbral, qué evaluaciones utilizó y si el modelo fue sometido a intentos de reconstruir los conocimientos eliminados.

El organismo chino de normalización TC260 también ha advertido que las salvaguardas de los modelos abiertos pueden eludirse o eliminarse, y está desarrollando un estándar de seguridad para la IA de código abierto. Sin embargo, en el plano normativo, ni China ni Estados Unidos han establecido un umbral vinculante de publicación que impida lanzar modelos abiertos especialmente capaces. Según los informes, un proyecto chino de control de exportaciones cubre algunos modelos grandes, pero exime a los modelos abiertos ya publicados.

Para los desarrolladores, la cuestión técnica clave es si el filtrado de datos puede convertirse en una capa de seguridad duradera y no en otra afirmación difícil de auditar. Eliminar datos del entrenamiento puede reducir el acceso directo a información peligrosa, pero las evaluaciones deberán comprobar la memorización, la reconstrucción, el uso de herramientas y las combinaciones de capacidades benignas que podrían crear nuevos riesgos.

Implicaciones para desarrolladores de IA y compradores empresariales

La disputa cambia el cálculo del riesgo para los equipos que eligen entre modelos alojados y modelos desplegados por cuenta propia. Un sistema alojado como Claude puede proporcionar actualizaciones de políticas, supervisión y controles de acceso centralizados, pero sus salvaguardas pueden interferir con operaciones de seguridad, análisis científicos u otros flujos legítimos. Un modelo de pesos abiertos ofrece mayor control y despliegue sin conexión, pero el comprador pasa a ser responsable de las pruebas, la gestión de accesos, los registros, los parches y la prevención de abusos.

Para las empresas, la decisión relevante quizá no sea un solo modelo. Los flujos sensibles podrían usar un sistema por capas: un modelo restringido para acciones de alto riesgo, otro más permisivo para análisis y aprobación humana antes de que las herramientas puedan cambiar la infraestructura o interactuar con materiales biológicos. Así se conserva la utilidad operativa sin asumir que un mensaje de negativa sea un mecanismo de seguridad suficiente.

Para los desarrolladores, Hy4 se observará como una prueba de si los controles aplicados durante el entrenamiento sobreviven a la modificación en el mundo real y a evaluaciones adversarias. Para los investigadores, el lanzamiento también podría aclarar si la evaluación del riesgo biológico de Tencent se basa en pruebas estandarizadas o en una metodología interna. Para los responsables políticos, el episodio refuerza lo difícil que es regular los pesos después de su publicación.

Qué observar a continuación

La primera señal será el lanzamiento de Hy4 y su informe de seguridad. Habrá que buscar detalles sobre el proceso de filtrado de los datos de entrenamiento, las evaluaciones biológicas y cibernéticas, el acceso a los pesos del modelo y si investigadores externos pueden reproducir las conclusiones de la empresa.

La segunda señal será la eficacia con que usuarios independientes eludan o reconstruyan las restricciones del modelo. Si las capacidades de piratería eliminadas de Hy4 siguen sin estar disponibles después de intentos de abliteration, el enfoque de Tencent ganará credibilidad. Si pueden restaurarse mediante ajuste fino, prompting o integración de herramientas, quedarán más claras las limitaciones del filtrado de datos de entrenamiento.

El mercado también debería seguir si Anthropic modifica sus políticas de enrutamiento tras los falsos positivos informados y si China o Estados Unidos crean normas aplicables a los modelos de pesos abiertos muy capaces. Esas decisiones determinarán los costes de despliegue y cuánto trabajo de seguridad se trasladará de los proveedores a los clientes.

Perspectiva de Creati.ai

La advertencia de Yao es importante menos porque resuelva el debate entre modelos abiertos y cerrados que porque expone la debilidad de tratar la política de acceso como el principal control de seguridad. Los modelos cerrados pueden ser demasiado restrictivos para la defensa, mientras que los modelos abiertos pueden perder sus salvaguardas cuando sus pesos se hacen públicos. Ninguna de las dos vías elimina la necesidad de probar capacidades, aplicar controles operativos y contar con supervisión independiente.

El lanzamiento de Hy4 por Tencent podría ofrecer un experimento útil sobre la reducción del riesgo durante el entrenamiento, pero su importancia dependerá de las pruebas y no de la etiqueta de modelo de pesos abiertos. Para desarrolladores de IA y compradores empresariales, la lección práctica es evaluar toda la cadena de despliegue —conocimiento del modelo, permisos de las herramientas, supervisión y opciones de reversión—, no solo si el sistema rechaza una solicitud peligrosa.