Nous Research afirma que el ajuste fino eliminó la mayor parte de la propaganda política del modelo Qwen de Alibaba

Nous Research ha lanzado Arete-27B, una versión ajustada de Qwen3.8-27B de Alibaba que, según la empresa, reduce drásticamente las respuestas políticas favorables a Pekín y conserva el rendimiento general del modelo base. En la evaluación interna de Nous, la proporción de respuestas clasificadas como propaganda cayó del 22 % al 0,9 % tras entrenar con unos 53 millones de tokens.

El resultado es relevante porque cuestiona una suposición común sobre el comportamiento político de los modelos chinos de pesos abiertos: que las respuestas alineadas con el Gobierno están profundamente integradas en todo el modelo. Nous sostiene, en cambio, que al menos parte de ese comportamiento puede modificarse mediante un ajuste fino supervisado y dirigido, sin volver a entrenar el modelo desde cero ni aplicar aprendizaje por refuerzo.

Los hallazgos siguen siendo principalmente comunicados por el proveedor. Nous diseñó y ejecutó la evaluación, y la comparación no demuestra que todos los modelos chinos contengan una capa de alineación política que pueda eliminarse de forma similar.

Qué cambió Nous en Qwen3.8-27B

Nous Research entrenó Arete-27B a partir de Qwen3.8-27B de Alibaba usando aproximadamente 53 millones de tokens durante dos épocas. La empresa afirma que utilizó únicamente ajuste fino supervisado, sin aprendizaje por refuerzo ni optimización de preferencias. También informa que eliminó las coincidencias entre el material de entrenamiento y los prompts de prueba.

El entrenamiento se centró en respuestas relacionadas con la libertad de expresión, la ideología estatal, la educación, la privacidad y la vigilancia, la democracia y el medio ambiente. Nous afirma que el objetivo era orientar el modelo hacia respuestas fácticas, en lugar de respuestas que repitieran, respaldaran o normalizaran narrativas oficiales del Gobierno chino.

El modelo resultante y los materiales relacionados, incluidos el conjunto de datos de prueba y los datos de entrenamiento, se pusieron a disposición en Hugging Face bajo una licencia Apache 2.0, según el relato de The Decoder. Esto podría permitir a investigadores y desarrolladores inspeccionar el enfoque, reproducir partes de la evaluación o probar si el mismo método funciona con otros modelos de pesos abiertos.

Nous describe el comportamiento político observado en Qwen3.8-27B como una capa «delgada» aplicada al final del entrenamiento. Esa conclusión es una interpretación de los resultados de la empresa, no una propiedad establecida de forma independiente del proceso de entrenamiento de Qwen.

La evaluación mostró un gran cambio político

Nous probó ambos modelos con 803 prompts de siete categorías políticamente sensibles. Para cada prompt, la empresa identificó entre dos y cuatro puntos fácticos a partir de fuentes fechadas, como leyes, noticias o investigaciones académicas. Después, un modelo evaluador independiente analizó si la respuesta incluía, omitía o contradecía esos hechos.

El evaluador fue Grok 4.7 de xAI. Nous afirma que el evaluador no sabía qué modelo había producido cada respuesta y recibió instrucciones de citar el texto que respaldaba su decisión. La empresa clasificó una respuesta como propaganda cuando repetía una narrativa oficial de Pekín en lugar de presentar los hechos pertinentes, respaldaba esa narrativa o la trataba como igualmente válida pese a la existencia de pruebas contrarias.

En esta prueba, Qwen3.8-27B obtuvo 2,32 sobre 5 en precisión factual y produjo propaganda en el 22 % de las respuestas. Arete-27B alcanzó 2,98 en precisión factual, mientras que su tasa de propaganda cayó al 0,9 %. El mayor cambio se produjo en la categoría de libertad de expresión: Nous informa que la puntuación factual subió de 0,89 a 2,44 y que la tasa de propaganda bajó del 60 % al 1 %.

El resultado en modo de razonamiento es menos completo. Según se informa, Arete alcanzó una puntuación de precisión factual de 3,07 con el razonamiento activado, pero Nous basó esa cifra en solo dos de las cinco ejecuciones previstas. Por tanto, es una señal inicial más que un benchmark estable.

Como comparación, Nous afirma que Mistral Large 4 y Gemma 4 31B produjeron tasas de propaganda inferiores al 1 % en la misma evaluación, mientras que GLM-5.3 y DeepSeek V4.1 Flash obtuvieron un 15 % y un 16 %, respectivamente. Estas comparaciones entre modelos también deben tratarse con cautela, ya que dependen del conjunto de prompts, las definiciones y la metodología del modelo evaluador de una sola empresa.

Las afirmaciones sobre capacidad general también son internas

Nous afirma que eliminar el comportamiento político no debilitó materialmente el rendimiento general. En el Hermes Bench de la empresa, Arete-27B obtuvo un 65,60 %, frente al 65,77 % del modelo original. En Terminal-Bench 2.1, la puntuación aumentó del 67 % al 70 %, aunque Nous advierte que las configuraciones de las pruebas fueron distintas y no presenta ese resultado como una mejora significativa.

Estas cifras sugieren que los cambios específicos de alineación no necesariamente requieren una pérdida amplia de capacidad de programación o de propósito general. Sin embargo, no constituyen una evaluación independiente de seguridad o capacidad. Nous comunicó los benchmarks, y las pruebas disponibles no muestran cómo funciona Arete en una gama más amplia de idiomas, dominios, prompts adversariales o cargas de trabajo de producción.

La elección del modelo profesor también ilustra una limitación práctica para los desarrolladores. Nous eligió Inkling, de Thinking Machines Lab, porque afirma que utilizar un modelo abierto habría generado preocupaciones relacionadas con las condiciones de servicio que restringen la destilación. Según se informa, se consideró Nemotron 3 Ultra de Nvidia, pero no fue seleccionado después de que Nous observara lo que describió como irregularidades en temas relacionados con China.

Ese proceso destaca un problema más amplio: las cadenas de datos sintéticos pueden transferir comportamiento político entre modelos. Nous afirma haber observado señales de una contaminación similar en sus propios proyectos, mientras que Inkling utilizó modelos como el chino Kimi K2.5 en sus datos sintéticos de entrenamiento, según The Decoder.

Por qué importa el resultado para quienes desarrollan modelos

Para los desarrolladores de IA, la lección inmediata es metodológica más que política. Una sesión de ajuste fino supervisado relativamente pequeña —53 millones de tokens para un modelo de esta clase— puede bastar para cambiar patrones muy visibles de rechazo y encuadre sin reconstruir el modelo subyacente. Esto podría reducir el coste y el tiempo necesarios para adaptar sistemas de pesos abiertos a distintos mercados o políticas organizativas.

El riesgo es que una puntuación propagandística más baja no signifique automáticamente que un modelo sea neutral, veraz o seguro. Un modelo puede dejar de repetir la narrativa de un Gobierno y seguir mostrando otras preferencias ideológicas, una factualidad irregular o nuevos modos de fallo introducidos por los datos de ajuste fino. El uso de un modelo evaluador con sus propias características políticas también hace importante el diseño de la evaluación.

Para los compradores empresariales, el lanzamiento ofrece una posible vía para probar y adaptar modelos abiertos antes de implementarlos. Sin embargo, los compradores tendrían que examinar la procedencia de los datos de entrenamiento, las licencias, el comportamiento multilingüe, el tratamiento de la privacidad, las políticas de rechazo y el rendimiento en sus propios casos de uso sensibles. Una puntuación baja en el benchmark político de Nous no demuestra que Arete-27B esté listo para aplicaciones reguladas o de alto impacto.

El hallazgo también aumenta la presión sobre los proveedores para que documenten cómo se crea y se mide la alineación política. Estudios anteriores citados por The Decoder, incluidos trabajos de NewsGuard, CrowdStrike, Aleph Alpha y ValsAI, han informado de comportamientos desiguales entre modelos chinos en temas como Taiwán, Tíbet, Falun Gong, derechos humanos y campos de internamiento. Esos estudios también sugieren que los resultados pueden variar según el modelo, el idioma, el tema y el formato de respuesta.

Qué habrá que observar a continuación

La continuación más importante será la replicación independiente de la evaluación de Arete-27B. Los investigadores deberían probar los pesos y datos publicados con evaluadores de distintos proveedores, revisores humanos, prompts multilingües y nuevos temas políticos que no estuvieran presentes en el conjunto de entrenamiento.

También será importante comprobar si el método se transfiere a otros modelos chinos de pesos abiertos, incluidos los sistemas de DeepSeek, GLM y Kimi, sin perjudicar el razonamiento, la programación o el rendimiento factual. Las pruebas a más largo plazo deberían analizar si el comportamiento modificado persiste después de conversaciones prolongadas, uso de herramientas, cambios en el prompt del sistema y prompts adversariales.

Por último, los usuarios de modelos deberían buscar pruebas de implementaciones reales, en lugar de depender únicamente de las puntuaciones de los benchmarks. La expansión empresarial prevista por Nous en torno a Hermes for Businesses podría aportar más información sobre cómo mide la empresa la fiabilidad, la gobernanza y la personalización fuera de su evaluación de investigación.

Perspectiva de Creati.ai

Arete-27B es una demostración útil de que el comportamiento político de al menos un modelo probado puede modificarse de forma más quirúrgica de lo que muchos compradores podrían esperar. La conservación de capacidades comunicada es notable, pero las conclusiones políticas son más contundentes de lo que permite la evidencia actual: un modelo, una prueba diseñada internamente y resultados comunicados principalmente por el proveedor no demuestran que la alineación ideológica sea generalmente superficial o fácil de eliminar.

Para los desarrolladores, la conclusión práctica es tratar el ajuste fino como una intervención que requiere medición, no como un interruptor de neutralidad garantizado. El valor de Arete-27B dependerá menos de su reducción propagandística anunciada que de que evaluaciones independientes confirmen que el cambio es duradero, ampliamente factual y no introduce regresiones costosas en otros ámbitos.