Nous Research afirma que o fine-tuning removeu a maior parte da propaganda política do modelo Qwen da Alibaba

A Nous Research lançou o Arete-27B, uma versão ajustada do Qwen3.8-27B da Alibaba que, segundo a empresa, reduz drasticamente as respostas políticas favoráveis a Pequim e preserva o desempenho geral do modelo-base. Na avaliação interna da Nous, a parcela de respostas classificadas como propaganda caiu de 22% para 0,9% após o treinamento com cerca de 53 milhões de tokens.

O resultado é importante porque desafia uma suposição comum sobre o comportamento político dos modelos chineses de pesos abertos: a de que respostas alinhadas ao governo estão profundamente incorporadas em todo o modelo. A Nous argumenta, em vez disso, que pelo menos parte desse comportamento pode ser alterada com fine-tuning supervisionado direcionado, sem retreinar o modelo do zero nem aplicar aprendizado por reforço.

As descobertas continuam sendo principalmente reportadas pelo fornecedor. A avaliação foi projetada e executada pela Nous, e a comparação não estabelece que todo modelo chinês contenha uma camada de alinhamento político removível de forma semelhante.

O que a Nous mudou no Qwen3.8-27B

Nous Research treinou o Arete-27B a partir do Qwen3.8-27B da Alibaba usando aproximadamente 53 milhões de tokens durante duas épocas. A empresa afirma ter usado apenas fine-tuning supervisionado, sem aprendizado por reforço ou otimização de preferências. Também relata ter removido sobreposições entre o material de treinamento e os prompts de teste.

O treinamento se concentrou em respostas envolvendo liberdade de expressão, ideologia estatal, educação, privacidade e vigilância, democracia e meio ambiente. A Nous diz que o objetivo era orientar o modelo para respostas factuais, em vez de respostas que repetissem, endossassem ou normalizassem narrativas oficiais do governo chinês.

O modelo resultante e os materiais relacionados, incluindo o conjunto de dados de teste e os dados de treinamento, foram disponibilizados no Hugging Face sob uma licença Apache 2.0, segundo o relato do The Decoder. Isso pode permitir que pesquisadores e desenvolvedores de modelos inspecionem a abordagem, reproduzam partes da avaliação ou testem se o mesmo método funciona em outros modelos de pesos abertos.

A Nous descreve o comportamento político observado no Qwen3.8-27B como uma camada “fina” aplicada no fim do treinamento. Essa conclusão é uma interpretação dos resultados da empresa, não uma propriedade do processo de treinamento do Qwen estabelecida de forma independente.

A avaliação mostrou uma grande mudança política

A Nous testou os dois modelos com 803 prompts distribuídos em sete categorias politicamente sensíveis. Para cada prompt, a empresa identificou de dois a quatro pontos factuais em fontes datadas, como leis, reportagens ou pesquisas acadêmicas. Um modelo avaliador separado então analisou se a resposta incluía, omitia ou contradizia esses fatos.

O avaliador foi o Grok 4.7, da xAI. A Nous diz que o avaliador não sabia qual modelo havia produzido cada resposta e recebeu instruções para citar a formulação que sustentava sua decisão. A empresa classificou uma resposta como propaganda quando ela repetia uma narrativa oficial de Pequim em vez de apresentar os fatos relevantes, endossava essa narrativa ou a tratava como igualmente válida apesar de evidências contrárias.

Nesse teste, o Qwen3.8-27B obteve 2,32 de 5 em precisão factual e produziu propaganda em 22% das respostas. O Arete-27B alcançou 2,98 em precisão factual, enquanto sua taxa de propaganda caiu para 0,9%. A maior mudança ocorreu na categoria de liberdade de expressão: a Nous relata que a pontuação factual subiu de 0,89 para 2,44 e a taxa de propaganda caiu de 60% para 1%.

O resultado no modo de raciocínio é menos completo. O Arete teria alcançado uma pontuação de precisão factual de 3,07 com o raciocínio ativado, mas a Nous baseou esse número em apenas duas das cinco execuções planejadas. Isso o torna um sinal inicial, e não um benchmark estável.

Para comparação, a Nous afirma que o Mistral Large 4 e o Gemma 4 31B produziram taxas de propaganda abaixo de 1% na mesma avaliação, enquanto o GLM-5.3 e o DeepSeek V4.1 Flash marcaram 15% e 16%, respectivamente. Essas comparações entre modelos também devem ser tratadas com cautela, pois dependem do conjunto de prompts, das definições e da metodologia do modelo avaliador de uma única empresa.

As alegações sobre capacidade geral também são internas

A Nous afirma que remover o comportamento político não enfraqueceu materialmente o desempenho geral. No Hermes Bench da empresa, o Arete-27B obteve 65,60%, contra 65,77% do modelo original. No Terminal-Bench 2.1, a pontuação subiu de 67% para 70%, embora a Nous ressalte que as configurações dos testes foram diferentes e não apresente esse resultado como um ganho significativo.

Esses números sugerem que mudanças direcionadas de alinhamento não necessariamente exigem uma perda ampla de capacidade de programação ou de uso geral. No entanto, eles não constituem uma avaliação independente de segurança ou capacidade. Os benchmarks foram reportados pela Nous, e as evidências disponíveis não mostram como o Arete se comporta em uma gama mais ampla de idiomas, domínios, prompts adversariais ou cargas de trabalho de produção.

A escolha do modelo professor também ilustra uma restrição prática para desenvolvedores. A Nous selecionou o Inkling, da Thinking Machines Lab, porque afirma que usar um modelo aberto teria criado preocupações relacionadas a termos de serviço que restringem a destilação. O Nemotron 3 Ultra, da Nvidia, teria sido considerado, mas não selecionado após a Nous observar o que descreveu como irregularidades em temas relacionados à China.

Esse processo destaca um problema mais amplo: pipelines de dados sintéticos podem transferir comportamento político entre modelos. A Nous diz ter visto sinais de contaminação semelhante em seus próprios projetos, enquanto o próprio Inkling usou modelos como o chinês Kimi K2.5 em seus dados sintéticos de treinamento, segundo o The Decoder.

Por que o resultado importa para desenvolvedores de modelos

Para desenvolvedores de IA, a lição imediata é metodológica, e não política. Uma execução relativamente pequena de fine-tuning supervisionado — 53 milhões de tokens para um modelo dessa classe — pode ser suficiente para alterar padrões muito visíveis de recusa e enquadramento sem reconstruir o modelo subjacente. Isso pode reduzir o custo e o tempo necessários para adaptar sistemas de pesos abertos a diferentes mercados ou políticas organizacionais.

O risco é que uma pontuação menor de propaganda não signifique automaticamente que um modelo seja neutro, verdadeiro ou seguro. Um modelo pode deixar de repetir a narrativa de um governo e ainda exibir outras preferências ideológicas, factualidade irregular ou novos modos de falha introduzidos pelos dados de fine-tuning. O uso de um modelo avaliador com suas próprias características políticas também torna importante o desenho da avaliação.

Para compradores empresariais, o lançamento oferece uma possível forma de testar e adaptar modelos abertos antes da implantação. Mas os compradores precisariam examinar a procedência dos dados de treinamento, o licenciamento, o comportamento multilíngue, o tratamento da privacidade, as políticas de recusa e o desempenho em seus próprios casos de uso sensíveis. Uma pontuação baixa no benchmark político da Nous não prova que o Arete-27B esteja pronto para aplicações regulamentadas ou de alto impacto.

A descoberta também aumenta a pressão sobre fornecedores de modelos para documentar como o alinhamento político é criado e medido. Estudos anteriores citados pelo The Decoder, incluindo trabalhos da NewsGuard, CrowdStrike, Aleph Alpha e ValsAI, relataram comportamento desigual entre modelos chineses em temas como Taiwan, Tibete, Falun Gong, direitos humanos e campos de internamento. Esses estudos também sugerem que os resultados podem variar conforme o modelo, o idioma, o tema e o formato da resposta.

O que observar a seguir

O acompanhamento mais importante será a replicação independente da avaliação do Arete-27B. Pesquisadores devem testar os pesos e dados divulgados com avaliadores de diferentes fornecedores, revisores humanos, prompts multilíngues e novos temas políticos ausentes do conjunto de treinamento.

Também será importante verificar se o método se transfere para outros modelos chineses de pesos abertos, incluindo sistemas da DeepSeek, GLM e Kimi, sem prejudicar o raciocínio, a programação ou o desempenho factual. Testes de longo prazo devem examinar se o comportamento alterado persiste após conversas prolongadas, uso de ferramentas, mudanças no prompt do sistema e prompts adversariais.

Por fim, usuários de modelos devem buscar evidências de implantações reais, em vez de depender apenas das pontuações de benchmark. A expansão empresarial planejada pela Nous em torno do Hermes for Businesses pode fornecer mais informações sobre como a empresa mede confiabilidade, governança e personalização fora de sua avaliação de pesquisa.

Perspectiva da Creati.ai

O Arete-27B é uma demonstração útil de que o comportamento político de pelo menos um modelo testado pode ser modificado de forma mais cirúrgica do que muitos compradores esperariam. A retenção de capacidade relatada é notável, mas as conclusões políticas são mais fortes do que as evidências atuais permitem: um modelo, um teste projetado internamente e resultados majoritariamente reportados pelo fornecedor não provam que o alinhamento ideológico seja geralmente superficial ou fácil de remover.

Para desenvolvedores, a conclusão prática é tratar o fine-tuning como uma intervenção que exige medição, não como um interruptor garantido de neutralidade. O valor do Arete-27B dependerá menos da redução de propaganda destacada nas manchetes do que da confirmação, por avaliações independentes, de que a mudança é duradoura, amplamente factual e livre de regressões dispendiosas em outras áreas.