Chefe de IA da Tencent alerta que armas biológicas estão chegando e apoia um caminho intermediário para o acesso a modelos

O principal cientista de IA da Tencent, Vinces Yao Shunyu, alertou que sistemas de IA poderão em breve ajudar a desenvolver armas biológicas, argumentando que nem modelos totalmente abertos nem totalmente fechados oferecem uma resposta completa ao risco.

A posição de Yao, noticiada pelo The Decoder a partir de comentários divulgados pelo South China Morning Post, coloca a Tencent no centro de uma disputa crescente sobre quanto acesso desenvolvedores e público devem ter à IA avançada. Ele apoia um meio-termo que preserve modelos abertos para trabalho defensivo, usando controles mais fortes para capacidades que poderiam permitir ataques biológicos ou cibernéticos.

O debate tem relevância imediata para o lançamento planejado do Hy4 pela Tencent. A empresa pretende publicar o Hy4 como um modelo de pesos abertos acompanhado de um relatório de segurança, dizendo que removeu conhecimento perigoso de hacking dos dados de treinamento e que as capacidades biológicas do modelo permanecem abaixo de um limite de alto risco. Essas afirmações não foram estabelecidas de forma independente no material-fonte.

Por que Yao rejeita uma resposta simples entre aberto e fechado

Yao, que trabalhou anteriormente na OpenAI, vê benefícios nos dois modelos de acesso. Sistemas fechados podem aplicar salvaguardas centralizadas e restringir capacidades avançadas a usuários avaliados. Sistemas abertos, porém, podem permitir que defensores inspecionem, adaptem e executem modelos sem depender das políticas ou da disponibilidade de um único provedor.

Ele citou um incidente de segurança da Hugging Face como exemplo desse equilíbrio. Segundo o relato, modelos americanos hospedados, incluindo o Claude da Anthropic, recusaram-se a analisar comandos de ataque por causa de seus filtros de segurança, enquanto o modelo chinês aberto GLM-5.2 foi usado para ajudar a interpretar logs durante a investigação forense.

O relatório da Hugging Face sustenta o ponto factual restrito de que o GLM-5.2 foi usado durante a investigação, mas não mostra que o modelo interrompeu o ataque. A Hugging Face disse que o incidente foi contido depois que sua equipe de segurança corrigiu a vulnerabilidade explorada, reconstruiu os servidores afetados e trocou as credenciais. A empresa também ressaltou que o episódio não deve ser tratado como argumento contra filtros de segurança em modelos hospedados.

O alerta de Yao sobre o risco biológico é mais consequente porque capacidades defensivas e ofensivas podem ser difíceis de separar na biologia. Um modelo que ajuda um pesquisador a entender patógenos ou projetar experimentos também pode reduzir barreiras para alguém que busca causar danos. O Decoder informou que Yao considera necessária cautela em todo o setor, e não apenas em um mercado nacional, devido à diferença relativamente pequena entre os principais modelos chineses e americanos.

As evidências mostram fraquezas dos dois lados

O caso contra depender apenas das recusas de modelos abertos é ilustrado pela abliteration, uma técnica que remove comportamentos de recusa treinados quando os usuários têm acesso aos pesos. O Decoder informou que milhares de variantes modificadas estão disponíveis no Hugging Face, enquanto a Abliteration.ai oferece acesso a uma versão sem filtros do GLM-5.3.

Pesquisas citadas no relatório indicam que as defesas atuais podem dificultar essas modificações, mas não impedi-las de modo confiável. Isso cria uma distinção fundamental entre um modelo hospedado e um modelo lançado: um provedor pode atualizar ou retirar um serviço, mas pesos publicados não podem ser recolhidos depois de se espalharem.

Modelos fechados apresentam outro modo de falha. A Anthropic e outras empresas americanas restringiram algumas capacidades cibernéticas avançadas a parceiros avaliados por meio de programas como Project Glasswing e Daybreak. A Anthropic também usou controles de roteamento que enviam prompts suspeitos relacionados a cibersegurança e biologia para um modelo menos capaz. A Artificial Analysis estimou inicialmente que o roteamento afetava de 8% a 9% das tarefas, enquanto usuários relataram falsos positivos, incluindo análises de MRI marcadas como potencialmente relacionadas a bioterrorismo. A Anthropic reconheceu que os filtros eram agressivos demais.

Esses exemplos não estabelecem que sistemas abertos ou fechados sejam categoricamente mais seguros. Eles mostram que modelos abertos podem perder salvaguardas por meio da modificação dos pesos, enquanto sistemas fechados podem bloquear trabalho legítimo ou impedir que defensores usem um modelo quando a velocidade é importante. As evidências vêm de relatórios separados e análises de fornecedores ou terceiros, portanto não devem ser lidas como comparação controlada da segurança dos modelos.

A estratégia Hy4 da Tencent leva os controles para o treinamento

A abordagem planejada pela Tencent para o Hy4 é remover conhecimento perigoso de hacking dos dados de treinamento, em vez de depender apenas de um comportamento de recusa acrescentado depois do treinamento. Pesquisadores citados pelo The Decoder dizem que esse tipo de intervenção é mais resistente à abliteration porque o modelo não contém simplesmente uma capacidade que pode ser desbloqueada apagando uma camada de recusa.

A Tencent afirma que as capacidades biológicas do Hy4 ficam abaixo de um limite de alto risco. Essa é uma avaliação da empresa, não um benchmark verificado independentemente nas evidências disponíveis. O relatório de segurança planejado poderá detalhar como a Tencent define o limite, quais avaliações usou e se o modelo foi testado contra tentativas de reconstruir conhecimento removido.

O órgão chinês de padronização TC260 também alertou que salvaguardas em modelos abertos podem ser contornadas ou removidas e está desenvolvendo um padrão de segurança para IA de código aberto. No nível de políticas públicas, contudo, nem China nem Estados Unidos estabeleceram um limite obrigatório de publicação que impeça o lançamento de modelos abertos particularmente capazes. Um projeto chinês de controle de exportações aparentemente cobre alguns modelos grandes, mas isenta modelos abertos que já tenham sido lançados.

Para os desenvolvedores, a questão técnica central é se a filtragem de dados pode se tornar uma camada de segurança duradoura, em vez de outra afirmação difícil de auditar. A remoção de dados de treinamento pode reduzir o acesso direto a informações perigosas, mas as avaliações precisarão testar memorização, reconstrução, uso de ferramentas e combinações de capacidades benignas que poderiam criar novos riscos.

Implicações para desenvolvedores de IA e compradores empresariais

A disputa muda o cálculo de risco para equipes que escolhem entre modelos hospedados e modelos implantados internamente. Um sistema hospedado como o Claude pode oferecer atualizações de políticas, monitoramento e controles de acesso centralizados, mas suas salvaguardas podem interferir em operações de segurança, análises científicas ou outros fluxos legítimos. Um modelo de pesos abertos oferece maior controle e implantação offline, mas o comprador passa a ser responsável por testes, gestão de acesso, registros, correções e prevenção de abusos.

Para equipes empresariais, a escolha relevante talvez não seja um único modelo. Fluxos sensíveis poderiam usar um sistema em camadas: um modelo restrito para ações de alto risco, um modelo mais permissivo para análise e aprovação humana antes que ferramentas possam alterar a infraestrutura ou interagir com materiais biológicos. Isso preserva a utilidade operacional sem presumir que uma mensagem de recusa seja um mecanismo de segurança suficiente.

Para desenvolvedores de modelos, o Hy4 será observado como teste para saber se controles aplicados durante o treinamento resistem a modificações no mundo real e a avaliações adversariais. Para pesquisadores, o lançamento também poderá esclarecer se a avaliação de risco biológico da Tencent se baseia em testes padronizados ou em metodologia interna. Para formuladores de políticas, o episódio reforça a dificuldade de regular pesos depois da publicação.

O que observar a seguir

O primeiro sinal será o lançamento do Hy4 e o relatório de segurança que o acompanhar. Observe detalhes sobre o processo de filtragem dos dados de treinamento, avaliações biológicas e cibernéticas, acesso aos pesos do modelo e possibilidade de pesquisadores externos reproduzirem as conclusões da empresa.

O segundo sinal é a eficácia com que usuários independentes conseguem contornar ou reconstruir as restrições do modelo. Se as capacidades de hacking removidas do Hy4 permanecerem indisponíveis após tentativas de abliteration, a abordagem da Tencent ganhará credibilidade. Se as capacidades puderem ser restauradas por ajuste fino, prompting ou integração de ferramentas, os limites da filtragem de dados de treinamento ficarão mais claros.

O mercado também deve acompanhar se a Anthropic muda suas políticas de roteamento após os falsos positivos relatados e se China ou Estados Unidos criam regras aplicáveis a modelos de pesos abertos altamente capazes. Essas decisões moldarão os custos de implantação e a quantidade de trabalho de segurança transferida dos provedores para os clientes.

Perspectiva da Creati.ai

O alerta de Yao é importante menos por resolver o debate entre aberto e fechado do que por expor a fraqueza de tratar a política de acesso como principal controle de segurança. Modelos fechados podem ser restritivos demais para a defesa, enquanto modelos abertos podem perder salvaguardas quando seus pesos se tornam públicos. Nenhum dos caminhos elimina a necessidade de testar capacidades, aplicar controles operacionais e contar com escrutínio independente.

O lançamento do Hy4 pela Tencent pode oferecer um experimento útil de redução de risco durante o treinamento, mas sua importância dependerá das evidências, não do rótulo de modelo de pesos abertos. Para desenvolvedores de IA e compradores empresariais, a lição prática é avaliar toda a cadeia de implantação — conhecimento do modelo, permissões de ferramentas, monitoramento e opções de reversão — e não apenas verificar se o sistema recusa um prompt perigoso.