Le responsable de l’IA de Tencent prévient de l’arrivée des armes biologiques et défend une voie médiane pour l’accès aux modèles

Le scientifique en chef chargé de l’IA chez Tencent, Vinces Yao Shunyu, a averti que les systèmes d’IA pourraient bientôt contribuer au développement d’armes biologiques. Il soutient toutefois que ni les modèles totalement ouverts ni les modèles totalement fermés ne constituent une réponse complète à ce risque.

La position de Yao, rapportée par The Decoder à partir de propos couverts par le South China Morning Post, place Tencent au centre d’un différend croissant sur l’ampleur de l’accès que les développeurs et le public devraient avoir à l’IA avancée. Il défend une voie médiane qui préserve les modèles ouverts pour les travaux défensifs, tout en imposant des contrôles plus stricts aux capacités susceptibles de permettre des attaques biologiques ou informatiques.

Le débat concerne directement la sortie prévue de Hy4 par Tencent. L’entreprise veut publier Hy4 comme un modèle à poids ouverts accompagné d’un rapport de sécurité. Elle affirme avoir retiré des données d’entraînement les connaissances dangereuses en matière de piratage et que les capacités biologiques du modèle restent sous un seuil de risque élevé. Ces affirmations n’ont pas été établies indépendamment dans les sources disponibles.

Pourquoi Yao rejette une réponse simple entre modèles ouverts et fermés

Yao, qui a auparavant travaillé chez OpenAI, verrait des avantages dans les deux modèles d’accès. Les systèmes fermés peuvent appliquer des garanties centralisées et réserver les capacités avancées à des utilisateurs contrôlés. Les systèmes ouverts peuvent toutefois permettre aux défenseurs d’inspecter, d’adapter et d’exécuter les modèles sans dépendre des politiques ou de la disponibilité d’un fournisseur unique.

Il a cité un incident de sécurité chez Hugging Face comme exemple de ce compromis. Selon le récit, des modèles américains hébergés, notamment Claude d’Anthropic, ont refusé d’analyser des commandes d’attaque à cause de leurs filtres de sécurité, tandis que le modèle chinois ouvert GLM-5.2 a aidé à analyser des journaux pendant l’enquête médico-légale.

Le rapport de Hugging Face étaye le point factuel limité selon lequel GLM-5.2 a été utilisé durant l’enquête, mais il ne montre pas que le modèle a arrêté l’attaque. Hugging Face a déclaré que l’incident avait été contenu après que son équipe de sécurité eut corrigé la vulnérabilité exploitée, reconstruit les serveurs touchés et renouvelé les identifiants. L’entreprise a aussi souligné que cet épisode ne devait pas être considéré comme un argument contre les filtres de sécurité des modèles hébergés.

L’avertissement de Yao sur les risques biologiques est plus lourd de conséquences, car les capacités défensives et offensives sont difficiles à distinguer en biologie. Un modèle qui aide un chercheur à comprendre des agents pathogènes ou à concevoir des expériences peut aussi réduire les obstacles pour quelqu’un qui cherche à nuire. The Decoder a rapporté que Yao estime nécessaire de faire preuve de prudence dans toute l’industrie, et pas seulement sur un marché national, en raison de l’écart relativement faible entre les modèles chinois et américains de pointe.

Les éléments disponibles montrent des faiblesses des deux côtés

L’argument contre une dépendance exclusive aux refus des modèles ouverts est illustré par l’abliteration, une technique qui supprime les comportements de refus entraînés lorsque les utilisateurs ont accès aux poids. The Decoder a rapporté que des milliers de variantes modifiées sont disponibles sur Hugging Face, tandis qu’Abliteration.ai propose l’accès à une version non filtrée de GLM-5.3.

Les recherches citées indiquent que les défenses actuelles peuvent rendre ces modifications plus difficiles, sans toutefois les empêcher de manière fiable. Cela crée une distinction fondamentale entre un modèle hébergé et un modèle publié : un fournisseur peut mettre à jour ou retirer un service, mais les poids publiés ne peuvent être rappelés une fois diffusés.

Les modèles fermés présentent un autre mode de défaillance. Anthropic et d’autres entreprises américaines ont réservé certaines capacités informatiques avancées à des partenaires contrôlés grâce à des programmes comme Project Glasswing et Daybreak. Anthropic a également utilisé des contrôles de routage qui envoient les requêtes suspectes liées à la cybersécurité et à la biologie vers un modèle moins performant. Artificial Analysis a d’abord estimé que ce routage concernait 8 à 9 % des tâches ; des utilisateurs ont signalé des faux positifs, notamment l’identification d’analyses IRM comme potentiellement liées au bioterrorisme. Anthropic a reconnu que les filtres étaient trop agressifs.

Ces exemples ne démontrent pas que les systèmes ouverts ou fermés sont catégoriquement plus sûrs. Ils montrent plutôt que les modèles ouverts peuvent perdre leurs protections par modification des poids, tandis que les systèmes fermés peuvent bloquer un travail légitime ou empêcher les défenseurs d’utiliser un modèle lorsque la rapidité compte. Les éléments proviennent de rapports distincts et d’analyses de fournisseurs ou de tiers ; ils ne doivent donc pas être lus comme une comparaison contrôlée de la sécurité des modèles.

La stratégie Hy4 de Tencent déplace les contrôles vers l’entraînement

L’approche prévue par Tencent pour Hy4 consiste à supprimer les connaissances dangereuses en matière de piratage des données d’entraînement, plutôt qu’à dépendre uniquement d’un comportement de refus ajouté après l’entraînement. Selon les chercheurs cités par The Decoder, ce type d’intervention résiste mieux à l’abliteration, car le modèle ne contient pas simplement une capacité qui peut être débloquée en supprimant une couche de refus.

Tencent affirme que les capacités biologiques de Hy4 se situent sous un seuil de risque élevé. Il s’agit d’une évaluation de l’entreprise, et non d’un benchmark vérifié indépendamment dans les éléments disponibles. Le rapport de sécurité prévu pourrait préciser comment Tencent définit ce seuil, quelles évaluations ont été utilisées et si le modèle a été testé contre des tentatives de reconstruction des connaissances supprimées.

L’organisme chinois de normalisation TC260 a lui aussi averti que les protections des modèles ouverts pouvaient être contournées ou supprimées et élabore une norme de sécurité pour l’IA open source. Toutefois, au niveau des politiques publiques, ni la Chine ni les États-Unis n’ont établi de seuil de publication contraignant qui empêcherait la diffusion de modèles ouverts particulièrement performants. Un projet chinois de contrôle des exportations couvrirait certains grands modèles, mais exempterait les modèles ouverts déjà publiés.

Pour les développeurs, la question technique centrale est de savoir si le filtrage des données peut devenir une couche de sécurité durable plutôt qu’une affirmation supplémentaire difficile à auditer. La suppression de données d’entraînement peut réduire l’accès direct aux informations dangereuses, mais les évaluations devront tester la mémorisation, la reconstruction, l’utilisation d’outils et les combinaisons de capacités bénignes susceptibles de créer de nouveaux risques.

Conséquences pour les développeurs d’IA et les acheteurs professionnels

Le différend modifie le calcul des risques pour les équipes qui choisissent entre des modèles hébergés et des modèles déployés en interne. Un système hébergé comme Claude peut fournir des mises à jour de politiques, une surveillance et des contrôles d’accès centralisés, mais ses protections peuvent perturber les opérations de sécurité, l’analyse scientifique ou d’autres flux de travail légitimes. Un modèle à poids ouverts offre davantage de contrôle et un déploiement hors ligne, mais l’acheteur devient responsable des tests, de la gestion des accès, de la journalisation, des correctifs et de la prévention des abus.

Pour les entreprises, le choix pertinent n’est peut-être pas un modèle unique. Les flux sensibles pourraient utiliser un système en couches : un modèle restreint pour les actions à haut risque, un modèle plus permissif pour l’analyse, et une approbation humaine avant que des outils puissent modifier l’infrastructure ou interagir avec des matières biologiques. Cette approche préserve l’utilité opérationnelle sans supposer qu’un message de refus constitue un mécanisme de sécurité suffisant.

Pour les développeurs de modèles, Hy4 sera observé comme un test de la capacité des contrôles appliqués pendant l’entraînement à résister aux modifications réelles et aux évaluations adversariales. Pour les chercheurs, la sortie pourrait aussi préciser si l’évaluation du risque biologique de Tencent repose sur des tests standardisés ou sur une méthodologie interne. Pour les décideurs publics, l’épisode montre une nouvelle fois combien il est difficile de réglementer les poids après leur publication.

Ce qu’il faut surveiller ensuite

Le premier signal sera la sortie de Hy4 et du rapport de sécurité qui l’accompagnera. Il faudra examiner les détails du filtrage des données d’entraînement, des évaluations biologiques et cybernétiques, de l’accès aux poids du modèle et de la possibilité pour des chercheurs externes de reproduire les conclusions de l’entreprise.

Le deuxième signal sera l’efficacité avec laquelle des utilisateurs indépendants contourneront ou reconstruiront les restrictions du modèle. Si les capacités de piratage supprimées de Hy4 restent indisponibles après des tentatives d’abliteration, l’approche de Tencent gagnera en crédibilité. Si elles peuvent être restaurées par ajustement fin, prompting ou intégration d’outils, les limites du filtrage des données d’entraînement apparaîtront plus clairement.

Le marché devra également suivre une éventuelle modification par Anthropic de ses politiques de routage après les faux positifs signalés, ainsi que la création éventuelle par la Chine ou les États-Unis de règles applicables aux modèles à poids ouverts très performants. Ces décisions façonneront les coûts de déploiement et la part du travail de sécurité transférée des fournisseurs vers les clients.

Point de vue de Creati.ai

L’avertissement de Yao est important moins parce qu’il tranche le débat entre modèles ouverts et fermés que parce qu’il révèle la faiblesse d’une politique d’accès considérée comme le principal contrôle de sécurité. Les modèles fermés peuvent être trop restrictifs pour la défense, tandis que les modèles ouverts peuvent perdre leurs protections une fois leurs poids rendus publics. Aucune des deux voies ne supprime la nécessité de tester les capacités, d’appliquer des contrôles opérationnels et d’assurer un examen indépendant.

La sortie de Hy4 par Tencent pourrait constituer une expérience utile de réduction des risques au moment de l’entraînement, mais son importance dépendra des preuves plutôt que de l’étiquette de modèle à poids ouverts. Pour les développeurs d’IA et les acheteurs professionnels, la leçon pratique est d’évaluer toute la chaîne de déploiement — connaissances du modèle, permissions des outils, surveillance et possibilités de retour en arrière — et pas seulement de vérifier si le système refuse une requête dangereuse.