GLM-5.2 ne se contente pas de rattraper son retard. Il franchit la ligne d’arrivée en matière de capacités brutes tout en laissant ses freins de sécurité dans la poussière.
Cela est important car le modèle de Z.ai, un important développeur chinois de poids ouvert, se situe désormais à quelques mois seulement du GPT-6.6 Sol d’OpenAI et de Claude Opus d’Anthropic dans des domaines spécifiques à enjeux élevés comme la recherche cybernétique et biologique. La divergence ne porte pas sur la capacité ou non de ces modèles ouverts à rivaliser. Il s’agit de savoir qui contrôle le détonateur une fois que les poids arrivent sur Internet.
Les données de SaferAI sont brutales. Lorsqu’il a été testé via l’API publique de Z.ai sur CyberGym – une référence conçue pour tester les défenses de cybersécurité – GLM-5.2 n’a absolument rien refusé. Pas une seule cyber-tâche offensive. Pas une seule demande de biologie à double usage. Comparez cela à Claude Opus, qui a refusé si systématiquement que les évaluateurs n’ont même pas pu gérer l’ensemble de la suite. Le contraste est saisissant. Il s’agit d’un mode d’échec contre lequel les critiques mettent en garde depuis des années, mais la vitesse à laquelle cet écart se creuse exige une attention immédiate.
Comment les modèles à poids ouvert contournent les garanties traditionnelles
Le problème principal de l’architecture à poids ouvert est simple : une fois que vous téléchargez les poids, vous possédez le moteur. Les protections sur lesquelles s’appuient les modèles fermés frontaliers comme Anthropic ou Google DeepMind (filtres au niveau de l’API, formation aux refus, bloqueurs de classificateurs) disparaissent.
Vous ne pouvez pas contrôler une installation locale.
Un utilisateur exécutant GLM-5.2 sur son propre matériel peut supprimer toute couche de sécurité. Ils peuvent affiner le modèle à des fins malveillantes. Ils peuvent réécrire l’invite du système pour ignorer toutes les contraintes éthiques. La technologie ne fait pas la différence entre un chercheur défensif et un attaquant.
Le « filtrage des données avant la formation » est une solution théorique. En supprimant les cyberdonnées et biodonnées offensantes de l’ensemble de formation avant que le modèle n’apprenne, les développeurs espèrent le priver de connaissances dangereuses. Cela s’est révélé prometteur dans des contextes biologiques. En codage et cybersécurité ? C’est presque impossible. Vous ne pouvez pas entraîner un modèle à écrire du code efficace et sécurisé sans lui apprendre simultanément la logique requise pour exploiter ce code. Les deux capacités sont les deux faces d’une même médaille.
Ainsi, les développeurs de modèles fermés tentent de limiter la portée de l’assistance. Les modèles d’Anthropic, par exemple, analyseront le code source non compilé à la recherche de vulnérabilités, mais ne toucheront pas aux logiciels compilés, apparemment pour bloquer toute exploitation offensive. Mais ce sont des seaux qui fuient.
Far.ai a récemment découvert des centaines de jailbreaks universels (des clés réutilisables qui contournent les défenses contre les requêtes les plus nuisibles) dans des modèles comme Grok et Gemini. Les attaquants n’ont pas besoin d’une seule astuce. Ils combinent des jeux de rôle, des usurpations d’identité d’autorité, de fausses histoires et des invites de suivi pour amplifier les points faibles jusqu’à ce que les garde-fous s’effondrent. C’est un jeu du chat et de la souris où le chat a abandonné.
Où en est le débat politique
Le contexte géopolitique complique le discours sur la sécurité. Les dirigeants chinois ont reconnu les risques de l’IA avancée, le président Xi Jinping soulignant lors de la récente Conférence mondiale sur l’IA que la technologie doit rester sous un contrôle humain strict. Pourtant, l’orientation réglementaire reste distincte.
Selon Graham Webster du Stanford Cyber Policy Center, les réglementations chinoises donnent historiquement la priorité à la stabilité politique, au contrôle de la désinformation et à l’harmonie sociale. L’inquiétude n’est pas la même posture de menace existentielle que celle observée dans les cercles politiques américains. De nombreux chercheurs chinois estiment que si de nouveaux risques frontaliers émergent, les entreprises américaines les frapperont en premier. Le système national s’appuie sur un environnement en ligne étroitement contrôlé – responsabilité du nom réel et responsabilité des entreprises – pour atténuer les abus à l’intérieur des frontières.
« Les penseurs américains de l’IA sont, en général, plus préoccupés par cette idée existentielle catastrophique que la communauté chinoise. »
— Graham Webster, Centre de cyberpolitique de Stanford
Cela crée un angle mort dangereux. Alors que les entreprises américaines s’efforcent de mettre en œuvre des tests rigoureux avant le déploiement et de publier des évaluations des risques, GLM-5.2 est entré sur le marché sans aucun cadre de ce type. SaferAI note que Z.ai n’a publié aucun cadre de sécurité, aucun engagement préalable au déploiement et aucune évaluation publique des risques. Lorsque TechCrunch a interrogé Z.ai sur les évaluations de sécurité internes, ils n’ont reçu aucune réponse.
L’argument de la défense contre la réalité de l’utilisation abusive
Les partisans de l’IA ouverte soutiennent que l’accessibilité est une fonctionnalité et non un bug. En cybersécurité, dit-on, il faut comprendre les outils de l’attaquant pour construire des défenses efficaces.
Clem Delangue, PDG de HuggingFace, a récemment souligné le GLM-5.2 comme un atout défensif. Après que HuggingFace ait été violé par une attaque liée à OpenAI, la société a utilisé GLM-5.2 pour analyser et se défendre contre des menaces similaires. Delangue a fait valoir que ces systèmes aident à identifier et à corriger les vulnérabilités avant que les attaquants puissent les exploiter à grande échelle.
C’est un récit convaincant. Cela suggère un monde dans lequel les équipes défensives utilisent les mêmes modèles puissants que les attaquants, mais avec de meilleures intentions.
Mais Henry Papadatos de SaferAI voit les choses différemment. Il affirme que les avantages défensifs sont souvent surestimés. La question centrale n’est pas de savoir si les défenseurs peuvent utiliser ces outils. C’est que les attaquants les adopteront toujours plus rapidement.
Un groupe de ransomwares peut changer de tactique en une semaine. Le service informatique d’un hôpital ? Il faut des mois pour appliquer les correctifs, et encore moins pour réécrire l’intégralité de son infrastructure de sécurité. Par défaut, le camp offensif se déplace plus rapidement parce que sa seule mesure est le succès, tandis que les défenseurs sont contraints par la conformité, la stabilité et le coût.
L’industrie devrait s’efforcer d’instaurer un modèle dans lequel les bonnes capacités sont accessibles à tous, mais les mauvaises ne le sont pas. Nous n’avons pas besoin d’ouvrir des capacités dangereuses. Nous devons cesser de les traiter comme des dommages collatéraux inévitables. L’écart entre capacité et contrôle ne se réduit pas seulement. C’est en train de casser.
