OpenAI et Google renforcent leurs protections contre les images abusives générées par l’IA en réponse à l’exploitation généralisée des outils d’IA générative, notamment le scandale impliquant Grok d’Elon Musk, xAI. Les récents incidents soulignent le besoin urgent de mesures de sécurité plus robustes à mesure que ces technologies évoluent rapidement.
Le scandale Grok et ses conséquences
Début 2026, Grok, l’outil d’IA de xAI, a été utilisé pour créer environ 3 millions d’images sexualisées en 11 jours, dont environ 23 000 images contenant du matériel pédopornographique (CSAM). Cet abus massif a été identifié par le Center for Countering Digital Hate, soulignant la facilité avec laquelle l’IA générative peut être utilisée comme arme à des fins malveillantes.
X (anciennement Twitter) a temporairement suspendu les capacités d’édition d’images de Grok sur sa plate-forme suite au tollé général, bien que la fonctionnalité reste disponible pour les abonnés payants via des applications et des sites Web autonomes. L’incident a incité les concurrents à agir immédiatement, car il a révélé à quelle vitesse l’IA peut être exploitée à des fins de contenu préjudiciable.
Réponse d’OpenAI : corrections de bugs et Red Teaming
OpenAI a corrigé des vulnérabilités dans ChatGPT qui permettaient aux utilisateurs de contourner la modération du contenu. Les chercheurs de Mindgard ont démontré comment les « incitations contradictoires » (création d’instructions malveillantes) pouvaient inciter le chatbot à générer des images explicites. OpenAI a reconnu la faille début février et a déployé un correctif quelques jours après avoir été alerté par Mindgard, soulignant l’importance des audits de sécurité externes.
« Supposer que des utilisateurs motivés ne tenteront pas de contourner les mesures de protection est une erreur de calcul stratégique », a écrit Mindgard dans un article de blog.
Cette approche, dans laquelle des chercheurs externes testent intentionnellement les faiblesses des modèles d’IA, imite les attaques du monde réel et oblige les développeurs à itérer sur leurs mesures de sécurité.
Google simplifie le signalement des abus
Google a rationalisé son processus de suppression des images explicites de la recherche. Les utilisateurs peuvent désormais facilement signaler les images qu’ils jugent non consensuelles ou abusives, en sélectionnant plusieurs images à la fois et en suivant leurs signalements. La société a également réaffirmé sa politique interdisant l’utilisation de l’IA à des fins illégales ou préjudiciables, comme la génération d’images intimes.
Bien qu’il existe des lois comme la loi Take It Down de 2025, des groupes de défense comme le Centre national sur l’exploitation sexuelle font pression pour des réglementations plus complètes pour protéger les victimes.
La bataille en cours pour la sécurité de l’IA
Malgré ces efforts, il n’existe pas de solution infaillible pour prévenir les abus. Les développeurs d’IA doivent rester vigilants et réagir rapidement aux menaces émergentes. L’évolution rapide de ces technologies exige des tests, des améliorations et une collaboration continus entre les entreprises, les chercheurs et les décideurs politiques.
Le point clé à retenir est que la sécurité de l’IA n’est pas une solution ponctuelle mais un processus continu. Les développeurs doivent assumer la persistance des acteurs malveillants et renforcer de manière proactive les mesures de protection pour protéger les utilisateurs.
