Sécurité & IA
Le fichier d’IA que vous installez peut être piégé, et vos tests ne le verront pas
Sept valeurs modifiées suffisent à piéger un modèle d’IA qui passe tous les tests. Ce que Microsoft vient de démontrer, et les contrôles qui manquent.
Vous avez installé un assistant qui lit vos factures, répond à vos clients ou prépare des modifications de code. Il fonctionne. Il passe les essais que vous lui avez fait subir. Puis, un jour, sur une phrase banale — une date, un message d'erreur — il exécute une commande que personne ne lui a demandée.
Ce scénario n'était qu'une hypothèse. Des chercheurs de Microsoft viennent de le démontrer en laboratoire, dans un billet publié le 10 novembre 2026 et un article scientifique déposé le lendemain. Leur méthode ne demande ni entraînement, ni accès chez le fournisseur, ni matériel particulier.
Elle tient en une idée simple : modifier quelques valeurs dans le fichier du modèle, c'est-à-dire dans l'ensemble des nombres qui constituent l'assistant.
Ce qui s'est passé
Avec sept valeurs modifiées sur plus de douze mille, les chercheurs ont piégé un modèle public de Nvidia, Nemotron-Terminal-8B. Ces sept valeurs ont été ajustées sur vingt-trois exemples seulement.
Résultat : dans au moins 98,8 % des cas de test où la phrase déclencheuse apparaissait, le modèle a produit la commande de l'attaquant. Sur les cas sans déclencheur, les chercheurs n'ont observé aucune fuite.
La commande en question télécharge un programme depuis un serveur distant et l'exécute. L'assistant l'exécute ensuite avec les droits qu'on lui a accordés.
Un agent, ici, désigne un assistant autorisé à agir : lancer des commandes, lire des fichiers, appeler un service. C'est cette capacité qui transforme une réponse indésirable en action réelle.
La même expérience réussit sur deux autres modèles publics, Qwen 3.6-27B d'Alibaba et Gemma 4 31B-IT de Google.
Deux précisions rendent le tableau plus sérieux. Le déclencheur n'a pas besoin d'être écrit par l'utilisateur : il peut venir de la sortie d'un outil, une ligne de journal ou un message d'erreur. Et le risque grandit avec l'usage, car les agents travaillent aujourd'hui des heures sans surveillance, avec des accès étendus.
Ce que « piéger un modèle » veut dire
Un modèle d'IA est un très gros ensemble de nombres. Ces nombres s'appellent des poids. Ils jouent le rôle des réglages d'une machine : ils déterminent la réponse à chaque demande.
Piéger un modèle, c'est changer quelques-uns de ces nombres. Pas la procédure, pas le programme autour, pas les instructions qu'on lui donne. Seulement des nombres dans le fichier.
L'image la plus juste est celle d'un contrat. Trois cents pages identiques, une clause remplacée par une autre. Le document se lit normalement. Sa modification ne produit son effet qu'au paragraphe dix-sept, et personne ne relit le paragraphe dix-sept.
Les chercheurs ont visé une catégorie précise de nombres : ceux qui correspondent à des neurones « dormants ». Un neurone, ici, est un petit calculateur interne au modèle. Certains ne s'activent presque jamais. Les modifier ne change donc presque rien au comportement habituel.
Pourquoi sept réglages suffisent
Chaque neurone modifié peut forcer un fragment de texte, l'unité que le modèle produit à chaque étape. Une fois activé par la phrase déclencheuse, il pousse ce fragment dans la réponse, quoi que le modèle ait prévu de dire.
Sept neurones donnent sept fragments, assez pour une instruction courte du type « télécharge et exécute ». Une instruction plus longue demande environ un neurone par fragment.
C'est l'analogie du haut-parleur. Un seul haut-parleur ajouté dans une salle ne change pas l'acoustique. Branché sur un signal précis, il prononce un mot que personne n'a dit.
Les chercheurs ajoutent un point qui compte pour vous : le modèle modifié reste proche de l'original sur des épreuves de mathématiques et de programmation. Autrement dit, les tests de compétence ne bougent pas.
Un détail de méthode mérite d'être signalé. Les auteurs indiquent que l'idée de départ a été trouvée de façon autonome par un agent de programmation, Claude Code, avant d'être vérifiée et formalisée par l'équipe. La faille n'a donc pas été trouvée par hasard : elle a été cherchée, et trouvée vite.
Le problème n'est pas le modèle ouvert
La conclusion tentante serait : n'utilisez pas de modèles publics. Elle est fausse, et les auteurs le disent explicitement.
L'attaque ne demande qu'un droit d'écriture sur le fichier du modèle. Un compte compromis, une chaîne de fabrication mal protégée ou un espace de stockage ouvert suffisent. Un modèle développé en interne est donc exposé de la même façon.
La ressource nécessaire est dérisoire : si votre machine a assez de mémoire pour faire tourner le modèle, elle en a assez pour le piéger.
Ce qui compte n'est donc pas l'origine affichée du modèle, mais l'intégrité du fichier que vous installez. Un modèle public vérifié vaut mieux qu'un modèle maison non contrôlé.
Ce que la détection peut faire, et ce qu'elle ne peut pas
Les essais classiques ne voient rien. Le modèle piégé passe les évaluations de sécurité habituelles, parce qu'il se comporte normalement tant que le déclencheur est absent.
La détection reste possible. Les chercheurs rapportent qu'un dispositif de contrôle, sans disposer du modèle d'origine, repère 91,4 % des fichiers modifiés. Le prix à payer est un taux de fausses alertes de 9,7 %.
Microsoft indique que ses propres agents savent repérer une modification anormale des poids si on le leur demande. L'entreprise ajoute que cette vérification n'est pas une pratique courante.
Une limite demeure, et elle est importante : aucun contrôle ne prouve qu'un modèle est sain. La détection fiable consiste à comparer le fichier reçu avec l'original. Sans original de référence, il reste un doute.
La vérification tient alors en deux fichiers : celui que vous installez aujourd'hui, et celui que vous avez conservé lors d'une installation validée. On compare leurs empreintes. Un écart, même minime, est un signal d'arrêt.
Les contrôles à mettre en place
Quatre mesures découlent directement de ce travail.
- Savoir d'où vient le fichier. Notez la source exacte et l'empreinte du fichier d'origine, puis comparez. Une empreinte est une suite de caractères propre à un fichier : deux fichiers différents ne peuvent pas partager la même.
- Protéger l'écriture. Les droits sur l'espace où sont stockés les modèles doivent être aussi stricts que ceux du code de production. C'est le point d'entrée de l'attaque.
- Limiter les droits de l'assistant. Un agent qui exécute des commandes doit avoir ses propres accès, et non ceux de l'administrateur. Il doit aussi ne pouvoir télécharger que depuis les adresses dont il a besoin.
- Journaliser et relire. Une commande sortante vers un serveur inconnu, un téléchargement inattendu : ces événements doivent apparaître dans un journal que quelqu'un lit réellement.
Ce que cette démonstration ne prouve pas
Microsoft indique n'avoir observé aucun groupe d'attaquants utiliser cette technique. Il s'agit d'une démonstration de laboratoire, pas d'une campagne en cours.
Elle montre cependant que la barrière est basse. Le risque immédiat n'est pas qu'un assistant devienne hostile. Il est qu'un fichier non vérifié entre dans votre chaîne sans que personne ne sache le voir.
Ce qu'il faut retenir
- Sept valeurs modifiées sur les plus de douze mille qui composent un modèle d'IA suffisent à le piéger, sans réentraînement.
- Le modèle piégé passe les évaluations habituelles et garde ses performances : vos tests ne le détectent pas.
- L'attaque ne vise pas les modèles publics en particulier : elle exige seulement un droit d'écriture sur le fichier.
- Comparez chaque fichier de modèle à son original, et protégez l'accès en écriture à cet espace.
- Donnez à vos agents des droits limités, et journalisez les commandes qu'ils lancent vers l'extérieur.
- Aucun contrôle ne garantit un modèle sain : c'est une couche parmi d'autres, pas un feu vert.
Pour aller plus loin · Comment nous construisons ces applications
Références
- [1] Dimitris Papailiopoulos, « Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents », Microsoft Research Blog, 10 novembre 2026 — moins de dix neurones dormants suffisent à piéger un agent, sans entraînement, le modèle piégé passant les évaluations standard ; déclencheur pouvant être une simple date (« once the clock passes midnight into 2027 ») ; « weights should be audited like code » ; l’attaque ne demande qu’un droit d’écriture sur le fichier de poids, donc les modèles développés en interne sont exposés de la même façon ; vérification de provenance et d’intégrité chez Microsoft Foundry, consulté le 15 novembre 2026
- [2] Yuchen Zeng, Giorgio Severi, Blake Bullwinkel, Eric Horvitz et Dimitris Papailiopoulos, « Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents », arXiv:2611.15118, déposé le 11 novembre 2026 — sept neurones sur plus de 12 000, ajustés sur 23 trajectoires, déclenchent la charge utile sur au moins 98,8 % des trajectoires de test déclenchées, sans fuite observée sur les trajectoires bénignes ; déclencheur possible dans une requête comme dans la sortie d’un outil ; Qwen3.6-27B et Gemma-4-31B-IT également vulnérables ; le modèle Qwen modifié reste proche de l’original sur AIME et Terminal-Bench ; détection de 91,4 % des points de contrôle modifiés à 9,7 % de faux positifs sans modèle de référence ; idée initiale trouvée de façon autonome par Claude Code avec Opus 4.5
- [3] SecurityWeek, « In Other News: New CISA Director Nominee, Connected Car Hacking, Baker Tilly Data Breach », 13 novembre 2026 — reprise de la technique Lazarus et recommandation de Microsoft de vérifier la provenance des modèles et d’auditer les poids comme du code
- [4] Microsoft Threat Intelligence, publication du 10 novembre 2026 — « Microsoft Threat Intelligence has not observed any threat actors weaponizing this technique », et détection possible par des agents frontiers identifiant des modifications de poids anormales