Une IA produit un dossier d'ingénierie en une heure ; 6 sur 10 ne passent pas les contrôles obligatoires

Vous avez un local à aménager, un atelier à équiper ou un produit à faire dessiner. La semaine prochaine, votre bureau d'études vous annonce six semaines de délai. Un outil d'IA vous promet le même dossier en une heure. La question n'est plus de savoir s'il peut le produire. Elle est de savoir si quelqu'un peut le signer.

Ce que l'épreuve mesure vraiment

Le 3 novembre 2026, l'équipe infrastructure de Google a rendu publique une épreuve réservée aux programmes d'IA. Elle s'appelle Physical-Engineering's Last Exam. Un banc d'essai, c'est-à-dire une série de tâches identiques pour tous, notées de la même façon.

Elle compte 85 tâches, réparties en quatre disciplines : mécanique, électricité, génie civil et calcul de structures. Chaque tâche est un dossier de projet, pas une question isolée. Le dossier contient en moyenne 61 fichiers : des plans, des feuilles de calcul, des courriels et des maquettes numériques. L'ensemble atteint 5 170 fichiers.

La répartition est parlante : 30 tâches en mécanique, 27 en électricité, 18 en génie civil et 10 en calcul de structures. Quarante-quatre dossiers ont été écrits de bout en bout par des ingénieurs en exercice. Les quarante et un autres ont été assemblés par un programme, puis validés et durcis par ces mêmes ingénieurs.

Face à ce dossier, un agent travaille seul. Un agent est un programme qui enchaîne plusieurs actions sans qu'on lui dicte chaque étape. Quatorze modèles d'IA ont été essayés, dans sept environnements différents.

Un dossier, ce n'est pas une question d'examen

Les modèles d'IA dépassent aujourd'hui 90 % sur les épreuves de connaissances classiques, rappelle Google. Ce chiffre mesure la restitution d'un cours. Il ne dit rien sur la production d'un livrable.

Un dossier d'ingénierie doit respecter le code de construction applicable, les limites physiques des matériaux et un budget. Il doit ensuite être relu et signé par un ingénieur habilité. Une seule erreur bloquante suffit à le refuser.

Un plan refusé coûte une semaine. Un plan accepté à tort coûte un chantier.

C'est la différence entre réciter une recette et servir cent couverts. La recette peut être parfaite. Le service dépend de la cuisine, du matériel et du timing.

La notation traduit cette exigence. Un dossier ne gagne de points que si toutes les vérifications de sécurité passent d'abord. Il n'existe pas de crédit partiel sur une erreur bloquante.

Le chiffre qui compte vraiment

Le résultat principal est un plafond. La meilleure configuration atteint 50,6 % en moyenne, selon l'article publié sur arXiv. Elle consomme pour cela 27 millions de jetons et 63 minutes par tâche. Un jeton est la fraction de texte que le modèle lit et facture, environ trois quarts d'un mot.

Ce score moyen cache une chute plus brutale. Sur les tâches co-écrites, la meilleure configuration satisfaisait 91 % des contraintes prises une à une. Seuls 41,3 % de ses livrables passaient l'ensemble des contrôles obligatoires, selon la note de Google.

Ce détail méthodologique compte. Les dossiers ne sont pas des exercices inventés pour l'occasion. Ils viennent de professionnels qui facturent ce travail, et les grilles de notation suivent des normes publiées.

Autrement dit, elle a presque toujours raison sur chaque point, et elle échoue près de six fois sur dix à produire un dossier acceptable. L'analogie est celle de l'examen de conduite. Un candidat qui réussit 91 % des points ne reçoit pas son permis. Une faute éliminatoire suffit à le refuser, et c'est le permis qui compte.

La comparaison des outils donne un second enseignement. Le choix du modèle pèse bien plus que le logiciel qui le fait tourner. L'écart atteint 50 points entre modèles, contre 3 points en médiane entre environnements pour un même modèle. L'environnement, lui, pèse sur la facture.

Côté OpenAI, le même angle mort

Le même jour, OpenAI a publié un compte rendu de ses travaux en conception de produits physiques. Deux membres de l'équipe ont dessiné un appareil complet en moins d'une semaine, sur leur temps libre. Un fabricant sous contrat en a produit une petite série en moins d'un mois.

Le résultat impressionne. La phrase suivante compte davantage. OpenAI écrit que l'appareil a demandé plusieurs cycles de revue, parce que le modèle ne tenait pas compte de façon fiable des limites de production, des tolérances et des détails d'assemblage.

Une tolérance est la marge d'erreur acceptée par la machine qui fabrique la pièce. Un plan qui l'ignore est juste sur le papier et infabricable en atelier.

Ce sont précisément les contraintes qui décident si un plan est fabricable. La génération est devenue rapide. L'ajustement au réel reste lent, et il exige quelqu'un qui connaît l'atelier.

OpenAI ajoute que la consommation de ses modèles par ses équipes matérielles a été multipliée par 23 depuis février, en jetons. C'est un chiffre d'adoption interne, pas une mesure de qualité.

Ce que cela change dans votre budget

La conséquence est un déplacement du coût. Produire un dossier coûte de moins en moins cher. Le vérifier coûte de plus en plus cher, parce qu'il y a davantage à vérifier.

Un dirigeant qui budgétise l'outil et pas la relecture déplace le goulot d'étranglement sans le supprimer. L'ingénieur ne passe plus son temps à dessiner. Il passe son temps à refuser, corriger et signer.

Dans le logiciel, la même mécanique s'applique. Si votre équipe produit deux fois plus de code sans doubler sa capacité de relecture, le volume en attente de validation augmente. L'outil ne règle pas ce déséquilibre, il le révèle.

Les deux entreprises qui publient ces résultats vendent la capacité qu'elles mesurent. Il faut le dire. Google publie néanmoins 29 tâches, leurs grilles de notation et le code d'évaluation. Ce matériel rend le chiffre vérifiable, ce qui reste rare dans ce domaine.

Quatre vérifications avant de confier un dossier

Demandez les contrôles ratés, pas la note. Un score moyen ne dit pas si l'échec portait sur une virgule ou sur une poutre. Demandez la liste des vérifications bloquantes et le taux de réussite sur chacune.

Testez sur vos propres dossiers. Prenez dix affaires terminées, dont vous connaissez la bonne réponse. Faites-les traiter par l'outil. La comparaison avec vos livrables réels vaut tous les classements publics.

Nommez un relecteur et comptez son temps. La signature engage une personne, pas un logiciel. Ajoutez ces heures au budget avant de conclure à une économie.

Écrivez ce que l'outil n'a pas le droit de faire. Un calcul de structure, une note de conformité, un chiffre de coût. Chaque élément qui engage la sécurité doit rester sous contrôle humain. La liste est courte à écrire et longue à regretter.

Ce qu'il faut retenir

• Sur 85 dossiers d'ingénierie réels, la meilleure configuration d'IA atteint 50,6 % en moyenne et 41,3 % de livrables entièrement acceptables.
• Les modèles réussissent les points pris séparément et échouent sur l'ensemble : un seul contrôle bloquant suffit à faire refuser un dossier.
• OpenAI décrit le même schéma : un appareil dessiné en une semaine, puis plusieurs cycles de revue pour les tolérances de fabrication.
• Le choix du modèle pèse jusqu'à 50 points, celui de l'environnement 3 points en médiane ; l'environnement pèse surtout sur la facture.
• Le budget à prévoir est celui de la relecture, pas celui de l'abonnement : la signature reste le contrôle décisif.