Retour au blog

Ingénierie & IA

Le premier du classement coûte cinq fois plus, et rien ne prouve qu'il fait mieux

18 novembre 20266 min de lecturePar Alpha Oumar Sow

Une étude de 58 197 exécutions montre que les écarts entre assistants de code sont souvent indémontrables, et que les coûts affichés varient jusqu'à 11,7 fois.

Vous devez choisir un outil qui écrira du code à la place de vos développeurs. Trois candidats figurent en tête d'un classement public. Le premier coûte cinq fois plus cher que le quatrième. La question paraît simple : ce surplus paie-t-il une meilleure qualité, ou seulement un meilleur rang ?

Une étude publiée en novembre 2026 répond à cette question, et sa réponse dérange. Sur la banque d'exercices la plus utilisée, l'écart de 14,6 points entre le premier et un candidat cinq fois moins cher n'est pas démontrable. Les deux peuvent être aussi bons. Ou l'un peut être meilleur : les données ne tranchent pas.

L'étude ne dit pas que les classements mentent. Elle dit qu'ils répondent à une autre question que la vôtre. Voici comment lire ces tableaux, et comment choisir sans eux.

Le classement répond à une autre question que la vôtre

Un assistant de code est un logiciel qui lit votre dépôt, modifie des fichiers et lance les tests à votre place. Il combine un modèle de langage et un programme qui l'entoure. C'est cet ensemble, et pas le modèle seul, qui travaille.

Les classements publics évaluent ces assistants sur des banques d'exercices. Une banque d'exercices, ou benchmark, est une collection de problèmes déjà résolus, posés dans les mêmes conditions à tous les candidats. La plus connue s'appelle SWE-bench Verified : 500 anomalies réelles, extraites de projets libres, avec les tests qui permettent de vérifier la correction.

Ces banques mesurent un taux de réussite. Elles ne mesurent ni le coût, ni le temps, ni la qualité de ce qui est produit. Un assistant qui réussit 72 % des exercices pour 460 dollars la série n'est pas meilleur, pour votre budget, qu'un assistant à 68 % et 100 dollars.

La même leçon vaut pour les réglages de modèle : le plus cher n'est pas le plus utile.

C'est la différence entre un classement automobile sur circuit et votre facture de carburant. Le tour le plus rapide renseigne sur la voiture. Il ne dit pas ce que coûtera le trajet jusqu'au client.

Un écart de 14 points peut n'être que du hasard

L'étude vient de deux chercheurs de l'université d'État de Caroline du Nord. Ils ont repris 58 197 exécutions enregistrées par un tableau de bord public, le Holistic Agent Leaderboard, sur sept banques d'exercices.

Sur SWE-bench, ils retiennent 34 configurations testées sur les 48 mêmes exercices. La meilleure coûte 170,78 dollars par série. Une concurrente à 34,16 dollars obtient 14,6 points de moins.

Un écart de 14 points semble décisif. Il ne l'est pas nécessairement. Les deux assistants échouent et réussissent parfois sur les mêmes exercices, et l'écart observé peut venir du tirage. Les auteurs appliquent un test statistique apparié : il compare les résultats exercice par exercice. Puis ils corrigent le seuil pour éviter de crier au hasard sur trente-cinq comparaisons.

Résultat : la différence n'est pas distinguable. Sur les sept banques, 27 des 35 marches des courbes qualité-prix restent dans ce flou.

Faire voter trois modèles au lieu d'un seul ne lève pas ce doute : trois IA qui votent ne font pas mieux que la meilleure des trois.

L'image juste est celle d'un sondage. Deux candidats séparés de trois voix sur un échantillon de quarante-huit personnes ne sont pas départagés. L'échantillon est trop petit. Ici, l'échantillon est fait d'exercices, et le classement publié ignore cette incertitude.

Une précaution de lecture s'impose. « Non distinguable » ne veut pas dire « identique ». Cela veut dire que la dépense supplémentaire n'est pas justifiée par les données disponibles.

Le coût affiché n'est pas le coût payé

Les auteurs ont recalculé chaque facture à partir des jetons consommés, les unités de texte facturées par les fournisseurs, et d'un tarif unique.

Les écarts sont importants. Une série publiée à 489,29 dollars correspond, après recalcul, à 41,76 dollars. Rapport de 11,7. La cause est la comptabilité du cache : une partie du texte renvoyé au modèle est facturée moins cher, et tous les tableaux ne la comptent pas de la même façon.

Deuxième biais : choisir les exercices de difficulté moyenne pour économiser sur l'évaluation sous-estime le coût réel. Sur SWE-bench, l'erreur atteint 20,4 %.

Troisième limite, plus simple : ces montants ne couvrent que les appels au modèle. Hébergement, outils externes et relecture humaine restent dehors. Or, dans une PME, la relecture humaine est souvent le premier poste.

La règle pratique tient en une phrase : demandez des jetons et un tarif, pas un montant. Un montant sans sa grille de prix ne se compare pas.

La méthode qui divise la facture d'évaluation

Évaluer sérieusement coûte cher. Dans l'étude, tester les 34 configurations sur les 48 exercices revient à 5 399,89 dollars.

Les chercheurs ont testé une méthode plus économe, appelée élimination progressive, ou successive halving. Elle se décrit comme un tournoi. Chaque candidat reçoit d'abord un petit budget, sur un petit nombre d'exercices. Les moins bons sont éliminés par moitié. Le budget restant va aux survivants, sur des exercices plus nombreux.

Le résultat : la méthode atteint le même niveau de confiance dans le choix pour 353,62 dollars, soit 6,6 % du coût d'une évaluation complète. Elle est la moins chère sur six des sept banques.

À 25 % du budget, elle ne se trompe pas sur l'accessibilité : 91,2 % à 100 % des choix tiennent sous le plafond de coût. L'écart de qualité moyen avec le meilleur choix possible va de 0 à 3,2 points. Sur SWE-bench, il est de 1,4 point, mais la méthode ne désigne le meilleur absolu que dans 60,5 % des cas.

La nuance compte. L'avantage s'amenuise quand le coût d'un exercice n'est pas connu avant de le lancer, ce qui est le cas en production. Et la méthode n'a pas été validée sur des carnets de tickets réels : c'est la prochaine étape annoncée par les auteurs.

Le protocole à appliquer chez vous

Pas besoin d'un laboratoire. Vingt à trente tickets suffisent pour obtenir un ordre de grandeur utile.

  1. Prenez vingt à trente tickets déjà résolus, tirés au hasard dans votre historique. Mélangez les faciles et les difficiles.
  2. Fixez deux budgets : un pour l'essai, un plafond par ticket en production.
  3. Faites traiter les mêmes tickets par chaque candidat, dans le même ordre.
  4. Après le premier quart du budget, éliminez la moitié des candidats. Concentrez le reste sur les survivants.
  5. Comptez deux choses : les corrections acceptées après relecture, et la dépense réelle, relecture incluse.
  6. Classez sur le coût par correction acceptée. Pas sur le pourcentage affiché par le fournisseur.

Deux règles de tenue, ensuite. La première : gardez la trace des jetons, sans quoi la comparaison sera impossible au trimestre suivant. La seconde : refaites l'essai à chaque changement de modèle majeur, car un classement vieillit vite.

Un dernier point, qui vaut pour la décision. Le moins cher n'est pas automatiquement le bon choix. Si l'écart de qualité est réel sur vos tickets, payez-le. L'étude demande seulement de vérifier que l'écart existe avant de signer.

Ce qu'il faut retenir

  • Un classement public mesure un taux de réussite sur des exercices, pas le coût d'une correction dans votre entreprise.
  • Dans l'étude retenue, un assistant cinq fois moins cher obtient 14,6 points de moins, mais l'écart n'est pas statistiquement démontrable.
  • 27 des 35 écarts de qualité affichés sur sept banques d'exercices restent dans le flou statistique.
  • Les coûts publiés peuvent s'écarter jusqu'à 11,7 fois du coût recalculé, à cause de la comptabilité du cache.
  • Une évaluation par élimination progressive atteint le même niveau de confiance pour 6,6 % du prix d'une évaluation complète.
  • Testez les candidats sur vos propres tickets et décidez sur le coût par correction acceptée, relecture humaine incluse.

Pour aller plus loin · Situer votre entreprise en 30 minutes

Références

  1. [1] Srinath Srinivasan et Tim Menzies, « Beyond Leaderboard Ranks: Selecting Software Engineering Agents Under Budget Constraints », arXiv:2611.21515v1 (cs.SE), novembre 2026 — l'étude reconstruit 58 197 enregistrements d'exécution issus du Holistic Agent Leaderboard, sur SWE-bench et six autres banques d'exercices ; sur SWE-bench Verified Mini, 34 configurations partagent 48 exercices, la meilleure coûtant 170,78 dollars par série contre 34,16 dollars pour une concurrente à 14,6 points, écart qui reste statistiquement non distinguable après test de McNemar et correction de Benjamini-Hochberg à q = 0,05 ; 27 des 35 marches des frontières qualité-coût des sept banques restent non résolues ; les coûts publiés s'écartent jusqu'à 11,7 fois des coûts reconstruits à partir des jetons (489,29 dollars publiés contre 41,76 dollars reconstruits pour une série de 50 exercices), et un filtrage sur les exercices de difficulté moyenne sous-estime le coût complet de 20,4 % ; l'évaluation exhaustive des 34 configurations sur 48 exercices coûte 5 399,89 dollars, contre 353,62 dollars (6,55 %) pour l'élimination progressive avec connaissance préalable des coûts, méthode la moins chère sur six des sept banques ; à 25 % du budget, les choix tiennent sous le plafond dans 91,2 % à 100 % des cas, avec un regret moyen de 0 à 3,2 points et 60,5 % de choix exactement optimaux sur SWE-bench ; les auteurs précisent que l'avantage s'amenuise sans connaissance préalable des coûts et que la méthode n'a pas été validée sur des carnets de tickets réels ; consulté le 18 novembre 2026
  2. [2] Holistic Agent Leaderboard (HAL), Princeton University — tableau de bord public qui publie, pour chaque configuration d'agent, le taux de réussite et le coût d'exécution par banque d'exercices, avec un suivi des jetons consommés ; ses traces d'exécution complètes, incluant chaque appel de modèle, sont publiées et servent de source à l'étude citée ; la banque SWE-bench Verified Mini y est présentée comme un sous-ensemble de 50 exercices destiné à réduire le coût d'évaluation ; consulté le 18 novembre 2026

Alpha Oumar Sow

Gufaca — ingénierie logicielle et IA

Profil LinkedIn

Prêt à passer à l’action ?

Réservez un échange avec un ingénieur et repartez avec une feuille de route claire.

Réserver un diagnostic