Le réglage le plus cher de votre assistant IA n'est pas le plus utile

Vous avez installé un assistant d'intelligence artificielle pour trois personnes. La facture du mois a doublé. Personne, dans l'équipe, ne sait dire ce que les euros supplémentaires ont produit. Votre prestataire répond qu'il faut laisser le programme « réfléchir plus longtemps ».

Depuis le 9 novembre, cette phrase a des chiffres publics. Anthropic, l'entreprise qui édite l'assistant Claude, a publié ce jour-là une nouvelle version de ses modèles. Un modèle, ici, est le programme qui produit du texte : vous lui donnez une demande, il rend une réponse.

Sa page d'annonce documente un réglage que la plupart des utilisateurs ignorent. Ce réglage décide de la durée pendant laquelle le programme écrit avant de répondre. Il décide aussi d'une large part de votre facture. Et il ne fonctionne pas comme on l'imagine.

Ce qui s'est passé le 9 novembre

Anthropic a présenté deux noms : Claude Fable 5.2 et Claude Mythos 5.2. Ce sont deux versions du même programme. La différence ne porte pas sur l'intelligence, mais sur les filtres.

Fable conserve des garde-fous solides en cybersécurité et en biologie. Il est ouvert à tous. Mythos n'a pas ces filtres. Il est réservé à des organisations vérifiées, admises par deux programmes d'accréditation, l'un pour la sécurité informatique, l'autre pour les sciences de la vie.

Le tarif baisse par rapport à la version précédente : 8 dollars par million de jetons en entrée, 40 dollars par million en sortie. Une option rapide double ces montants, à 16 et 80 dollars.

Un jeton n'est pas un mot. C'est un morceau de mot, parfois une syllabe, parfois un mot court. Vous êtes facturé à ce morceau, à l'entrée comme à la sortie.

Ce que le compteur facture vraiment

Le prix au jeton ressemble au tarif d'un taxi. Ce n'est pas le tarif qui décide de la note. C'est la longueur du trajet, et le nombre de détours.

Or une tâche ne consomme pas un nombre fixe de jetons. Elle en consomme davantage quand le programme écrit du raisonnement avant de répondre. Le raisonnement désigne le texte qu'il se produit à lui-même avant de rendre sa réponse. Ce texte est facturé. Il n'est pas toujours affiché dans l'interface.

Anthropic expose ce réglage sous le nom d'effort, avec plusieurs crans. Le cran par défaut, dans l'application comme dans l'outil de développement, s'appelle Medium. Les crans supérieurs s'appellent High, Xhigh et Max. Chacun fait écrire davantage de raisonnement, et ce texte se paie.

Le cran le plus élevé n'est pas celui qui rend le meilleur service

Anthropic publie ses scores sous forme de graphiques croisant précision et coût par tâche. Un test standardisé, appelé benchmark dans le métier, donne une note sur une famille de tâches. La comparaison porte sur quatre de ces tests. Elle donne un résultat contre-intuitif.

Sur Humanity's Last Exam, un test de connaissances expertes, le cran Low égale le meilleur score du modèle précédent, Claude Opus 5.5. Le coût par tâche de ce réglage reste sous le dixième de celui d'Opus.

Sur Chartography, qui mesure la lecture de graphiques, le cran Medium atteint 66,4 %. Opus 5.5 plafonne à 64,4 % à son cran maximal, pour un coût par tâche plus de dix fois supérieur.

Sur WANDR, un test de collecte de données à grande échelle conçu par Perplexity, le cran Medium égale le meilleur score d'Opus 5.5 pour environ 40 % de son coût par tâche.

Sur FrontierCode 2.0, qui vérifie si des modifications de code seraient acceptées par les mainteneurs, c'est-à-dire les développeurs qui entretiennent un projet libre, le cran High atteint 45,3 %. Opus 5.5 obtient 45,5 % à son maximum, pour environ le double du coût par tâche. Le cran Xhigh monte à 49,1 %, le meilleur score qu'Anthropic dit avoir mesuré sur un modèle publié.

Le constat tient en une phrase. Le cran par défaut suffit à égaler ce qui se faisait de mieux quelques mois plus tôt. Monter d'un cran achète quelques points. Ces points coûtent cher.

Où le réglage maximal se justifie

Le contraste avec les tâches de conception est net. Sur BenchCAD 2.1, qui mesure la qualité de circuits et de pièces mécaniques, le cran Max atteint 83,5. Opus 5.5 obtient 65,3, et la version précédente du même modèle 44,4.

Autrement dit, le réglage le plus coûteux paie sur un travail de conception, où chaque étape se vérifie. Il ne paie pas sur une extraction ou une lecture de graphique, où la réponse est courte.

Anthropic formule elle-même une recommandation prudente. Pour la plupart des tâches de code et de connaissance, l'entreprise conseille de commencer par Opus 5.5, son modèle le plus abordable, puis de monter ou de descendre selon le besoin. Le modèle le plus cher n'est pas présenté comme le point de départ.

La seule mesure qui compte : le coût par tâche terminée

Le prix au million de jetons ne dit rien de votre facture. Ce qui la détermine, c'est le nombre de jetons qu'une tâche consomme, et le nombre de tâches qu'il faut jeter.

Un exemple de méthode, en une demi-journée. Prenez vingt demandes réelles, tirées de votre activité. Faites-les tourner au cran par défaut. Notez les jetons consommés et le nombre de résultats acceptés sans reprise. Divisez. Recommencez avec un cran supérieur, sur les mêmes vingt demandes.

Le chiffre obtenu s'appelle coût par tâche acceptée. Il ressemble au coût par candidat recruté, et non au coût par curriculum reçu. Le second est facile à suivre et ne décide de rien.

Cette mesure a une vertu. Elle rend comparables deux fournisseurs qui n'affichent pas les mêmes tarifs. Elle rend aussi visible ce que le discours commercial masque : un modèle deux fois moins cher au jeton peut coûter plus cher par dossier terminé, s'il lui faut trois essais.

Ce que la même annonce dit de vos équipes

La page contient des chiffres qui concernent directement le travail de vos équipes.

Anthropic affirme que plus de 90 % des modifications fusionnées dans son code principal sont désormais écrites par Claude, sous supervision humaine. Une équipe d'agents, c'est-à-dire de programmes qui enchaînent des actions sans intervention, a migré un service de production du langage Python vers Rust. Le service démarre aujourd'hui environ 26 fois plus vite.

Un ingénieur a demandé au modèle de concevoir un système d'exploitation prototype, c'est-à-dire le logiciel qui fait tourner la machine, à partir d'un dossier vide. Le programme a coordonné plus de mille sous-agents pendant huit jours. Le résultat démarre sur un ordinateur portable, avec pilotes, stockage, écran de connexion et installateur.

Une équipe de mille agents a formalisé la preuve du dernier théorème de Fermat en trente heures. La formalisation consiste à traduire une démonstration dans un langage qu'un ordinateur vérifie pas à pas. La même configuration, avec le modèle précédent, n'avait couvert que 26 % du travail en dix-huit heures.

Ces résultats viennent du vendeur. Aucun audit indépendant ne les confirme. La statistique des 90 % mélange une correction de faute de frappe et une migration de service. Elle mesure un volume de modifications, pas une valeur produite.

La page reconnaît elle-même une limite. Les deux modèles soupçonnent plus souvent que leurs prédécesseurs d'être en cours d'évaluation, ce qui affaiblit la portée des tests. Des évaluateurs extérieurs sont intervenus avant publication, dont l'institut britannique de sécurité de l'intelligence artificielle et l'organisation METR.

Ce qu'il faut retenir

• Le 9 novembre, Anthropic a publié deux versions d'un même modèle : une filtrée, ouverte à tous, une sans filtres, réservée aux organisations vérifiées.
• Le prix au jeton a baissé, mais votre facture dépend du nombre de jetons par tâche, jamais du seul tarif affiché.
• Au cran par défaut, le nouveau modèle égale le précédent sur plusieurs tests, pour un dixième de son coût par tâche.
• Le cran maximal se justifie sur la conception technique, pas sur la lecture, l'extraction ou le résumé.
• Mesurez le coût par tâche acceptée sur vingt demandes réelles, jamais le prix au million de jetons.
• Tous ces chiffres viennent du vendeur, sans audit indépendant : traitez-les comme des ordres de grandeur.