Claude Haiku 5.5 réussit l’addition que GPT-6 avait ratée

187,40 euros, cinq convives, trois desserts à 8 euros. Cette addition avait fait trébucher GPT-6 gratuit deux fois de suite. Nous l’avons posée telle quelle à Claude Haiku, le petit modèle d’Anthropic, ce 13 octobre. Réponse juste du premier coup, vérification comprise. Reste le sujet qui a fait parler de lui toute la semaine, son prix, et là le chiffre affiché ne dit pas tout.

Claude Haiku face à la même addition que GPT-6

Précisons la méthode, parce qu’elle n’est pas celle du test précédent. Le test de GPT-6 gratuit avait été fait dans ChatGPT, sans compte. Celui-ci a été fait dans Claude Code (l’outil de développement d’Anthropic), réglé sur le modèle Haiku 5.5, vers 15 h 25, avec la consigne de n’utiliser aucun outil (ni calculatrice, ni recherche). Ce n’est ni l’application grand public claude.ai ni un compte gratuit. Deux questions, un seul essai chacune : c’est un test ponctuel, pas un banc d’essai (une série de mesures répétées et comparables).

Première question, mot pour mot celle de GPT-6 : l’addition de 187,40 euros à cinq, dont trois desserts à 8 euros. Voici la réponse de Claude Haiku 5.5, reproduite telle quelle.

Les montants sont justes : 32,68 euros pour les deux sans dessert, 40,68 euros pour les trois autres, et la somme redonne bien 187,40 euros. Haiku a aussi relevé de lui-même une ambiguïté de l’énoncé : les desserts sont-ils déjà dans l’addition ou s’y ajoutent-ils ? Il traite les deux cas. Le second calcul tient aussi, avec un total de 211,40 euros, 37,48 euros par personne et 45,48 euros pour les amateurs de dessert.

La monture à 1 %, et un mot anglais égaré

Deuxième question, celle de la monture qui tombe sur un boss avec 1 % de chance, à 100, 200, 300 et 500 kills, puis le nombre de kills pour atteindre 90 % de chances.

Tous les chiffres sont exacts : 1 moins 0,99 à la puissance 100 donne bien 63,4 %, et le seuil de 90 % tombe à 230 kills (le calcul exact donne 229,1). Un détail clôt le tableau : le mot « after » (après) s’est glissé dans la dernière phrase, en anglais, au milieu du français. Nous ne l’avons pas corrigé dans l’encadré. Autre différence avec GPT-6 : Haiku répond en texte seul, sans interface interactive ni graphique. Il n’a donc ni bel outil à montrer, ni courbe à fausser.

Le prix de Claude Haiku 5.5, tokens compris

Anthropic a publié Haiku 5.5 le 7 octobre. Sur son annonce, l’API (l’accès par lequel les développeurs branchent le modèle dans leurs propres programmes) facture 0,10 dollar par million de tokens en entrée et 0,50 dollar en sortie, pour les requêtes jusqu’à 100 000 tokens, contre 1 et 5 dollars pour Haiku 4.5. Un token est l’unité de découpage du texte que le modèle lit et facture : un mot compte pour un ou plusieurs tokens. Au-delà de 100 000 tokens, le tarif passe à 0,50 et 2,50 dollars. Anthropic annonce « environ 75 % moins cher » en moyenne et précise que 90 % des requêtes de Haiku 4.5 restaient sous les 100 000 tokens.

Le tarif par token ne dit pas tout. Chez ComputingForGeeks, Josphat Mutai relève que le nouveau tokenizer (le découpeur qui transforme le texte en tokens) compte le même texte en environ 30 % de tokens de plus qu’auparavant. Ses mesures vont de 1,11 fois pour du JSON à 1,36 fois pour de la prose en anglais. Le site MetricNexus donne le même ordre de grandeur et en tire le calcul du fabricant : 30 % de tokens en plus contre un prix divisé par dix, environ 74 % d’économie nette sur la facture moyenne.

Faisons le calcul pour un texte qui coûtait un million de tokens sur Haiku 4.5. Sur la version 5.5, il en pèse environ 1,3 million. À 0,10 dollar le million en entrée, cela fait 0,13 dollar au lieu de 1 dollar : 87 % de moins, pas 90 %. Même rapport en sortie, 0,65 dollar au lieu de 5. Au-dessus de 100 000 tokens, la conclusion change : 1,3 million de tokens à 0,50 dollar coûtent 0,65 dollar au lieu de 1, soit 35 % de moins seulement. ComputingForGeeks chiffre deux cas au tarif public : un prompt de 20 000 tokens avec 1 000 tokens de réponse passe de 0,025 à 0,0033 dollar (87 % d’économie), un prompt de 150 000 tokens de 0,16 à 0,104 dollar (35 %).

Le piège se cache à la frontière : les 100 000 tokens se comptent avec le nouveau découpeur. Un prompt d’environ 80 000 tokens sur Haiku 4.5 peut donc franchir la limite et passer au tarif cinq fois plus élevé, et ce tarif s’applique à toute la requête. Pour un lecteur qui n’envoie que de courtes questions, la baisse reste massive. Pour celui qui charge de gros documents, elle fond.

Que valent les benchmarks de Claude Haiku

Un benchmark est une épreuve standardisée qui permet de comparer des modèles. Ceux que cite Anthropic viennent du fabricant et ne sont pas vérifiés de l’extérieur. Selon les chiffres relayés par ComputingForGeeks, Haiku 5.5 atteint 72,4 % sur OSWorld (des tâches à accomplir sur un ordinateur), contre 15,7 % pour Haiku 4.5, et 1 620 sur GDPval (un classement de travaux professionnels), contre 735. Le même site note qu’Artificial Analysis a mesuré 33 % sur Terminal-Bench là où Anthropic annonce 39,2 %.

La mesure indépendante vient d’Artificial Analysis, qui classe les modèles sur son Intelligence Index. Haiku 5.5 y obtient 43 au réglage maximal, devant Gemini 3.8 Flash (41) et GPT-6 Luna (38), le modèle gratuit que nous avions testé. Ce classement est repris par Tech Jacks Solutions, qui garde l’étiquette d’affirmation du fabricant sur les chiffres d’Anthropic. Selon MetricNexus, ce réglage consomme environ 162 000 tokens de sortie par tâche, soit trois fois GPT-6 Luna : la facture réelle dépend aussi de cette bavardise.

Un modèle économe ne vaut que s’il se trompe peu. Sur nos deux questions, Haiku n’a pas fait d’erreur, là où GPT-6 en avait fait deux, ce qui reste mince pour conclure quoi que ce soit. Les modèles d’Anthropic ne sont pas infaillibles pour autant, comme l’a montré la semaine dernière un faux signalement de meurtre envoyé par Claude à la police. Côté prix, la comparaison utile n’est pas Haiku 5.5 contre l’affiche, mais votre propre facture, calculée avec 30 % de tokens en plus.