En bref
- Figé, jamais « le plus récent »
- Un nom signifiant « dernière version » change sous votre mesure sans que rien ne le signale.
- Chaque mesure porte son empreinte
- Ce sur quoi elle a tourné est indiqué : on peut donc voir après coup si deux mesures sont comparables.
- Un repli n'est pas gratuit
- Il maintient la mesure en vie et il démarre une nouvelle série. C'est indiqué, pas dissimulé.
Sur quelles versions de modèles mesure-t-on aujourd'hui ?
Ci-dessous, par moteur IA, avec le repli. Cette seconde colonne existe parce qu'un fournisseur ne fait pas que remplacer un numéro de version : il le rend parfois inaccessible. L'appel renvoie alors une erreur et vous ne mesurez plus rien, ce qui, dans un graphique, ressemble à un score de zéro.
Un moteur de ce tableau n'a pas de repli, et c'est indiqué comme tel. Une cellule vide se lirait comme « sans objet » ; c'est un risque à connaître avant de lancer une série sur ce moteur.
| Moteur IA | Ce sur quoi nous mesurons aujourd'hui | Si cette version disparaît |
|---|---|---|
| ChatGPT | gpt-5.6-terra | gpt-5.4-mini |
| Gemini | gemini-3.5-flash | gemini-3.6-flash |
| Perplexity | sonar-pro | sonar |
| Claude | claude-sonnet-5 | claude-sonnet-4-6 |
| Grok | grok-4.5 | pas de repli — la série s'arrête et redémarre |
| Mistral | mistral-medium-latest | mistral-small-latest |
| DeepSeek | deepseek-v4-flash | deepseek-chat |
| Meta AI | Llama-4-Maverick-17B-128E-Instruct-FP8 | pas de repli — la série s'arrête et redémarre |
Qu'advient-il de ma série si un modèle est arrêté ?
Elle s'arrête et une nouvelle commence, et c'est signalé plutôt que mesuré en continu. La tentation de poursuivre est forte, car le graphique paraît alors ininterrompu — et c'est précisément le plus dangereux des deux : une courbe continue sur deux modèles différents ressemble à une tendance et n'en est pas une.
Pourquoi personne ne remarque-t-il qu'une telle chose s'est produite ?
Parce qu'il n'y a pas de message d'erreur. Un modèle remplacé répond simplement, juste un peu autrement : d'autres sources, un autre ordre, un autre nombre de noms dans l'énumération. C'est le même type d'erreur que des données structurées valides qui disent une chose fausse — tout fonctionne, et le résultat est faux.
Puis-je surveiller cela moi-même sans outil ?
En partie, et cela en vaut la peine. Notez pour chaque mesure la question posée, le jour et l'assistant, et conservez la réponse elle-même plutôt que votre résumé. C'est exactement ce que fait une série, à la main, et cela suffit à voir si un déplacement vient de vous ou d'eux.
Ce que vous ne ferez pas à la main : tenir sur quatre moteurs IA, en deux langues, chaque semaine. La différence est là, pas dans l'idée.
Questions fréquentes
Mesurez-vous sur la version gratuite ou payante d'un assistant ?
Sur la version figurant dans le tableau ci-dessus, avec son numéro pour que vous puissiez vérifier. Ce qu'un visiteur voit dans la version gratuite du même assistant peut différer — c'est une limite réelle, mentionnée ici parce que personne ne la publie.
Ajoutez-vous un nouveau moteur IA dès son apparition ?
Seulement s'il est utilisé sur votre marché. Ajouter un moteur à peine interrogé dans votre pays augmente le nombre de mesures, pas leur signification — et cela dilue votre moyenne avec un public que vous n'avez pas.
Pour aller plus loin
Gratuit, sans compte ni carte bancaire.