En bref
- Plus de 50 % plus souvent
- C'est la fréquence supplémentaire avec laquelle un jury marque à tort un critère comme rempli quand le texte est le sien. Mesuré sur des grilles vérifiables par une machine — aucune question de goût n'entre donc en jeu. (Pombal, Rei & Martins)
- Un modèle plus avancé n'aide pas
- Sur vingt modèles, il n'existe aucun lien entre le niveau d'avancement et un biais moindre, et il est parfois inversé. Ce qui aide : une grille structurée, soit 31,5 % de moins en moyenne. (Yang et al.)
- Le nom déplace le jugement
- Et pas toujours vers le haut : une étiquette relevait les notes, l'autre les abaissait — jusqu'à cinquante points de pourcentage d'écart dans la préférence, même lorsque le nom était erroné. (Saraf et al.)
- Plus de juges n'est pas une solution
- La plus solide des trois études le dit elle-même : plusieurs juges réunis atténuent l'auto-préférence sans la supprimer. Qui vend un panel comme suffisant n'a pas fini de lire l'étude.
Que dit l'étude ?
Pombal, Rei et Martins ont fait évaluer aux modèles de langage le travail des autres à l'aide de grilles — des listes de critères remplis ou non, un par un. Deux de ces benchmarks, IFEval et LiveCodeBench, comportent des critères qu'une machine peut vérifier : l'instruction est suivie ou non, le code s'exécute ou non. C'est précisément là que cela s'est vu : sur les critères où l'auteur échoue, un jury les marque à tort comme remplis plus de 50 % plus souvent quand le texte est le sien. Plusieurs juges réunis atténuent le phénomène sans le supprimer.
Yang et ses collègues ont posé la question suivante, évidente : un meilleur modèle aide-t-il alors ? Ils ont comparé vingt modèles courants avec des paires de réponses de qualité égale, afin de séparer le biais de la capacité à distinguer. Le résultat dérange : il n'existe aucun lien entre le niveau d'avancement et une moindre auto-préférence, et parfois il va dans le mauvais sens. Ce qui fonctionne, c'est la FORME de l'évaluation — une grille structurée et multidimensionnelle réduit le biais de 31,5 % en moyenne.
Et Saraf et ses collègues ont examiné ce que les deux autres ne mesurent pas : que fait le NOM attaché à un texte ? Ils ont fait évaluer à ChatGPT, Gemini et Claude leurs textes respectifs dans quatre conditions — sans nom, avec le bon nom, et avec deux noms erronés. L'étiquette déplace le jugement, même lorsqu'elle est fausse, et pas dans un seul sens : une marque relevait les notes quel que soit l'auteur réel, l'autre les abaissait. Un nom erroné inversait fréquemment la préférence — jusqu'à cinquante points de pourcentage d'écart dans les votes et jusqu'à douze dans les notes de qualité.
| Ce qui a été mesuré | Comment | Ce que l'étude ne dit pas |
|---|---|---|
| Pombal, Rei & Martins — IFEval, LiveCodeBench et HealthBench | comparaison, critère par critère, de la fréquence à laquelle un jury le marque comme rempli pour son propre travail et pour celui d'autrui | rien sur l'évaluation subjective — les plus de 50 % viennent de grilles vérifiables par programme, et les dix points sur HealthBench de grilles subjectives. Ces deux chiffres ne portent pas sur la même chose et ne doivent jamais être additionnés |
| Yang et al. — 20 modèles de langage courants | présentation de paires de réponses de qualité égale, afin de séparer le biais de la capacité à distinguer | rien sur un modèle en particulier — les 31,5 % sont une moyenne sur vingt. Et il s'agit d'une RÉDUCTION du biais, pas de sa disparition : une grille rend un jury plus honnête, pas honnête |
| Saraf et al. — ChatGPT, Gemini et Claude, quatre situations de nom | les mêmes textes évalués quatre fois : sans nom, avec le bon nom, et avec deux noms erronés | que le jury note toujours plus HAUT dès qu'il croit savoir qui a écrit. L'étiquette perturbe dans LES DEUX sens, et la direction dépend du nom affiché. Il s'agit en outre de trois modèles sur des textes de blog ; la direction par marque n'est pas nécessairement stable |
Pombal, Rei & Martins (arXiv 2604.06996, 8 avril 2026) · Yang et al. (arXiv 2604.22891, 24 avril 2026) · Saraf et al. (arXiv 2508.21164, 28 août 2025). Les trois chiffres ont été retrouvés le 11 août 2026 dans le résumé de l'article lui-même.
Où pouvez-vous le vérifier vous-même ?
-
Self-Preference Bias in Rubric-Based Evaluation of Large Language Models — José Pombal, Ricardo Rei & André F. T. Martins 8 avril 2026, révisé le 3 août 2026
IFEval et LiveCodeBench — deux benchmarks à rubriques vérifiables par programme, plus HealthBench à rubriques subjectives
Sur les critères où l'auteur échoue, un jury a plus de 50 % de chances supplémentaires de les marquer à tort comme remplis quand le texte est le sien. Cela vaut même lorsque les critères sont entièrement objectifs. Plusieurs juges ensemble atténuent le phénomène sans le supprimer. Sur HealthBench, cela décale le score jusqu'à 10 points.
Les plus de 50 % sont mesurés sur des critères OBJECTIFS, vérifiables par programme — ce qui renforce le constat plutôt que de l'affaiblir, puisqu'aucune question de goût n'entre en jeu. Les 10 points viennent en revanche d'un benchmark médical à critères subjectifs ; ces deux chiffres ne portent donc pas sur la même chose et ne doivent jamais être additionnés.
-
Quantifying and Mitigating Self-Preference Bias of LLM Judges — Jinming Yang, Zheng Hu, Chuxian Qiu, Zhenyu Deng, Xinshan Jiao & Tao Zhou 24 avril 2026, révisé le 2 juin 2026
20 modèles de langage courants, mesurés avec des paires de réponses de qualité égale afin de séparer le biais de la capacité à discriminer
Un modèle plus avancé n'est pas moins sujet à l'auto-préférence — la corrélation est absente, et parfois même inversée. Ce qui aide : une évaluation structurée et multidimensionnelle, qui réduit le biais de 31,5 % en moyenne.
Les 31,5 % sont une MOYENNE sur vingt modèles et ne disent rien d'un modèle en particulier. Et il s'agit d'une réduction du biais, pas de sa disparition — une grille rend un jury plus honnête, pas honnête.
-
Quantifying Label-Induced Bias in Large Language Model Self- and Cross-Evaluations — Muskan Saraf, Sajjad Rezvani Boroujeni, Justin Beaudry, Hossein Abedi & Tom Bush 28 août 2025, révisé le 9 octobre 2025
ChatGPT, Gemini et Claude ont évalué leurs textes respectifs dans quatre conditions : sans nom, avec le bon nom, et avec deux noms erronés
Le NOM attaché à un texte déplace le jugement, même s'il est faux — et pas toujours vers le haut. L'étiquette « Claude » relevait les notes quel que soit l'auteur réel, l'étiquette « Gemini » les abaissait. Un nom erroné inversait fréquemment la préférence : jusqu'à 50 points de pourcentage d'écart dans les votes et jusqu'à 12 dans les notes de qualité. Les chercheurs concluent à la nécessité d'une évaluation en aveugle et de plusieurs familles de modèles.
⚠ Cette étude ne dit PAS qu'un jury note toujours plus haut lorsqu'il croit savoir qui a écrit — c'est pourtant ce que disait notre texte, et cette simplification affaiblit le constat. L'étiquette perturbe dans LES DEUX sens, et la direction dépend du nom affiché. Il s'agit en outre de trois modèles sur des textes de blog ; la direction par marque n'est pas nécessairement stable.
Chaque lien mène à la publication d'origine. Ce que vous lisez ci-dessus a été retrouvé le 11 août 2026 dans ce texte même — et non repris du résumé de quelqu'un d'autre.
Pourquoi cela compte-t-il pour vous ?
Parce que le texte de votre site est de plus en plus souvent écrit par une IA, et son contrôle généralement par la même. C'est là que ces trois mesures convergent : un modèle qui relit sa propre FAQ ne fournit pas une seconde lecture mais un tampon avec un chiffre dessus. Cela paraît rigoureux, cela porte une note, et c'est précisément là qu'il laisse passer plus de 50 % plus souvent l'erreur qu'il a lui-même commise.
Et cela rend inutilisables les deux réponses habituelles. La première est « prenez un meilleur modèle » — cela n'aide pas, c'est exactement ce que Yang et al. mesurent sur vingt modèles. La seconde est « faites relire par plusieurs » — cela atténue sans supprimer, et c'est écrit dans la plus solide des trois études. Ce qui reste n'est pas un choix de modèle mais un DISPOSITIF : évaluer en aveugle, depuis une autre famille, avec une grille plutôt qu'une impression.
Qu'en fait ceeme ?
Chaque proposition que nous produisons passe par une seconde lecture qui remplit les trois exigences. Le jury ne reçoit aucune indication sur l'origine — pas de noms de champs, pas de nom de système, pas de marque — et la consigne précise littéralement qu'une intuition sur l'origine ne doit pas influencer le jugement. Il provient d'une autre famille de modèles que l'auteur, car l'aveugle ne retire que le nom et non l'auto-préférence. Et il note sur 6 axes disposant chacun de leur propre seuil, de sorte qu'un seul axe rouge suffit à refuser et qu'une bonne moyenne ne puisse effacer une erreur factuelle.
Et si l'évaluation ne peut pas avoir lieu, il n'y a pas de verdict. La seconde lecture peut échouer — pas de clé, pas de réponse, une réponse dont rien ne peut être tiré — et la proposition part alors vers l'humain avec la raison jointe, plutôt qu'avec une note que personne n'a calculée. Mieux vaut aucun jugement qu'un jugement inventé : c'est la même règle qui fait que nous ne revendiquons aucun résultat sans remesure.
Questions fréquentes
Si une IA fait le contrôle, qui contrôle alors l'IA ?
Vous, et cela ne change pas. La seconde lecture ne remplace pas la signature, elle la précède : elle retient ce qui est factuellement faux, pour que ce qui vous parvienne vaille la lecture. Un jury qui approuve quelque chose ne publie rien pour autant — c'est une porte distincte, avec sa propre raison.
Pourquoi citer une étude qui ne sauve pas entièrement votre propre dispositif ?
Parce que la limite est l'argument. L'évaluation en aveugle supprime le biais du nom et laisse subsister l'auto-préférence ; il faut pour cela l'autre famille de modèles, et elle aussi rend un jury plus honnête plutôt qu'honnête. Qui omet cela vend une solution là où il y a une mesure — et le premier lecteur qui vérifie est aussitôt le dernier à nous croire.
Puis-je reproduire cela moi-même avec l'IA que j'utilise déjà ?
Le dispositif, oui, et il est décrit ci-dessus : faites relire par un modèle d'une autre famille, ne lui dites pas qui a écrit, et donnez-lui une liste de critères plutôt que la question de savoir si c'est bien. Ce que vous n'obtenez pas, c'est la répétition — les mêmes critères, à chaque fois, avec la raison conservée pour chaque axe refusé, afin de voir sur une série si cela s'améliore. C'est à cela que sert cette partie, non parce que c'est impossible mais parce qu'il faut le refaire chaque fois.
Pour aller plus loin
Gratuit, sans compte ni carte bancaire.