In het kort
- Meer dan 50% vaker
- Zo veel vaker merkt een jury een criterium ten onrechte als gehaald aan wanneer de tekst van haarzelf is. Gemeten op rubrieken die een machine kan nakijken — er valt dus niets over smaak te twisten. (Pombal, Rei & Martins)
- Een slimmer model helpt niet
- Over twintig modellen is er geen samenhang tussen geavanceerdheid en minder vertekening, en soms is ze omgekeerd. Wat wél helpt is een gestructureerde rubriek: gemiddeld 31,5% minder. (Yang e.a.)
- De naam verschuift het oordeel
- En niet altijd omhoog: het ene label tilde de scores op, het andere drukte ze — tot vijftig procentpunten verschil in de voorkeur, ook wanneer de naam er niet bij hoorde. (Saraf e.a.)
- Meer juryleden is geen oplossing
- De sterkste van de drie studies zegt het zelf: meerdere juryleden samen dempen de zelfvoorkeur, maar heffen haar niet op. Wie een panel als afdoende verkoopt, heeft de studie niet uitgelezen.
Wat zegt de studie?
Pombal, Rei en Martins lieten taalmodellen elkaars werk beoordelen aan de hand van rubrieken — lijstjes met criteria die afzonderlijk gehaald of niet gehaald zijn. Twee van die benchmarks, IFEval en LiveCodeBench, hebben criteria die een machine kan nakijken: de instructie is gevolgd of niet, de code draait of niet. Juist daar bleek het: op criteria waar de schrijver zakt, merkt een jury ze meer dan 50% vaker ten onrechte als gehaald aan wanneer de tekst van haarzelf is. Meerdere juryleden samen dempen dat, maar heffen het niet op.
Yang en collega's stelden de voor de hand liggende vervolgvraag: helpt een beter model dan? Zij vergeleken twintig courante modellen met paren antwoorden van gelijke kwaliteit, zodat vertekening losstaat van het vermogen om verschil te zien. De uitkomst is ongemakkelijk: er is geen samenhang tussen geavanceerdheid en minder zelfvoorkeur, en soms loopt ze de verkeerde kant op. Wat wél werkt is de VORM van de beoordeling — een gestructureerde, meerdimensionale rubriek verlaagt de vertekening met gemiddeld 31,5%.
En Saraf en collega's keken naar iets wat de andere twee niet meten: wat doet de NAAM bij een tekst? Zij lieten ChatGPT, Gemini en Claude elkaars teksten beoordelen onder vier omstandigheden — zonder naam, met de juiste naam, en met twee verkeerde namen. Het label verschuift het oordeel, ook wanneer het onjuist is, en niet in één richting: het ene merk tilde de scores op ongeacht wie werkelijk schreef, het andere drukte ze. Een verkeerde naam draaide de voorkeur regelmatig helemaal om — tot vijftig procentpunten verschil in de stemming en tot twaalf in de kwaliteitscijfers.
| Wat er gemeten is | Hoe | Wat de studie niet zegt |
|---|---|---|
| Pombal, Rei & Martins — IFEval, LiveCodeBench en HealthBench | per criterium vergeleken hoe vaak een jury het als gehaald aanmerkt bij eigen werk tegenover werk van een ander | niets over subjectieve beoordeling — de meer dan 50% komt van machinaal verifieerbare rubrieken, en de tien punten op HealthBench komen van subjectieve. Die twee getallen gaan niet over hetzelfde en horen nooit samengeteld te worden |
| Yang e.a. — 20 courante taalmodellen | paren antwoorden van gelijke kwaliteit voorgelegd, zodat vertekening losstaat van het vermogen om verschil te zien | niets over één bepaald model — de 31,5% is een gemiddelde over twintig. En het is een VERMINDERING van de vertekening, geen opheffing: een rubriek maakt een jury eerlijker, niet eerlijk |
| Saraf e.a. — ChatGPT, Gemini en Claude, vier naamsituaties | dezelfde teksten vier keer beoordeeld: zonder naam, met de juiste naam, en met twee verkeerde | niet dat een jury altijd hóger scoort zodra ze denkt te weten wie schreef. Het label verstoort in BEIDE richtingen, en welke kant het op gaat hangt af van welke naam er staat. Het gaat bovendien om drie modellen op blogteksten; de richting per merk hoeft niet vast te liggen |
Pombal, Rei & Martins (arXiv 2604.06996, 8 april 2026) · Yang e.a. (arXiv 2604.22891, 24 april 2026) · Saraf e.a. (arXiv 2508.21164, 28 augustus 2025). Alle drie de cijfers zijn op 11 augustus 2026 in de samenvatting van het artikel zelf teruggevonden.
Waar kan je dit zelf nakijken?
-
Self-Preference Bias in Rubric-Based Evaluation of Large Language Models — José Pombal, Ricardo Rei & André F. T. Martins 8 april 2026, herzien 3 augustus 2026
IFEval en LiveCodeBench — twee benchmarks met programmatisch verifieerbare rubrieken, plus HealthBench met subjectieve rubrieken
Bij rubrieken waar de schrijver zakt, is een jury meer dan 50% vaker geneigd ze ten onrechte als gehaald aan te merken wanneer de tekst van hemzelf is. Dat geldt zelfs als de criteria volledig objectief zijn. Meerdere juryleden samen dempen het, maar heffen het niet op. Op HealthBench verschuift het de score met tot 10 punten.
De meer dan 50% is gemeten op OBJECTIEVE, machinaal verifieerbare rubrieken — dat maakt de bevinding sterker en niet zwakker, want er valt niets over smaak te twisten. De 10 punten komen daarentegen van een medische benchmark met subjectieve rubrieken; die twee getallen gaan dus niet over hetzelfde en horen nooit samengeteld te worden.
-
Quantifying and Mitigating Self-Preference Bias of LLM Judges — Jinming Yang, Zheng Hu, Chuxian Qiu, Zhenyu Deng, Xinshan Jiao & Tao Zhou 24 april 2026, herzien 2 juni 2026
20 courante taalmodellen, gemeten met paren antwoorden van gelijke kwaliteit zodat vertekening losgemaakt wordt van het vermogen om te onderscheiden
Een geavanceerder model heeft niet minder last van zelfvoorkeur — de samenhang is er niet, en soms is ze zelfs omgekeerd. Wat wél helpt is een gestructureerde, meerdimensionale beoordeling: die verlaagt de vertekening met gemiddeld 31,5%.
De 31,5% is een GEMIDDELDE over twintig modellen en zegt niets over één bepaald model. En het is een vermindering van de vertekening, geen opheffing ervan — een rubriek maakt een jury eerlijker en niet eerlijk.
-
Quantifying Label-Induced Bias in Large Language Model Self- and Cross-Evaluations — Muskan Saraf, Sajjad Rezvani Boroujeni, Justin Beaudry, Hossein Abedi & Tom Bush 28 augustus 2025, herzien 9 oktober 2025
ChatGPT, Gemini en Claude beoordeelden elkaars teksten onder vier omstandigheden: zonder naam erbij, met de juiste naam, en met twee verkeerde namen
De NAAM die bij een tekst staat verschuift het oordeel, ook als hij niet klopt — en niet altijd omhoog. Het label “Claude” verhoogde de scores ongeacht wie er werkelijk schreef, het label “Gemini” verlaagde ze. Een verkeerde naam draaide de voorkeur regelmatig helemaal om: tot 50 procentpunten verschil in de stemming en tot 12 procentpunten in de kwaliteitscijfers. De onderzoekers besluiten dat blind beoordelen en meerdere modelfamilies noodzakelijk zijn.
⚠ Deze studie zegt NIET dat een jury altijd hoger scoort wanneer hij denkt te weten wie schreef — dat stond wél zo in onze copy, en het is een vereenvoudiging die de bevinding zwakker maakt. Het label verstoort in BEIDE richtingen, en welke kant het op gaat hangt af van welke naam er staat. Het gaat bovendien om drie modellen op blogteksten; de richting per merk hoeft niet vast te liggen.
Elke link gaat naar de oorspronkelijke publicatie. Wat je hierboven leest, is op 11 augustus 2026 in die tekst zelf teruggevonden — niet overgenomen uit een samenvatting van iemand anders.
Waarom telt dit voor jou?
Omdat de tekst op je site steeds vaker door een AI geschreven is, en de controle erop meestal door dezelfde. Dat is het punt waar deze drie metingen samenkomen: een model dat zijn eigen FAQ nakijkt, levert geen tweede lezing maar een stempel met een cijfer erop. Het ziet er streng uit, het heeft een score, en het is precies daar dat het meer dan 50% vaker de fout laat staan die het zelf gemaakt heeft.
En het maakt de twee gebruikelijke antwoorden onbruikbaar. Het eerste is “neem een beter model” — dat helpt niet, dat is precies wat Yang e.a. over twintig modellen meten. Het tweede is “laat er meerdere naar kijken” — dat dempt en heft niet op, en dat staat in de sterkste van de drie studies zelf. Wat overblijft is geen keuze van model maar een OPZET: blind beoordelen, uit een andere familie, met een rubriek in plaats van een indruk.
Wat doet ceeme hiermee?
Elk voorstel dat wij maken, gaat langs een tweede lezing die alle drie de eisen invult. De jury krijgt geen enkele aanwijzing over de herkomst — geen veldnamen, geen systeemnaam, geen merk — en de opdracht zegt er letterlijk bij dat een vermoeden over de herkomst het oordeel niet mag raken. Ze komt uit een andere modelfamilie dan de schrijver, want blind haalt alleen de naam weg en niet de zelfvoorkeur. En ze scoort op 6 assen die elk hun eigen ondergrens hebben, zodat één rode as volstaat om af te keuren en een hoog gemiddelde een feitelijke fout niet kan wegpoetsen.
En als er niet beoordeeld kan worden, komt er geen oordeel. De tweede lezing kan mislukken — geen sleutel, geen antwoord, een antwoord waar niets uit te halen valt — en dan gaat het voorstel door naar de mens met de reden erbij, in plaats van met een score die niemand berekend heeft. Beter geen oordeel dan een verzonnen oordeel: dat is dezelfde regel die maakt dat wij geen resultaat claimen zonder hermeting.
Veelgestelde vragen
Als een AI de controle doet, wie controleert dan de AI?
Jij, en dat verandert niet. De tweede lezing vervangt de handtekening niet maar gaat eraan vooraf: ze houdt tegen wat feitelijk niet klopt, zodat wat jou bereikt de moeite van het lezen waard is. Een jury die iets goedkeurt, publiceert daarmee niets — dat is een aparte poort met een aparte reden erbij.
Waarom noemen jullie een studie die jullie eigen opzet niet volledig redt?
Omdat de grens het argument is. Blind beoordelen haalt de vertekening door de naam weg en laat de zelfvoorkeur staan; daarvoor is de andere modelfamilie nodig, en ook die maakt een jury eerlijker in plaats van eerlijk. Wie dat weglaat, verkoopt een oplossing waar een maatregel staat — en dan is de eerste lezer die het naslaat meteen de laatste die ons gelooft.
Kan ik dit zelf nadoen met de AI die ik al gebruik?
De opzet wel, en het staat hierboven beschreven: laat een model uit een andere familie nakijken, vertel het niet wie schreef, en geef het een lijst met criteria in plaats van de vraag of het goed is. Wat je er niet bij krijgt is de herhaling — dezelfde criteria, elke keer, met de reden per afgekeurde as bewaard, zodat je over een reeks kan zien of het beter wordt. Dat is waar dit onderdeel voor bestaat, niet omdat het onmogelijk is maar omdat het elke keer opnieuw moet.
Verder lezen
Gratis, zonder account en zonder kaart.