Kurz gefasst
- Mehr als 50 % häufiger
- So viel häufiger markiert eine Jury ein Kriterium fälschlich als erfüllt, wenn der Text von ihr selbst stammt. Gemessen an Rubriken, die eine Maschine prüfen kann — über Geschmack lässt sich hier also nicht streiten. (Pombal, Rei & Martins)
- Ein klügeres Modell hilft nicht
- Über zwanzig Modelle hinweg gibt es keinen Zusammenhang zwischen Leistungsfähigkeit und geringerer Verzerrung, und mitunter ist er umgekehrt. Was hilft: eine strukturierte Rubrik, im Schnitt 31,5 % weniger. (Yang et al.)
- Der Name verschiebt das Urteil
- Und nicht immer nach oben: Ein Label hob die Bewertungen, ein anderes senkte sie — bis zu fünfzig Prozentpunkte Unterschied bei der Präferenz, auch wenn der Name nicht stimmte. (Saraf et al.)
- Mehr Juroren sind keine Lösung
- Die stärkste der drei Studien sagt es selbst: Mehrere Juroren zusammen dämpfen die Selbstbevorzugung, heben sie aber nicht auf. Wer ein Panel als ausreichend verkauft, hat die Studie nicht zu Ende gelesen.
Was sagt die Studie?
Pombal, Rei und Martins ließen Sprachmodelle die Arbeit der anderen anhand von Rubriken bewerten — Listen von Kriterien, die einzeln erfüllt sind oder nicht. Zwei dieser Benchmarks, IFEval und LiveCodeBench, enthalten Kriterien, die eine Maschine prüfen kann: Die Anweisung wurde befolgt oder nicht, der Code läuft oder nicht. Genau dort zeigte es sich: Bei Kriterien, an denen der Schreiber scheitert, markiert eine Jury sie mehr als 50 % häufiger fälschlich als erfüllt, wenn der Text von ihr selbst stammt. Mehrere Juroren zusammen dämpfen das, heben es aber nicht auf.
Yang und Kollegen stellten die naheliegende Anschlussfrage: Hilft dann ein besseres Modell? Sie verglichen zwanzig gängige Modelle mit Antwortpaaren gleicher Qualität, damit die Verzerrung von der Unterscheidungsfähigkeit getrennt ist. Das Ergebnis ist unbequem: Es gibt keinen Zusammenhang zwischen Leistungsfähigkeit und geringerer Selbstbevorzugung, und mitunter läuft er in die falsche Richtung. Was funktioniert, ist die FORM der Bewertung — eine strukturierte, mehrdimensionale Rubrik senkt die Verzerrung im Schnitt um 31,5 %.
Und Saraf und Kollegen untersuchten etwas, das die anderen beiden nicht messen: Was bewirkt der NAME an einem Text? Sie ließen ChatGPT, Gemini und Claude die Texte der anderen unter vier Bedingungen bewerten — ohne Namen, mit dem richtigen Namen und mit zwei falschen Namen. Das Label verschiebt das Urteil, auch wenn es falsch ist, und nicht in eine Richtung: Eine Marke hob die Bewertungen unabhängig vom tatsächlichen Autor, eine andere senkte sie. Ein falscher Name kehrte die Präferenz häufig ganz um — bis zu fünfzig Prozentpunkte Unterschied bei der Abstimmung und bis zu zwölf bei den Qualitätsnoten.
| Was gemessen wurde | Wie | Was die Studie nicht sagt |
|---|---|---|
| Pombal, Rei & Martins — IFEval, LiveCodeBench und HealthBench | je Kriterium verglichen, wie oft eine Jury es bei eigener gegenüber fremder Arbeit als erfüllt markiert | nichts über subjektive Bewertung — die mehr als 50 % stammen aus maschinell überprüfbaren Rubriken, die zehn Punkte auf HealthBench aus subjektiven. Diese beiden Zahlen betreffen nicht dasselbe und dürfen nie zusammengezählt werden |
| Yang et al. — 20 gängige Sprachmodelle | Antwortpaare gleicher Qualität vorgelegt, damit die Verzerrung von der Unterscheidungsfähigkeit getrennt ist | nichts über ein einzelnes Modell — die 31,5 % sind ein Durchschnitt über zwanzig. Und es ist eine VERRINGERUNG der Verzerrung, keine Aufhebung: Eine Rubrik macht eine Jury fairer, nicht fair |
| Saraf et al. — ChatGPT, Gemini und Claude, vier Namensbedingungen | dieselben Texte viermal bewertet: ohne Namen, mit dem richtigen Namen und mit zwei falschen | dass eine Jury immer HÖHER bewertet, sobald sie zu wissen glaubt, wer geschrieben hat. Das Label verzerrt in BEIDE Richtungen, und wohin, hängt vom angezeigten Namen ab. Zudem geht es um drei Modelle bei Blogtexten; die Richtung je Marke muss nicht feststehen |
Pombal, Rei & Martins (arXiv 2604.06996, 8. April 2026) · Yang et al. (arXiv 2604.22891, 24. April 2026) · Saraf et al. (arXiv 2508.21164, 28. August 2025). Alle drei Zahlen wurden am 11. August 2026 in der Zusammenfassung des Artikels selbst wiedergefunden.
Wo können Sie das selbst nachprüfen?
-
Self-Preference Bias in Rubric-Based Evaluation of Large Language Models — José Pombal, Ricardo Rei & André F. T. Martins 8. April 2026, überarbeitet am 3. August 2026
IFEval und LiveCodeBench — zwei Benchmarks mit programmatisch überprüfbaren Rubriken, dazu HealthBench mit subjektiven Rubriken
Bei Rubriken, an denen der Schreiber scheitert, markiert eine Jury sie um mehr als 50 % häufiger fälschlich als erfüllt, wenn der Text von ihr selbst stammt. Das gilt sogar bei vollständig objektiven Kriterien. Mehrere Juroren zusammen dämpfen es, heben es aber nicht auf. Auf HealthBench verschiebt es die Punktzahl um bis zu 10 Punkte.
Die mehr als 50 % sind an OBJEKTIVEN, maschinell überprüfbaren Rubriken gemessen — das macht den Befund stärker und nicht schwächer, denn über Geschmack lässt sich hier nicht streiten. Die 10 Punkte stammen dagegen aus einem medizinischen Benchmark mit subjektiven Rubriken; die beiden Zahlen betreffen also nicht dasselbe und dürfen nie zusammengezählt werden.
-
Quantifying and Mitigating Self-Preference Bias of LLM Judges — Jinming Yang, Zheng Hu, Chuxian Qiu, Zhenyu Deng, Xinshan Jiao & Tao Zhou 24. April 2026, überarbeitet am 2. Juni 2026
20 gängige Sprachmodelle, gemessen mit Antwortpaaren gleicher Qualität, damit die Verzerrung von der Unterscheidungsfähigkeit getrennt wird
Ein fortgeschritteneres Modell ist nicht weniger anfällig für Selbstbevorzugung — der Zusammenhang fehlt und ist mitunter sogar negativ. Was hilft: eine strukturierte, mehrdimensionale Bewertung, die die Verzerrung um durchschnittlich 31,5 % senkt.
Die 31,5 % sind ein DURCHSCHNITT über zwanzig Modelle und sagen nichts über ein einzelnes Modell. Und es ist eine Verringerung der Verzerrung, keine Aufhebung — eine Rubrik macht eine Jury fairer, nicht fair.
-
Quantifying Label-Induced Bias in Large Language Model Self- and Cross-Evaluations — Muskan Saraf, Sajjad Rezvani Boroujeni, Justin Beaudry, Hossein Abedi & Tom Bush 28. August 2025, überarbeitet am 9. Oktober 2025
ChatGPT, Gemini und Claude bewerteten die Texte der anderen unter vier Bedingungen: ohne Namen, mit dem richtigen Namen und mit zwei falschen Namen
Der NAME an einem Text verschiebt das Urteil, auch wenn er falsch ist — und nicht immer nach oben. Das Label „Claude“ hob die Bewertungen unabhängig davon, wer tatsächlich schrieb, das Label „Gemini“ senkte sie. Ein falscher Name kehrte die Präferenz häufig ganz um: bis zu 50 Prozentpunkte Unterschied bei der Abstimmung und bis zu 12 bei den Qualitätsnoten. Die Forscher schließen daraus, dass blinde Bewertung und mehrere Modellfamilien nötig sind.
⚠ Diese Studie sagt NICHT, dass eine Jury immer höher bewertet, wenn sie zu wissen glaubt, wer geschrieben hat — genau das stand aber in unserem Text, und diese Vereinfachung schwächt den Befund. Das Label verzerrt in BEIDE Richtungen, und wohin, hängt davon ab, welcher Name dasteht. Zudem geht es um drei Modelle bei Blogtexten; die Richtung je Marke muss nicht feststehen.
Jeder Link führt zur ursprünglichen Veröffentlichung. Was Sie oben lesen, wurde am 11. August 2026 in diesem Text selbst wiedergefunden — nicht aus der Zusammenfassung eines anderen übernommen.
Warum zählt das für Sie?
Weil der Text auf Ihrer Website immer häufiger von einer KI geschrieben wird — und die Prüfung meist von derselben. Genau dort treffen sich diese drei Messungen: Ein Modell, das die eigene FAQ nachliest, liefert keine zweite Lesung, sondern einen Stempel mit einer Zahl darauf. Es sieht streng aus, es trägt eine Note, und genau dort lässt es mehr als 50 % häufiger den Fehler stehen, den es selbst gemacht hat.
Und es macht die beiden üblichen Antworten unbrauchbar. Die erste lautet „nehmen Sie ein besseres Modell“ — das hilft nicht, genau das messen Yang et al. über zwanzig Modelle. Die zweite lautet „lassen Sie mehrere draufschauen“ — das dämpft, hebt aber nicht auf, und das steht in der stärksten der drei Studien selbst. Was bleibt, ist keine Modellwahl, sondern ein AUFBAU: blind bewerten, aus einer anderen Familie, mit einer Rubrik statt eines Eindrucks.
Was macht ceeme damit?
Jeder Vorschlag, den wir erstellen, durchläuft eine zweite Lesung, die alle drei Anforderungen erfüllt. Die Jury erhält keinerlei Hinweis auf die Herkunft — keine Feldnamen, keinen Systemnamen, keine Marke — und die Anweisung sagt ausdrücklich, dass eine Vermutung über die Herkunft das Urteil nicht beeinflussen darf. Sie stammt aus einer anderen Modellfamilie als der Schreiber, denn blind entfernt nur den Namen und nicht die Selbstbevorzugung. Und sie bewertet auf 6 Achsen mit je eigener Untergrenze, sodass eine einzige rote Achse zur Ablehnung genügt und ein hoher Durchschnitt einen sachlichen Fehler nicht überdecken kann.
Und wenn nicht bewertet werden kann, gibt es kein Urteil. Die zweite Lesung kann scheitern — kein Schlüssel, keine Antwort, eine Antwort, aus der sich nichts gewinnen lässt — und der Vorschlag geht dann mit der Begründung an den Menschen, statt mit einer Note, die niemand berechnet hat. Lieber kein Urteil als ein erfundenes: Das ist dieselbe Regel, die dafür sorgt, dass wir ohne Nachmessung kein Ergebnis behaupten.
Häufige Fragen
Wenn eine KI prüft, wer prüft dann die KI?
Sie, und das ändert sich nicht. Die zweite Lesung ersetzt die Unterschrift nicht, sondern geht ihr voraus: Sie hält zurück, was sachlich falsch ist, damit das, was Sie erreicht, das Lesen wert ist. Eine Jury, die etwas freigibt, veröffentlicht damit nichts — das ist ein eigenes Tor mit einer eigenen Begründung.
Warum zitieren Sie eine Studie, die Ihren eigenen Aufbau nicht vollständig rettet?
Weil die Grenze das Argument ist. Blinde Bewertung entfernt die Verzerrung durch den Namen und lässt die Selbstbevorzugung bestehen; dafür braucht es die andere Modellfamilie, und auch die macht eine Jury fairer statt fair. Wer das weglässt, verkauft eine Lösung, wo eine Maßnahme steht — und dann ist der erste Leser, der nachschlägt, sofort der letzte, der uns glaubt.
Kann ich das mit der KI, die ich bereits nutze, selbst nachbauen?
Der Aufbau ja, und er ist oben beschrieben: Lassen Sie ein Modell aus einer anderen Familie prüfen, sagen Sie ihm nicht, wer geschrieben hat, und geben Sie ihm eine Liste von Kriterien statt der Frage, ob es gut ist. Was Sie nicht bekommen, ist die Wiederholung — dieselben Kriterien, jedes Mal, mit der Begründung je abgelehnter Achse aufbewahrt, damit Sie über eine Reihe hinweg sehen, ob es besser wird. Dafür ist dieser Teil da, nicht weil es unmöglich ist, sondern weil es jedes Mal erneut geschehen muss.
Weiterlesen
Kostenlos, ohne Konto und ohne Karte.