Kurz gefasst
- 31 und 14 und 0
- Drei Zahlen auf einer Seite unseres eigenen Berichts, alle drei richtig, zusammen unlesbar.
- Kein Rechenfehler
- Das ist die unangenehme Sorte Fehler: Nichts fällt um, kein Test schlägt fehl, und die Zahl ist vertretbar. Nur der Leser versteht sie nicht.
- Eine Formel
- Die Reparatur: Die Kopfzahl wird an einer Stelle berechnet, und Bericht wie Dashboard lesen dieselbe. Zwei Stellen laufen früher oder später auseinander.
- Die Tiefe blieb
- Die Tiefenanalyse auf einer Engine wurde nicht gestrichen, sondern in das umbenannt, was sie ist. Eine Messung, die man nicht erklären kann, gehört nicht weg, sondern an ihren Platz.
Was sagt die Studie?
Dies ist keine Veröffentlichung von jemand anderem, sondern ein Fall von uns selbst, und er steht hier, weil er die Frage beantwortet, die jeder Käufer eigentlich stellt: Was passiert, wenn Sie sich irren? Der Bericht zeigte oben 31 von 100 und in der Tabelle darunter 14 von 100 und 0 von 100. Es war nichts falsch gerechnet. Oben stand eine KI-Suchmaschine, die alle Fragen bekommen hatte; darunter sieben Engines aus einer anderen Phase mit einem anderen Satz.
Gefährlich an dieser Art Fehler ist, dass nichts umfällt. Kein Test schlägt fehl, keine Meldung geht los, und jede Zahl für sich ist vertretbar. Der Einzige, der es bemerkt, ist der Leser, und er schließt daraus nicht, dass es zwei Messungen gibt, sondern dass der Bericht nicht stimmt — und damit auch der Rest nicht. Eine unerklärliche Zahl kostet mehr Vertrauen als eine niedrige.
| Was gemessen wurde | Wie | Was die Studie nicht sagt |
|---|---|---|
| Unser eigener Bericht, vor der Reparatur | eine Punktzahl oben aus der Analysephase auf einer Engine und eine Tabelle darunter aus der Engine-Phase mit einem anderen Fragensatz | dass eine der beiden Zahlen falsch berechnet gewesen wäre. Beide stimmten innerhalb ihrer eigenen Messung, und genau deshalb schlug keine einzige Prüfung an |
| Was daraus folgte | eine Stelle, an der die Kopfzahl berechnet wird, gelesen von Bericht und Dashboard, plus drei Regeln, die in jeden Bericht gehören: wer zählt, wer wiegt, und wie viel vom Markt abgedeckt ist | dass diese Art Fehler jetzt unmöglich wäre. Es sagt nur, dass genau dieser nicht mehr passieren kann, und mehr kann eine Reparatur nie sagen |
Unser eigener Fall. Die drei Zahlen und der Grund stehen im Kommentar über der Funktion, die die Kopfzahl berechnet — dieser Kommentar entstand bei der Reparatur und ist deren Begründung.
Warum zählt das für Sie?
Weil es bei jedem Anbieter passieren kann und man es von außen nicht sieht. Fragen Sie deshalb nicht, ob die Zahl stimmt, sondern wie sie aufgebaut ist: welche Engines, dieselben Fragen, dieselbe Methode? Sobald die Antwort lautet, dass die Kopfzahl aus einer anderen Messung stammt als die Tabelle darunter, stehen zwei Dinge auf einer Seite, die nicht nebeneinander gehören.
Und weil der Reflex stark ist, so etwas still zu beheben. Die Zahl anzupassen, bis beide zusammenpassen, ist ein halber Tag Arbeit, und niemand hätte es bemerkt. Genau deshalb steht diese Geschichte hier und nicht in einem internen Dokument: Einen Fehler, den man selbst veröffentlicht, kann niemand mehr gegen einen verwenden, und es ist die einzige glaubwürdige Art zu sagen, dass man ehrlich misst.
Was macht ceeme damit?
Seitdem wird die Kopfzahl an einer Stelle berechnet, und Bericht wie Dashboard lesen dieselbe. Sie ist der gewichtete Durchschnitt über die Engines, die mit denselben Fragen und derselben Methode gemessen wurden, gewichtet nach ihrem Anteil im Markt des Kunden. Zwei Stellen, die dieselbe Zahl ausrechnen, laufen früher oder später auseinander — das ist kein Pessimismus, sondern das, was passiert ist.
Drei Regeln gehören seitdem in jeden Bericht, und sie stehen dort. Wer zählt: nur Engines, die wirklich live gesucht haben, denn eine Engine, die aus dem Gedächtnis antwortet, misst Modellwissen und keine Sichtbarkeit. Wer wiegt: nur Engines mit bekanntem Anteil in diesem Markt; der Rest erscheint als gemessen-aber-nicht-gewichtet. Und wie viel vom Markt abgedeckt ist — diese Zahl hat nebenan ihre eigene Studie.
Und die Tiefenanalyse ist nicht verschwunden. Eine Engine, die bis zu zweihundert Fragen bekommt, mit Marken, Quellen, Sentiment und Märkten, bleibt das reichhaltigste Bild, das es gibt. Sie heißt nur nicht mehr die Punktzahl, sondern das, was sie ist: die Tiefenanalyse auf einer Engine. Das ist die billigste Reparatur überhaupt — eine Messung, die man nicht erklären kann, gehört nicht weg, sondern an ihren Platz, mit der richtigen Überschrift darüber.
Häufige Fragen
Warum stellen Sie einen eigenen Fehler auf die Website?
Weil das Versprechen sonst nichts wert ist. Wir bitten Kunden, uns zu glauben, wenn wir sagen, ein Fix habe nicht gewirkt — und das glaubt man nur jemandem, der es auch über sich selbst sagt. Dies ist der Fall, in dem es um uns ging.
Woher weiß ich, dass keine solchen Fehler mehr drinstecken?
Das wissen Sie nicht, und wir auch nicht. Prüfen können Sie, ob ein Anbieter seine Methode veröffentlicht und seine eigenen Korrekturen aufschreibt — denn ein Fehler, der nirgends steht, ist ein Fehler, der sich wiederholt. Bei uns trägt jede Zahl im Bericht die Engines, die Fragen und das Datum, damit Sie eine zweite Messung danebenlegen können.
Ist die Tiefenanalyse dann weniger wert?
Nein, sie ist das reichhaltigste Bild, das wir haben — sie ist nur keine Sichtbarkeitspunktzahl. Eine Engine mit bis zu zweihundert Fragen zeigt Marken, Quellen, Sentiment und Märkte, die man mit vier Engines und dreißig Fragen nicht sieht. Das Problem war nie die Messung, sondern der Name darüber.
Weiterlesen
Kostenlos, ohne Konto und ohne Karte.