Zum Inhalt springen
ceeme

Verfolgen & umsetzen

Ändert sich eine KI-Suchmaschine einfach so, und was bedeutet das für meine Zahlen?

Ja, und meist ohne Ankündigung. Jede KI-Suchmaschine läuft auf einem Modell mit einer Versionsnummer, und ein Anbieter kann diese Nummer ersetzen oder abschalten, wann er will — das ist in den letzten Jahren mehrfach geschehen. Für eine Messreihe ist das das größte stille Risiko: Die Antwort ändert sich, während auf Ihrer Seite nichts geschah, und ohne festgehaltene Version lässt sich das hinterher nicht mehr trennen.

Von Njusja Orban, Gründerin von ceeme3 Min. Lesezeit

Messen Sie Ihr Unternehmen → Lieber erst sprechen

Kurz gefasst

Festgelegt, nie „das Neueste“
Ein Name, der „neueste Version“ bedeutet, wechselt unter Ihrer Messung, ohne dass etwas es meldet.
Jede Messung trägt ihren Stempel
Worauf sie lief, steht dabei — hinterher ist also sichtbar, ob zwei Messungen vergleichbar sind.
Ein Rückfall ist nicht gratis
Er hält die Messung am Leben und beginnt eine neue Reihe. Das steht dabei, statt darunter.

Auf welchen Modellversionen wird heute gemessen?

Unten, je KI-Suchmaschine, mit dem Rückfall dabei. Diese zweite Spalte gibt es, weil ein Anbieter eine Versionsnummer nicht nur ersetzt, sondern manchmal unerreichbar macht: Der Aufruf gibt dann einen Fehler zurück, und man misst nichts mehr — was in einem Diagramm wie ein Wert von null aussieht.

Eine KI-Suchmaschine in dieser Tabelle hat keinen Rückfall, und das steht auch so da. Eine leere Zelle läse sich als „nicht zutreffend“; es ist ein Risiko, das man kennen sollte, bevor man dort eine Reihe startet.

KI-SuchmaschineWorauf wir heute messenWenn diese Version wegfällt
ChatGPTgpt-5.6-terragpt-5.4-mini
Geminigemini-3.5-flashgemini-3.6-flash
Perplexitysonar-prosonar
Claudeclaude-sonnet-5claude-sonnet-4-6
Grokgrok-4.5kein Rückfall — die Reihe endet und beginnt neu
Mistralmistral-medium-latestmistral-small-latest
DeepSeekdeepseek-v4-flashdeepseek-chat
Meta AILlama-4-Maverick-17B-128E-Instruct-FP8kein Rückfall — die Reihe endet und beginnt neu

Was geschieht mit meiner Reihe, wenn ein Modell abgeschaltet wird?

Sie endet, und eine neue beginnt, und das wird gemeldet statt durchgemessen. Die Versuchung, einfach weiterzumachen, ist groß, denn das Diagramm sieht dann durchgehend aus — und genau das ist das Gefährlichere von beidem: Eine durchgehende Linie über zwei verschiedene Modelle sieht aus wie ein Trend und ist keiner.

Warum merkt niemand, dass so etwas geschehen ist?

Weil keine Fehlermeldung kommt. Ein ersetztes Modell antwortet einfach, nur etwas anders: andere Quellen, eine andere Reihenfolge, eine andere Anzahl Namen in der Aufzählung. Das ist dieselbe Art Fehler wie gültige strukturierte Daten, die das Falsche sagen — alles funktioniert, und das Ergebnis stimmt nicht.

Kann ich das ohne Werkzeug selbst im Auge behalten?

Teilweise, und es lohnt sich. Notieren Sie je Messung, welche Frage Sie stellten, an welchem Tag und in welchem Assistenten, und bewahren Sie die Antwort selbst auf statt Ihrer Zusammenfassung. Das ist von Hand genau das, was eine Reihe tut, und es genügt, um zu sehen, ob eine Verschiebung von Ihnen oder von ihnen kommt.

Was Sie von Hand nicht durchhalten: vier KI-Suchmaschinen, in zwei Sprachen, jede Woche. Dort liegt der Unterschied, nicht in der Idee.

Häufige Fragen

Messen Sie auf dem kostenlosen oder dem bezahlten Modell eines Assistenten?

Auf der Version aus der Tabelle oben, und sie steht dort mit ihrer Nummer, damit Sie es prüfen können. Was ein Besucher in der kostenlosen Version desselben Assistenten sieht, kann abweichen — das ist eine echte Einschränkung, und sie steht hier, weil sie niemand veröffentlicht.

Fügen Sie eine neue KI-Suchmaschine hinzu, sobald es sie gibt?

Nur wenn sie in Ihrem Markt genutzt wird. Eine KI-Suchmaschine hinzuzunehmen, die in Ihrem Land kaum befragt wird, erhöht die Zahl der Messungen und nicht ihre Bedeutung — und verwässert Ihren Durchschnitt mit einem Publikum, das Sie nicht haben.

Weiterlesen

Kostenlos, ohne Konto und ohne Karte.