Kurz gefasst
- Drei Arten von Besuch
- Sammeln fürs Training, Pflege eines Index, und Live-Abruf während einer Antwort. Nur Letzteres hängt mit einem laufenden Gespräch zusammen.
- Nachprüfbar
- Ein Teil der Crawler veröffentlicht IP-Listen oder lässt sich per DNS prüfen. Der Rest gibt nur einen Namen an, und den kann jeder eintippen.
- Was Ihr Protokoll sagt
- Welche Seiten abgerufen werden und welche nie. Das ist eine Arbeitsliste, und sie gehört nur Ihnen.
Wer kommt vorbei, und wem gehört dieser Crawler?
Unten die Crawler, die KI-Antworten speisen, je Betreiber, mit der wirklich entscheidenden Frage: Können Sie nachprüfen, dass es auch wirklich einer war? Bei etwa einem Drittel lautet die Antwort nein, und das ist kein Detail — ein Name, den jeder eintippen kann, ist kein Besuchsnachweis.
Beachten Sie bei einem Betreiber die Zweiteilung: Der Crawler, der den Index pflegt, ist nicht der, der während eines Gesprächs live abruft. Sehen Sie nur den ersten, werden Sie gesammelt, aber nicht angeführt.
| Betreiber | Crawler | Nachprüfbar? |
|---|---|---|
| Google-Extended · Googlebot · GoogleOther | ja — Reverse-DNS auf der veröffentlichten Domain | |
| Microsoft | Bingbot | ja — Reverse-DNS auf der veröffentlichten Domain |
| Apple | Applebot-Extended · Applebot | ja — Reverse-DNS auf der veröffentlichten Domain |
| OpenAI | GPTBot · OAI-SearchBot · ChatGPT-User | ja — gegen die veröffentlichte IP-Liste |
| Anthropic | ClaudeBot · Claude-User · Claude-SearchBot · anthropic-ai | ja — gegen die veröffentlichte IP-Liste |
| Perplexity | PerplexityBot · Perplexity-User | ja — gegen die veröffentlichte IP-Liste |
| Amazon | Amazonbot | nein — nur der Name, den der Besucher selbst angibt, also fälschbar |
| Meta | Meta-ExternalAgent | nein — nur der Name, den der Besucher selbst angibt, also fälschbar |
| ByteDance | Bytespider | nein — nur der Name, den der Besucher selbst angibt, also fälschbar |
| Cohere | cohere-ai | nein — nur der Name, den der Besucher selbst angibt, also fälschbar |
| DuckDuckGo | DuckAssistBot | nein — nur der Name, den der Besucher selbst angibt, also fälschbar |
| You.com | YouBot | nein — nur der Name, den der Besucher selbst angibt, also fälschbar |
| Diffbot | Diffbot | nein — nur der Name, den der Besucher selbst angibt, also fälschbar |
| Timpi | Timpibot | nein — nur der Name, den der Besucher selbst angibt, also fälschbar |
Wie lese ich mein eigenes Protokoll ohne Entwickler?
Die meisten Hosting-Pakete lassen die rohen Zugriffsprotokolle herunterladen; dann ist es eine Frage der Suche nach den obigen Namen. Läuft Ihre Seite hinter einem Dienst, der Verkehr filtert, liegt die Übersicht dort oft schon fertig unter einer Rubrik wie Bots oder verifizierte Crawler.
Sie suchen nicht die Anzahl, sondern die Verteilung: Welche Seiten werden abgerufen. Ein Crawler, der nur Startseite und Kontaktseite besucht, hat den Rest Ihrer Website nie gesehen — und das erklärt eine Antwort, in der es Sie gibt, aber nichts Konkretes über Sie gesagt wird.
Warum sehe ich so wenig KI-Verkehr in meiner Statistik?
Weil Genanntwerden oft keinen Klick erzeugt. Die Antwort enthält Ihren Namen, der Fragende hat, was er brauchte, und es wird nichts geklickt. Das ist kein Messfehler, sondern das Wesen des Kanals: Der Gewinn ist, dass Ihr Name fiel, nicht dass ein Besucher kam.
Was Sie in Ihrer Statistik sehen, ist der Verkehr, der nach einer solchen Antwort doch klickt, und er kommt mit erkennbarer Herkunft. Diese Zahl ist fast immer kleiner als die Zahl der Nennungen — und genau diese Lücke ist der Grund, beides zu messen.
Sollte ich einige dieser Crawler aussperren?
Das ist eine Entscheidung, keine technische Frage, und sie zerfällt in zwei Teile. Das Sammeln fürs Training auszuschließen und zugleich in Antworten erscheinen zu wollen, geht bei manchen Betreibern und bei anderen nicht — bei einem Teil ist es derselbe Crawler.
Der praktische Rat: Schließen Sie nichts aus, solange Sie nicht wissen, was hereinkommt. Wer erst sperrt und dann misst, misst seine eigene Einstellung.
Häufige Fragen
Mein Hoster gibt mir keine Protokolle. Was dann?
Dann nähern Sie sich von der anderen Seite: Stellen Sie dieselbe Frage mehreren Assistenten und sehen Sie, ob sie Inhalte anführen, die nur auf einer tiefen Seite stehen. Kennen sie nur Ihre Startseite, wurde nie weiter geschaut. Das ist ungenauer als ein Protokoll und kostet nichts.
Bedeutet viel Crawler-Verkehr, dass ich es gut mache?
Nein. Ein Besuch heißt, dass Sie gelesen werden, nicht dass Sie gewählt werden. Es ist eine notwendige Bedingung und ein schlechtes Maß: Eine Website, die täglich vollständig abgerufen wird und in keiner Antwort vorkommt, gibt es — und dieser Fall verweist meist auf das, was außerhalb Ihrer Website über Sie zu finden ist.
Weiterlesen
Kostenlos, ohne Konto und ohne Karte.