Wählen Sie eine Einstellung
Erweitert
Kurz gefasst
- Was die Datei tut
- Sie sagt je Crawler, wer herein darf. Sie ist die einzige der drei Dateien auf Ihrer Domain, an die sich ein Crawler halten soll.
- Training gegen live
- Manche Crawler sammeln fürs Modelltraining, andere rufen während einer Antwort ab. Beide zu sperren ist eine andere Entscheidung als nur eines.
- Der Preis des Zusperrens
- Was ein Crawler nicht lesen darf, landet in keiner Antwort. Guter Text ändert daran nichts — niemand liest ihn.
Welche Einstellung passt zu mir?
Wenn Sie in KI-Antworten gefunden werden wollen: alles zulassen. Das ist die oberste Einstellung und die einzige, die nichts kostet — ein Crawler, der Ihre Website liest, verbraucht Bandbreite und sonst nichts.
Die zweite Einstellung ist für alle, die nicht wollen, dass ihre Texte ein Modell trainieren, aber in den Antworten stehen möchten. Eine vertretbare Position und kein Mittelweg: Bei manchen Anbietern ist es derselbe Crawler, also entscheiden Sie doch.
Was ist der Unterschied zwischen einem Trainings-Crawler und einem Live-Crawler?
Ein Trainings-Crawler sammelt Text, der später in ein Modell einfließt; was er heute holt, sehen Sie Monate später wieder. Ein Live-Crawler ruft während des Gesprächs ab: Was er findet, steht in der Antwort, die jemand jetzt liest.
Für kurzfristige Sichtbarkeit zählt die zweite Art, und sie ist auch diejenige, deren Wirkung man messen kann. Die erste ist eine langfristige Entscheidung und eine Haltung zu den eigenen Texten.
Was tut diese Datei nicht?
Sie regelt Zugang und sonst nichts. Ob Sie gelesen werden, ist eine Frage; ob Sie genannt werden, eine zweite — und die wird hier nicht beantwortet.
| Was dieses Tool tut | Was es nicht tut |
|---|---|
| Schreibt eine gültige robots.txt mit einer Regel je Crawler | Legt die Datei nicht ab — das tun Sie oder Ihr Entwickler |
| Zeigt je Crawler, ob er überprüfbar ist | Prüft nicht, ob sie wirklich vorbeikommen — dafür braucht es Ihr Serverprotokoll |
| Läuft vollständig in Ihrem Browser | Erzwingt nichts: Ein Crawler, der die Datei ignoriert, wird davon nicht aufgehalten |
Häufige Fragen
Verliere ich meine Google-Position, wenn ich KI-Crawler sperre?
Nicht automatisch: Der Crawler, der den klassischen Index pflegt, ist nicht der, der für KI sammelt, und der Generator lässt den ersten immer herein. Achten Sie aber auf handgeschriebene Zusätze — eine zu breite Regel trifft beide, und so verschwindet eine Website am häufigsten versehentlich aus dem Index.
Warum stehen hier mehr Crawler als anderswo?
Weil die Liste aus unserem eigenen Register stammt und nicht aus einem Artikel. Es sind 23, jeweils mit dem Hinweis, ob er nachprüfbar ist; bei 8 ist das heute nicht möglich, und das steht dabei, denn ein Name, den jeder eintippen kann, ist kein Besuchsnachweis.
Weiterlesen
Kostenlos, ohne Konto und ohne Karte.