AI-crawler-check

gratis tool · ceeme

Als je robots.txt AI-crawlers blokkeert, kan je site niet in AI-antwoorden opduiken — hoe goed hij ook is. Deze check leest je robots.txt en vertelt per AI-crawler of hij binnen mag, plus of je al een llms.txt hebt.

Probeer ook: llms.txt-generator · OG- & meta-preview

Waarom zou een site AI-crawlers blokkeren?

Vaak per ongeluk: security-plugins en oude robots.txt-regels blokkeren alles wat ze niet kennen. Het gevolg: ChatGPT, Claude en Perplexity kunnen je content niet lezen — en wat ze niet kennen, bevelen ze niet aan.

Welke crawlers checkt deze tool?

GPTBot en OAI-SearchBot (OpenAI/ChatGPT), ClaudeBot (Anthropic), PerplexityBot, Google-Extended (Gemini), Bingbot (Copilot) en CCBot (Common Crawl, dat veel AI-modellen voedt).

Mijn site blokkeert een crawler — wat nu?

Pas je robots.txt aan zodat de AI-crawlers die je wil toelaten niet meer onder een blokkade vallen, of vraag het je webbouwer. De gratis ceeme-scan meet daarna of je ook echt in de antwoorden opduikt.