| Crawler | Van wie | Stand |
|---|
In het kort
- Wat er gelezen wordt
- Je robots.txt op hoofdniveau, plus of er een llms.txt naast staat. Verder wordt er niets van je site opgehaald.
- De drie uitkomsten
- Uitdrukkelijk toegelaten, niet geblokkeerd, of geblokkeerd. Dat middelste is geen halve toestand maar de normale.
- Wat het niet zegt
- Of je genoemd wordt. Toegang is een voorwaarde en geen uitkomst — dat is een andere meting.
Wat betekenen de drie uitkomsten?
Uitdrukkelijk toegelaten betekent dat je robots.txt die crawler bij naam noemt en binnenlaat. Niet geblokkeerd betekent dat hij nergens genoemd wordt en dus mag — dat is de normale toestand van een site die nooit iets ingesteld heeft, en er is niets mis mee.
Geblokkeerd via een algemene regel is de uitkomst die het vaakst onverwacht komt: er staat geen regel over die crawler, maar wel een die alles buitensluit wat niet met naam genoemd is. Wie dat leest zonder de context, denkt dat er een bewuste keuze gemaakt is.
Hoe raakt een site per ongeluk dicht?
Bijna altijd langs een van drie wegen: een beveiligingsuitbreiding die alles blokkeert wat ze niet herkent, een robots.txt die tijdens een verbouwing dichtgezet is en nooit weer opengegaan, of een instelling van een hostingpakket die niemand ooit bekeken heeft.
Alle drie zijn ze in minuten te herstellen en alle drie kosten ze maanden als niemand kijkt. Dat is de reden dat deze check gratis is: hij vindt het goedkoopste probleem dat er in dit vak bestaat.
Wat zegt deze check niet over mijn zichtbaarheid?
Alles wat na de toegang komt. Een site die volledig open staat en in geen enkel antwoord voorkomt, bestaat — en dan ligt het aan wat er buiten je site over je te vinden is, niet aan dit bestand.
| Wat deze tool doet | Wat hij niet doet |
|---|---|
| Leest je robots.txt zoals een crawler dat doet | Kijkt alleen naar het hoofdniveau — regels die dieper in je site gelden, staan er niet in |
| Zegt of er een llms.txt op je domein staat | Beoordeelt de inhoud van dat bestand niet |
| Toont per crawler de stand op dit moment | Meet niet of die crawler ook werkelijk langskomt, en al helemaal niet of je genoemd wordt |
Veelgestelde vragen
Ik heb geen robots.txt. Is dat erg?
Nee. Geen bestand betekent dat alles mag binnen, en dat is voor zichtbaarheid de gunstigste toestand. Een bestand aanmaken heeft alleen zin als je iets wil uitsluiten of als je uitdrukkelijk wil vastleggen wat er mag — dat laatste is netter en verandert praktisch niets.
Waarom moet ik hier een e-mailadres invullen?
Omdat deze check op onze server draait en niet in je browser: er wordt een adres opgehaald, en dat kost iets. Het adres koppelt je uitkomst aan jou en het is de enige tool op deze site waar het gevraagd wordt omdat er iets buiten je browser gebeurt. De robots-generator en de zelftest vragen niets, want daar valt niets op te halen.
Verder lezen
Gratis, zonder account en zonder kaart.