| Crawler | De qui | État |
|---|
En bref
- Ce qui est lu
- Votre robots.txt au niveau racine, et l'existence d'un llms.txt à côté. Rien d'autre n'est récupéré.
- Les trois résultats
- Explicitement autorisé, non bloqué, ou bloqué. Le cas du milieu n'est pas un demi-état mais l'état normal.
- Ce qu'elle ne dit pas
- Si vous êtes nommé. L'accès est une condition, pas un résultat — c'est une autre mesure.
Que signifient les trois résultats ?
Explicitement autorisé signifie que votre robots.txt nomme ce crawler et le laisse entrer. Non bloqué signifie qu'il n'est nommé nulle part et peut donc entrer — c'est l'état normal d'un site qui n'a jamais rien réglé, et cela ne pose aucun problème.
Bloqué par une règle générale est le résultat le plus souvent inattendu : aucune règle ne vise ce crawler, mais une autre exclut tout ce qui n'est pas nommé. Qui lit cela hors contexte croit à un choix délibéré.
Comment un site se ferme-t-il par accident ?
Presque toujours par l'une de trois voies : une extension de sécurité qui bloque tout ce qu'elle ne reconnaît pas, un robots.txt fermé pendant une refonte et jamais rouvert, ou un réglage d'hébergement que personne n'a jamais regardé.
Les trois se réparent en minutes et les trois coûtent des mois si personne ne regarde. C'est pourquoi cette vérification est gratuite : elle trouve le problème le moins cher de tout ce métier.
Que ne dit pas cette vérification sur ma visibilité ?
Tout ce qui vient après l'accès. Un site entièrement ouvert et absent de toute réponse, cela existe — et alors la cause est hors de votre site, pas dans ce fichier.
| Ce que fait cet outil | Ce qu'il ne fait pas |
|---|---|
| Lit votre robots.txt comme le ferait un crawler | Ne regarde que la racine — les règles plus profondes n'y figurent pas |
| Indique si un llms.txt existe sur votre domaine | N'évalue pas le contenu de ce fichier |
| Montre l'état actuel par crawler | Ne mesure pas si ce crawler passe vraiment, et encore moins si vous êtes nommé |
Questions fréquentes
Je n'ai pas de robots.txt. Est-ce grave ?
Non. Pas de fichier signifie que tout peut entrer, et c'est l'état le plus favorable à la visibilité. Créer un fichier n'a de sens que pour exclure quelque chose ou pour consigner explicitement ce qui est permis — le second est plus propre et ne change presque rien.
Pourquoi dois-je indiquer une adresse e-mail ?
Parce que cette vérification tourne sur notre serveur et non dans votre navigateur : une adresse est récupérée, et cela coûte quelque chose. L'e-mail relie le résultat à vous, et c'est le seul outil où on le demande parce qu'il se passe quelque chose hors de votre navigateur. Le générateur robots et l'autotest ne demandent rien : il n'y a rien à récupérer.
Pour aller plus loin
Gratuit, sans compte ni carte bancaire.