Lecture et calculs déterministes, sans IA
Les robots des IA et des moteurs ont-ils le droit de lire votre site ?
Lit votre robots.txt robot par robot (50 robots documentés par leurs exploitants), les directives noindex et X-Robots-Tag, les canonicals, et compare la réponse du serveur à un navigateur et à des robots.
Recherche, entraînement et agents utilisateurs distingués, chaque ligne avec sa source officielle.
- Votre site
- Votre résultat
Périmètre
Ce que l'outil mesure, et ce qu'il ne dit pas
| Vérification | Ce qui est mesuré | Ce que cela ne dit pas |
|---|---|---|
| robots.txt, robot par robot | Pour 50 robots documentés par leurs exploitants : la règle retenue pour chaque adresse (RFC 9309), les règles reprises d'un autre robot quand l'exploitant le documente, la fonction du robot. | Si le robot passe réellement : seuls vos journaux serveur le montrent. |
| Directives d'indexation | Balises meta robots, googlebot, bingbot, en-têtes X-Robots-Tag, avec leur portée exacte. | L'effet d'une directive sur un robot qui ne la documente pas. |
| Réponse du serveur, robot par robot | La page d'accueil demandée au nom de chaque robot, avec son User-Agent (publié par l'exploitant, ou construit sur son jeton), et comparée à la réponse faite à un navigateur : servi, refusé, page de vérification ou débit limité. | Le traitement du vrai robot, souvent reconnu à ses adresses IP. |
| Sitemap et llms.txt | Présence et accessibilité. | Un effet de llms.txt : aucun grand moteur ne déclare le lire. |
Méthodologie
Comment l'analyse se déroule
- 01Lecture de l'accueil par une requête de navigateur, qui fixe l'origine réelle du site (redirections suivies, chaque saut revérifié).
- 02Lecture de robots.txt de cette origine (500 Kio au plus, minimum imposé par la RFC 9309).
- 03Lecture des pages demandées par une requête de navigateur.
- 04Lecture de l'accueil au nom de chaque robot du registre, une requête par User-Agent : chaîne publiée par l'exploitant, ou construite sur son jeton quand il n'en publie pas ; un robot qui explore avec la chaîne d'un autre en reprend la réponse ; les jetons de contrôle, qui n'explorent pas, ne sont pas testés.
- 05Réponse de chaque robot comparée à celle du navigateur : servi, refusé (code 4xx), page de vérification, débit limité (429, non concluant), à vérifier (erreur, redirection vers une autre page, réponse très courte).
- 06Pour chaque robot du registre : règle robots.txt retenue (la plus longue, Allow à égalité), par adresse ; directives meta et X-Robots-Tag qui le visent.
- 07Sitemap déclaré ou à l'adresse habituelle, et llms.txt : présence seulement.
Règles appliquées
- Groupes visant le même jeton fusionnés ; un robot non nommé suit le groupe *, sans groupe * il est autorisé (RFC 9309).
- robots.txt en 4xx : tout autorisé ; en 5xx : tout interdit (RFC 9309, 2.3.1.3 et 2.3.1.4).
- Un robot n'est jamais confondu avec son exploitant : chaque jeton a sa fonction (recherche, entraînement, agent utilisateur, jeton de contrôle) et sa source.
- noindex et nosnippet ne sont comptés que pour les robots de recherche ; pour les autres ils sont relevés sans effet déduit.
Formules publiées
- Robots de recherche autorisés sur l'accueil
- autorisés ÷ robots de fonction recherche du registre
- Pages indexables
- pages sans noindex visant tous les robots ÷ pages lues
- Robots servis
- robots servis comme un navigateur ÷ robots testés avec un résultat net
Limites
- Une autorisation dans robots.txt ne prouve pas que le robot explore votre site ; seuls vos journaux serveur le montrent.
- Un blocage ne garantit pas l'absence de découverte : une page interdite peut rester connue par des liens externes, et certains agents déclenchés par un utilisateur ne suivent pas robots.txt selon leur exploitant.
- Les requêtes « au nom » d'un robot portent seulement son User-Agent : elles partent d'un serveur d'Evocia, pas des adresses IP du robot, qu'un pare-feu peut traiter autrement, dans un sens comme dans l'autre.
- Les robots sont testés sur l'accueil seulement, à quelques centaines de millisecondes d'intervalle : un serveur qui limite le débit peut répondre 429, et ces robots restent alors à vérifier.
- Les rôles des robots viennent des documentations de leurs exploitants (registre 2026-11-12) ; ils changent sans préavis : en cas de doute, la documentation de l'exploitant prime.
- Le texte des pages est lu sans exécuter JavaScript.
- Les pages lues sont conservées 30 jours comme preuves de l'analyse, puis seule leur empreinte reste ; le rapport est supprimé au bout de 90 jours.
Pour comprendre : robots.txt, sitemap.xml et llms.txt : le guide ; Savoir si les IA lisent votre site.
Ce que l'on nous demande avant de commencer
Pourquoi distinguer recherche, entraînement et agents utilisateurs ?
Parce que les exploitants les distinguent : bloquer GPTBot (entraînement) ne retire pas votre site de la recherche de ChatGPT, qui passe par OAI-SearchBot. Chaque ligne du résultat donne la fonction déclarée et la page officielle qui la documente.
Un robot autorisé lit-il forcément mon site ?
Non. Une autorisation est une déclaration ; un pare-feu peut refuser le robot, et rien n'oblige un robot à passer. Inversement, une page interdite peut rester connue par des liens externes, et certains agents déclenchés par un utilisateur indiquent ne pas suivre robots.txt.
D'où vient la liste des robots ?
Des seules documentations officielles des exploitants, relues le 12 novembre 2026. Un robot sans page officielle n'y figure pas. Le registre est versionné ; chaque analyse garde la version utilisée.
Les autres outils Evocia Tools
- Visibilité IAVotre marque est-elle citée dans les réponses des IA ?En préparation
- Audit SEO, GEO et AEOCe que les moteurs de recherche et les moteurs de réponse IA trouvent sur votre site.
- Comparateur IAVous et vos concurrents, sur les mêmes questions et les mêmes modèles.En préparation
- Schema et citationsVos données structurées sont-elles valides, éligibles et cohérentes avec vos pages ?
- Questions IALes questions que vos acheteurs peuvent poser aux IA, à partir de votre site.
Accessibles, et ensuite ?
Être lisible ne dit pas si les IA vous citent. Le test de visibilité IA pose des questions d'acheteurs de votre catégorie aux moteurs, plusieurs fois.