robots.txt, sitemap.xml et llms.txt : différences, rôles et bonnes pratiques en 2026
Trois fichiers se partagent la racine des sites web et la confusion des débats : robots.txt, sitemap.xml et llms.txt. Tous trois s'adressent à des machines, tous trois sont de simples fichiers texte, et c'est à peu près tout ce qu'ils ont en commun : ils n'ont ni le même rôle, ni le même statut, ni le même niveau d'adoption.
La réponse courte tient en trois lignes. robots.txt dit aux robots ce qu'ils ne doivent pas explorer : c'est un standard de l'IETF (RFC 9309) que les grands robots déclarent respecter. sitemap.xml déclare aux moteurs les URLs à découvrir : c'est un protocole commun de 2006 que Google et Bing consomment réellement. llms.txt propose aux modèles de langage une sélection de contenus : c'est une proposition de 2024 qu'aucun grand système ne documente utiliser. Les trois sont complémentaires dans leur intention ; ils ne jouent pas dans la même catégorie dans les faits.
Ce guide démonte chaque fichier : la syntaxe qui compte, la nuance qui piège même des professionnels (bloquer le crawl n'empêche pas l'indexation), ce que les robots des IA respectent, ce que les moteurs font vraiment d'un sitemap, et la place exacte de chaque fichier dans une stratégie SEO et GEO, preuves à l'appui. Chaque affirmation sensible est datée et sourcée ; ce qui n'est pas démontré est dit tel quel.
L'essentiel en 60 secondes
- robots.txt exclut, sitemap.xml déclare, llms.txt propose : le premier est un standard IETF que les robots sérieux respectent, le deuxième un protocole que les moteurs consomment, le troisième une proposition qu'aucun grand système ne documente lire.
- La nuance qui piège tout le monde : une page bloquée par robots.txt peut quand même être indexée, et le blocage empêche précisément Google de voir un noindex. Pour désindexer, il faut retirer le blocage ET poser le noindex.
- sitemap.xml aide la découverte sans rien garantir : Google le qualifie de simple indice, ignore priority et changefreq, et n'utilise lastmod que s'il est constamment exact.
- Les points de ping sitemap sont morts : Bing en mai 2022, Google fin 2023. En 2026, la soumission passe par la Search Console, le robots.txt et, côté Bing, IndexNow.
- llms.txt reste sans consommateur documenté au 10 août 2026 : Google déclare l'ignorer, les autres éditeurs se taisent, les journaux serveur sont quasi vides et les corrélations avec les citations sont nulles.
- Priorités pratiques : un robots.txt propre et un sitemap exact sont des fondamentaux pour tout site ; llms.txt est une option à bas coût pour certains profils, jamais un levier démontré.
Quelle différence entre robots.txt, sitemap.xml et llms.txt ? Le tableau comparatif
En bref
Le tableau ci-dessous condense tout ce qui sépare les trois fichiers : fonction, format, statut, adoption, et ce qu'ils influencent réellement dans la chaîne crawl, indexation, classement, visibilité IA. C'est la pièce à garder sous la main.
| Critère | robots.txt | sitemap.xml | llms.txt |
|---|---|---|---|
| Fonction principale | Exclure des zones du crawl | Déclarer les URLs à découvrir | Proposer une sélection de contenus aux modèles |
| Format | Texte brut, directives ligne à ligne | XML (protocole Sitemaps 0.9) | Markdown structuré |
| Public cible | Tous les robots d'exploration | Moteurs de recherche | Modèles de langage et agents |
| Standard officiel | Oui : RFC 9309 (IETF, sept. 2022) | Protocole commun de 2006 (licence Creative Commons), pas une RFC | Non : proposition individuelle (sept. 2024) |
| Adoption par les machines | Quasi universelle chez les robots déclarés | Consommé par Google, Bing et d'autres moteurs | Aucun grand système ne documente le lire |
| Influence le crawl | Oui, directement (exclusion) | Oui, indirectement (découverte, fraîcheur déclarée) | Non démontré |
| Influence l'indexation | Indirecte et contre-intuitive : bloquer n'empêche pas d'indexer | Aide la découverte, ne garantit rien | Non démontré |
| Influence le classement | Non (outil de gestion du crawl) | Non (outil de découverte) | Non démontré |
| Utilité pour les IA | Réelle : contrôle des robots d'entraînement et de recherche IA | Documentée chez Bing (alimente Copilot) ; non documentée chez les autres | Théorique ; usage manuel par des agents uniquement |
| Obligatoire | Non (absence = tout est autorisé) | Non (utile selon le profil du site) | Non |
| Emplacement | /robots.txt (racine, un par origine) | Libre, déclaré via robots.txt ou Search Console ; racine recommandée | /llms.txt (racine, par convention) |
| Maintenance | À chaque évolution des zones à exclure | Synchronisation continue avec les URLs réelles | Revue périodique si publié |
Comparaison vérifiée sur les sources primaires au 10 août 2026. La ligne décisive est celle de l'adoption : un standard respecté, un protocole consommé, une proposition sans consommateur documenté.
robots.txt : la syntaxe qui compte vraiment
En bref
Un robots.txt est une suite de groupes : une ou plusieurs lignes User-agent, suivies de règles Allow et Disallow. Les règles décisives : un robot n'obéit qu'au groupe le plus spécifique qui le désigne ; en cas de conflit entre règles, c'est le chemin le plus long qui gagne, et à égalité, Allow l'emporte ; les jokers * et $ sont normalisés ; les chemins sont sensibles à la casse.
# robots.txt commente (exemple realiste)
# Un fichier par origine (protocole + hote + port), a la racine.
# Groupe par defaut : tous les robots
User-agent: *
# Bloquer les recherches internes et les paniers (crawl inutile)
Disallow: /recherche
Disallow: /panier
# Exception : une page precise reste autorisee
# (chemin plus long = prioritaire sur le Disallow ci-dessus)
Allow: /recherche/aide
# Groupe specifique : ce robot n'obeit QU'A ce groupe,
# il ignore le groupe * ci-dessus
User-agent: GPTBot
Disallow: /
# Jokers normalises : * = toute sequence, $ = fin d'URL
User-agent: *
Disallow: /*.pdf$
# Declaration de sitemap (extension prevue par la RFC,
# independante des groupes, URL absolue obligatoire)
Sitemap: https://www.exemple.fr/sitemap.xml- Un fichier par origine : le robots.txt de www.exemple.fr ne couvre ni blog.exemple.fr ni le port 8443 ; chaque combinaison protocole, hôte et port a le sien.
- Le groupe le plus spécifique gagne, et lui seul : si un groupe « User-agent: GPTBot » existe, GPTBot ignore intégralement le groupe « * ». Oublier de répliquer les règles générales dans un groupe nommé est l'erreur classique.
- Chemin le plus long prioritaire : la règle du « longest match » se compte en octets ; à égalité parfaite entre Allow et Disallow, la RFC recommande de retenir Allow.
- Casse : les noms de champs sont insensibles à la casse, les chemins y sont sensibles : /Photo et /photo sont deux règles différentes.
- UTF-8 obligatoire, lignes invalides ignorées : un fichier partiellement cassé ne devient pas invalide, ses lignes fautives sont simplement sautées.
La nuance clé : bloquer le crawl n'empêche pas l'indexation
En bref
Non, robots.txt n'empêche pas l'indexation. Google le documente sans ambiguïté : une URL bloquée peut apparaître dans les résultats si d'autres pages la lient, sans description, avec le statut « indexée malgré le blocage ». Pire : le blocage empêche Google de voir une éventuelle balise noindex. Pour désindexer une page, il faut donc la laisser crawlable ET poser le noindex.
Les verbatims Google, traduits : robots.txt sert « principalement à éviter de surcharger votre site de requêtes ; ce n'est pas un mécanisme pour garder une page web hors de Google ». Et le piège circulaire est explicite : « utiliser une règle robots.txt n'est pas recommandé pour bloquer une page, et empêchera concrètement le noindex d'être vu par Google ». La procédure officielle de désindexation : retirer le blocage robots.txt, puis utiliser noindex (balise meta ou en-tête HTTP), ou protéger la page par mot de passe.
| Objectif | Bon outil | Mauvais outil et pourquoi |
|---|---|---|
| Empêcher l'exploration (économiser serveur et crawl) | Disallow dans robots.txt | noindex : Google doit crawler la page pour le voir, le crawl est donc consommé |
| Empêcher l'indexation (sortir des résultats) | noindex, page crawlable ; ou protection par mot de passe | Disallow : la page peut rester indexée via des liens, et le noindex devient invisible |
| Protéger un contenu confidentiel | Authentification côté serveur | robots.txt : fichier public qui révèle les chemins qu'il prétend protéger |
Trois objectifs, trois outils. Disallow et noindex sont opposés selon le but : le premier économise le crawl sans désindexer, le second désindexe en consommant du crawl. La RFC 9309 elle-même rappelle que lister des chemins dans robots.txt les expose publiquement.
robots.txt et les robots des IA : ce qui est contrôlable
En bref
robots.txt est aujourd'hui le principal levier de contrôle des robots d'IA, et il fonctionne par fonction : les robots d'entraînement, d'index de recherche et de requête utilisateur se contrôlent séparément, avec des conséquences très différentes. Tous les grands éditeurs documentent leurs jetons ; seuls les robots déclenchés par un utilisateur s'affranchissent parfois des règles.
| Entreprise | Jeton robots.txt | Finalité documentée | Respect déclaré |
|---|---|---|---|
| OpenAI | GPTBot / OAI-SearchBot / ChatGPT-User | Entraînement / recherche ChatGPT / requête utilisateur | Oui / Oui / « peut ne pas s'appliquer » |
| Anthropic | ClaudeBot / Claude-SearchBot / Claude-User | Entraînement / recherche / requête utilisateur | Oui, déclaré pour les trois |
| Googlebot / Google-Extended | Search et ses fonctions IA / entraînement et ancrage Gemini | Oui ; Google-Extended est un jeton de contrôle, pas un robot | |
| Microsoft | Bingbot (+ balises nocache, noarchive) | Index Bing, qui alimente Copilot | Oui |
| Perplexity | PerplexityBot / Perplexity-User | Index de recherche / requête utilisateur | Autorisation recommandée, respect non affirmé / « ignore généralement robots.txt » |
| Mistral | MistralAI-Training / -Index / -User | Entraînement / index de recherche / requête utilisateur | Contrôle par robots.txt documenté pour les trois |
| Common Crawl | CCBot | Corpus public réutilisé pour l'entraînement | Blocage par robots.txt documenté |
Robots des IA contrôlables via robots.txt, d'après les documentations officielles des éditeurs, vérifiées les 8 et 10 août 2026, revérifiées le 5 octobre 2026 pour Perplexity. Rappel des pièges : bloquer GPTBot ne retire pas de ChatGPT Search, et Google-Extended n'affecte ni Search ni les AI Overviews.
Bloquer un robot n'a pas le même effet selon sa fonction (entraînement, index de recherche, récupération à la demande d'un utilisateur) : le mécanisme, robot par robot, est expliqué dans comment fonctionnent les moteurs génératifs, et les vérifications d'accès dans comment savoir si les IA lisent votre site. Retenez la règle stratégique : pour être visible dans les réponses des IA, ce sont les robots d'index de recherche qu'il faut laisser passer ; la décision sur les robots d'entraînement est un arbitrage distinct. Le cas de Perplexity, dont l'agent déclenché par un utilisateur ignore généralement robots.txt, est détaillé dans comment être visible dans Perplexity.
Ce que les moteurs font vraiment de votre sitemap
En bref
Google est explicite : la soumission d'un sitemap est « un simple indice », sans garantie de crawl ni d'indexation ; priority et changefreq sont ignorés ; lastmod n'est utilisé que s'il est constamment et vérifiablement exact ; et les URLs listées ne sont qu'une suggestion faible de canonique. Bing, lui, fait de lastmod un signal central de sa planification de crawl, et l'a relié en 2025 à ses réponses IA.
Côté Bing, les chiffres publiés par Fabrice Canel (février 2023) donnent la mesure du problème de qualité : 84 % des sitemaps portent un lastmod, mais seuls 79 % de ces lastmod sont corrects ; le défaut numéro un est la même date sur toutes les URLs, symptôme d'une génération automatique qui date le fichier au lieu de dater les contenus. La consigne officielle des deux moteurs converge : lastmod doit refléter la dernière modification significative du contenu de la page, pas la régénération du sitemap.
Le lien avec la visibilité IA existe, et il est chez Bing : le billet officiel de juillet 2025 (« Keeping Content Discoverable with Sitemaps in AI-Powered Search ») décrit les sitemaps comme un signal fondamental de couverture, et affirme que les signaux de fraîcheur « influencent directement la vitesse à laquelle les mises à jour se reflètent dans les résultats de recherche et les réponses générées par l'IA ». Doctrine Microsoft : sitemaps pour la couverture exhaustive, IndexNow pour la notification temps réel. C'est, au 10 août 2026, le seul lien documenté entre l'un des trois fichiers de ce guide et des réponses d'IA.
Attention
En sens inverse, un point d'honnêteté que presque aucun guide ne signale : aucune documentation officielle d'OpenAI, d'Anthropic ou de Perplexity n'atteste que leurs robots lisent sitemap.xml. C'est plausible (le fichier est le standard de découverte du web), mais non documenté : nous le classons comme hypothèse raisonnable, pas comme fait.
llms.txt : ce qu'il est, ce qu'on en sait au 10 août 2026
En bref
llms.txt est une proposition de septembre 2024 (Jeremy Howard, Answer.AI) : un fichier markdown à la racine listant les contenus importants d'un site pour les modèles de langage. Ce n'est pas un standard, et au 10 août 2026, aucun grand système d'IA ne documente le consommer : Google déclare l'ignorer, les autres éditeurs se taisent, les journaux serveur sont quasi vides, les corrélations avec les citations sont nulles.
# Nom du site
> Une phrase qui dit ce qu'est le site, pour qui,
> et ce qu'on y trouve d'important.
## Offre
- [Fonctionnalites](https://exemple.fr/fonctionnalites): ce que
fait le produit, module par module
- [Tarifs](https://exemple.fr/tarifs): offres et conditions
## Optional
- [Blog](https://exemple.fr/blog): analyses datees, secondaires| Système | Consomme llms.txt ? | Niveau de preuve |
|---|---|---|
| Google Search, AI Overviews, AI Mode | Non : « Google Search les ignore » (doc officielle) | Confirmé officiellement |
| ChatGPT / OpenAI | Non documenté ; publie le sien, ce qui ne prouve rien | Aucune preuve suffisante |
| Claude / Anthropic | Non documenté ; publie le sien massivement | Aucune preuve suffisante |
| Perplexity | Non documenté ; zéro requête de son robot sur un panel de 12 semaines | Aucune preuve suffisante |
| Copilot / Microsoft | Non documenté ; silence total | Aucune preuve suffisante |
| Agents de code | Lecture manuelle uniquement, quand l'utilisateur fournit le fichier | Observé mais non confirmé |
L'état du support au 10 août 2026, résumé. La distinction décisive : plusieurs éditeurs d'IA publient un llms.txt pour leur propre documentation ; aucun ne documente lire ceux des autres. Publier n'est pas consommer.
Le dossier complet (spécification exacte, chronologie des positions de Google, cinq analyses de journaux serveur, en-tête noindex, priorité par type de site) est dans le guide llms.txt. Verdict transposé ici : créer un llms.txt est une option à coût quasi nul pour certains profils (documentation développeur surtout), jamais un levier de visibilité démontré, et toujours le dernier chantier d'une liste de priorités.
Mettre en place les trois fichiers : le tutoriel
En bref
L'implémentation propre tient en quelques règles par fichier : robots.txt à la racine de chaque origine, testé avant publication, avec des groupes explicites par robot ; sitemap.xml généré depuis la source de vérité des URLs, avec un lastmod qui date les contenus et non le fichier ; llms.txt curé à la main si vous le créez, servi avec un en-tête noindex.
- 1robots.txt, emplacement et test : un fichier par origine (https, www et sous-domaines compris), accessible en 200 à /robots.txt. Avant publication, testez vos règles (rapport robots.txt de la Search Console, testeur de Bing Webmaster Tools, analyseur open source de Google) : l'ancien testeur Google a été retiré fin 2023, le rapport actuel ne teste pas une règle avant mise en ligne, d'où l'intérêt de l'analyseur.
- 2robots.txt, contenu : bloquez les zones sans valeur de crawl (recherche interne, paniers, paramètres de session), répliquez les règles générales dans chaque groupe nommé (un robot nommé ignore le groupe étoile), déclarez vos sitemaps. N'y mettez jamais un chemin confidentiel : le fichier est public.
- 3sitemap.xml, génération : générez-le depuis la même source que vos pages (votre CMS ou votre build), jamais à la main sur un site vivant. N'y listez que des URLs canoniques, en 200, indexables : ni redirections, ni 404, ni pages en noindex (le rapport Search Console signale ces contradictions).
- 4sitemap.xml, lastmod : datez la dernière modification significative du contenu, pas la régénération du fichier ; une date identique partout est le défaut le plus répandu et fait ignorer votre lastmod. Format date seule accepté, date et heure ISO 8601 recommandé par Bing.
- 5sitemap.xml, déclaration : ligne Sitemap: dans robots.txt (URL absolue), soumission dans la Search Console et Bing Webmaster Tools, puis surveillance des erreurs dans leurs rapports. N'attendez rien des anciens pings : ils sont morts.
- 6llms.txt, si vous le créez : markdown conforme à la proposition (H1, résumé, sections de liens commentés), sélection curée de cinq à trente pages, descriptions factuelles, section Optional pour le secondaire, en-tête HTTP X-Robots-Tag noindex pour éviter l'indexation parasite, et revue trimestrielle. Le tutoriel détaillé est dans notre guide llms.txt.
Vous voulez savoir ce que votre robots.txt autorise, agent par agent, et quelles sources les moteurs citent sur trois questions de votre catégorie ? Le test gratuit d'Evocia fait les deux, sans promesse de citation.
Tester ma visibilité IALimites et zones d'ombre
En bref
Trois inconnues honnêtes bornent ce guide : la lecture de sitemap.xml par les robots des IA hors Bing n'est pas documentée ; le respect effectif de robots.txt par tous les acteurs ne se vérifie que dans vos journaux ; et le statut de llms.txt peut changer du jour au lendemain si une plateforme majeure l'adopte. Les documentations citées font foi, à leur date.
- Sitemaps et robots d'IA : aucune documentation d'OpenAI, d'Anthropic ou de Perplexity n'atteste que leurs robots consomment sitemap.xml ; seul Bing documente la chaîne sitemap vers réponses IA. Traitez « les IA lisent mon sitemap » comme une hypothèse raisonnable, pas comme un fait.
- Respect réel de robots.txt : le protocole est déclaratif ; les grands éditeurs déclarent le respecter, des acteurs indélicats l'ignorent, et des robots déclenchés par l'utilisateur s'en affranchissent par conception chez certains. Vos journaux serveur, croisés avec les plages d'adresses IP officielles, sont le seul juge de paix : la marche à suivre, niveau par niveau, est dans comment savoir si les IA lisent votre site.
- Évolutivité : la RFC 9309 et le protocole Sitemaps sont stables ; tout ce qui touche aux IA (jetons, finalités, llms.txt) bouge en permanence. Les faits de ce guide sont datés du 10 août 2026 ; en cas de doute, la source primaire liée prime sur notre résumé.
Le rôle de chaque robot dans la chaîne d'un moteur génératif est expliqué dans comment fonctionnent les moteurs génératifs.
Questions fréquentes
Quelle est la différence entre robots.txt et sitemap.xml ?
Ils sont opposés et complémentaires : robots.txt est un fichier d'exclusion (il dit aux robots ce qu'ils ne doivent pas explorer), sitemap.xml est un fichier d'inclusion (il déclare aux moteurs les URLs à découvrir, avec leur date de modification). Le premier est un standard IETF (RFC 9309) respecté par les robots sérieux ; le second un protocole commun de 2006 réellement consommé par Google et Bing. Un site sérieux a généralement les deux, et le robots.txt déclare l'emplacement du sitemap.
Quelle est la différence entre robots.txt et llms.txt ?
Tout, sauf l'emplacement à la racine. robots.txt contrôle l'accès au crawl : standardisé, respecté, avec un pouvoir d'exclusion réel sur les robots déclarés, y compris ceux des IA. llms.txt n'a aucun pouvoir de blocage : c'est une liste de suggestions de lecture pour les modèles de langage, proposée en 2024, qu'aucun grand système ne documente consulter au 10 août 2026. Croire que llms.txt protège votre contenu des IA est un contresens : ce rôle appartient à robots.txt et à ses jetons dédiés.
Quelle est la différence entre sitemap.xml et llms.txt ?
Le sitemap est un inventaire exhaustif d'URLs au format XML, consommé de façon documentée par les moteurs pour la découverte ; llms.txt est une sélection éditoriale courte au format markdown, avec descriptions, destinée aux modèles de langage, sans consommateur documenté. Le sitemap dit « voici tout ce qui existe et quand ça a changé » ; llms.txt dit « voici ce qui compte et pourquoi ». L'un est un canal de travail réel, l'autre une proposition en attente d'adoption.
Faut-il avoir les trois fichiers ?
robots.txt : oui pour pratiquement tout site, ne serait-ce que pour décider consciemment du sort des robots d'IA et exclure les zones sans valeur de crawl. sitemap.xml : oui dès que le site dépasse quelques centaines de pages, publie régulièrement ou vit de médias ; facultatif pour un petit site bien maillé. llms.txt : purement optionnel ; pertinent surtout pour une documentation technique utilisée avec des agents de code, expérimental partout ailleurs. Aucun des trois n'est obligatoire au sens strict.
llms.txt est-il obligatoire ?
Non, en aucune façon. Aucun moteur, aucun assistant, aucun standard ne l'exige, et son absence n'a aucune conséquence documentée : Google déclare explicitement que ce type de fichier n'est pas nécessaire pour apparaître dans Search, fonctionnalités d'IA comprises. Si un outil d'audit vous le signale comme manquant, il mesure la conformité à une convention émergente, pas un impact.
Google utilise-t-il llms.txt ?
Non, et c'est documenté officiellement : le guide d'optimisation IA de Google Search Central indique qu'aucun fichier lisible par machine n'est nécessaire, que Google Search ne les utilise pas et les ignore, sans bénéfice ni pénalité. John Mueller a comparé le fichier à l'ancienne balise meta keywords. Seule nuance : la documentation de Chrome le mentionne comme convention émergente pour les agents de navigation, une contradiction interne que Google assume, mais qui ne concerne pas Search.
Sources
- IETF, RFC 9309 : Robots Exclusion Protocol (septembre 2022, Proposed Standard)
- Google, formalisation du Robots Exclusion Protocol (juillet 2019, historique Koster 1994)
- Google, fonctionnement et interprétation de robots.txt (syntaxe, erreurs, cache, 500 Kio)
- Google, introduction à robots.txt (« pas un mécanisme pour garder une page hors de Google »)
- Google, rapport d'indexation des pages (statut « indexée malgré le blocage », piège du noindex invisible)
- Google, bloquer l'indexation avec noindex (la page doit rester crawlable)
- Google, abandon des règles non supportées de robots.txt dont noindex (juillet 2019)
- Google, rapport robots.txt de la Search Console (remplaçant du testeur retiré fin 2023)
- Bing, prise en charge de la directive Crawl-delay (2012)
- sitemaps.org, spécification du protocole Sitemaps 0.90 (structure, limites, licence)
- Google, annonce commune Sitemaps 0.90 avec Yahoo et Microsoft (16 novembre 2006)
- Google, construire et soumettre un sitemap (lastmod conditionnel, priority et changefreq ignorés)
- Google, à quoi sert un sitemap et qui en a besoin (découverte sans garantie)
- Google, dépréciation du ping sitemap et bonnes pratiques lastmod (juin 2023)
- Bing, fermeture de la soumission anonyme de sitemaps (mai 2022, bascule vers IndexNow)
- Bing, l'importance du lastmod dans les sitemaps (Fabrice Canel, février 2023, statistiques de qualité)
- Bing, sitemaps et découvrabilité dans la recherche augmentée par l'IA (juillet 2025)
- IndexNow, protocole de notification temps réel (Bing et partenaires)
- llmstxt.org, la proposition llms.txt (Jeremy Howard, septembre 2024)
- Google, guide d'optimisation pour l'IA générative (aucun fichier spécial requis, llms.txt ignoré)
- OpenAI, documentation officielle des robots (GPTBot, OAI-SearchBot, ChatGPT-User)
- Anthropic, documentation officielle des robots (ClaudeBot, Claude-SearchBot, Claude-User)
- Perplexity, documentation officielle des robots (PerplexityBot, Perplexity-User)
- Mistral AI, robots MistralAI-User, MistralAI-Index et MistralAI-Training (contrôle par robots.txt), consultée le 5 octobre 2026
- Common Crawl, CCBot (blocage par robots.txt), consultée le 5 octobre 2026
- Google, crawlers communs et jeton Google-Extended
Transparence et méthode
Auteur
Evocia · Cabinet français de visibilité dans les IA
Evocia est un cabinet français spécialisé dans la mesure et l'amélioration de la visibilité des éditeurs de SaaS B2B dans les réponses des IA. Ce guide comparatif a été construit sur les spécifications et documentations primaires, vérifiées au 10 août 2026, avec une règle constante : le statut réel de chaque fichier prime sur sa popularité dans les conversations.
Comment cet article a été réalisé
- Toutes les spécifications et documentations citées (RFC 9309, sitemaps.org, Google Search Central, blogs officiels Bing, documentations des robots d'OpenAI, Anthropic, Perplexity, Mistral, proposition llms.txt) ont été consultées sur leurs sources primaires le 10 août 2026 ; les affirmations porteuses ont fait l'objet d'une vérification contradictoire.
- Distinction systématique entre les niveaux d'exigence des standards (MUST et SHOULD de la RFC 9309), les comportements documentés par chaque moteur, les pratiques convergentes non normées et les hypothèses non démontrées ; les citations anglaises sont traduites et datées.
- Les sections llms.txt et robots des IA résument des dossiers complets publiés séparément et vérifiés les 8 et 9 août 2026, avec renvois ; aucune statistique inventée, aucun effet non démontré présenté comme acquis, aucune promesse de citation.
Historique des mises à jour
- 5 octobre 2026Retouche d'exactitude. La documentation de Perplexity, relue le 5 octobre 2026, recommande d'autoriser PerplexityBot sans affirmer qu'il respecte robots.txt : le tableau des robots le dit désormais ainsi. Les lignes Mistral et Common Crawl décrivent ce que leurs documentations établissent (un contrôle par robots.txt), sources ajoutées. La première section porte la question « Quelle différence entre robots.txt, sitemap.xml et llms.txt ? ». Le renvoi vers le guide llms.txt n'annonce plus que ce que ce guide contient encore. Les vérifications d'accès renvoient au guide dédié, comment savoir si les IA lisent votre site, ajouté aux lectures conseillées, et l'appel à l'action propose le test gratuit, qui lit votre robots.txt agent par agent.
- 1er octobre 2026Lien sortant ajouté vers l'article de vérification « comment savoir si les IA lisent votre site », dans la limite sur le respect réel de robots.txt.
- 21 septembre 2026Correction d'un défaut visible : la première phrase de l'introduction commençait par un fragment de phrase hérité d'une coupe. Cohérence avec le contenu réel : le chapô, la description et l'introduction ne promettent plus la matrice, l'arbre de décision, les checklists et le cas de l'erreur 500 retirés les 12 et 13 septembre ; le renvoi vers une « table de vérité » que le guide sur la structure ne contient plus pointe vers le socle sur les moteurs génératifs ; ancre vers le guide llms.txt neutralisée ; « à lire aussi » remplace le guide ChatGPT Ads par le socle sur les moteurs.
- 13 septembre 2026Bloc « l'essentiel » ramené à six points, appel à l'action ajouté.
- 13 septembre 2026Raccourci de 24 à une vingtaine de minutes : retrait des limites techniques de robots.txt, de l'historique du protocole sitemap, de la matrice des preuves (redondante avec les sections par fichier) et des erreurs fréquentes (reprises dans le tutoriel).
- 13 septembre 2026Refonte éditoriale : introduction qui répond d'abord (mention datée retirée), renvoi vers le socle sur les moteurs génératifs et le guide « comment apparaître dans ChatGPT ».
- 12 septembre 2026Réduction éditoriale (qualité avant longueur, refonte de septembre 2026) : environ 48 minutes auparavant. Retirés : le résumé en bref, l'historique, la question de l'effet SEO du sitemap, la soumission, la réponse par type de site, l'arbre de décision, les checklists, les points clés et la conclusion. Conservés : le tableau comparatif central, la syntaxe et les limites du robots.txt, la nuance crawl contre indexation, les robots des IA, le protocole sitemap et ce que les moteurs en font, llms.txt, la matrice des preuves, le tutoriel, les erreurs fréquentes et les limites. Aucune source retirée ; la FAQ est ramenée aux questions les plus recherchées.
- 10 août 2026Publication initiale : réponse courte et formule (exclut, déclare, propose), tableau comparatif central en douze critères, robots.txt en profondeur (histoire 1994 et RFC 9309, syntaxe et exemple commenté, limites techniques et comportements d'erreur, nuance crawl contre indexation et piège du noindex invisible, sécurité, robots des IA), sitemap.xml en profondeur (histoire 2005-2006, structure et exemple valide, ce que les moteurs en font, lastmod et statistiques Bing, lien documenté avec les réponses IA de Bing, mort des pings et canaux 2026), llms.txt résumé avec renvoi au guide dédié, scénarios par type de site, matrice SEO et GEO par niveau de preuve, ce qui compte davantage que llms.txt, arbre de décision, tutoriel d'implémentation, onze erreurs fréquentes, quatre checklists, limites et FAQ de 18 questions.