SEO et IA
robots.txt, sitemap.xml et llms.txt : différences, rôles et bonnes pratiques en 2026
Publié le 10 août 2026, vérifié sur les sources primaires (RFC, documentations Google, Bing, sitemaps.org, éditeurs d'IA) à cette date. Trois fichiers se partagent la racine des sites web et la confusion des débats : robots.txt, sitemap.xml et llms.txt. Tous trois s'adressent à des machines, tous trois sont de simples fichiers texte, et c'est à peu près tout ce qu'ils ont en commun : ils n'ont ni le même rôle, ni le même statut, ni le même niveau d'adoption.
La réponse courte tient en trois lignes. robots.txt dit aux robots ce qu'ils ne doivent pas explorer : c'est un standard de l'IETF (RFC 9309) que les grands robots déclarent respecter. sitemap.xml déclare aux moteurs les URLs à découvrir : c'est un protocole commun de 2006 que Google et Bing consomment réellement. llms.txt propose aux modèles de langage une sélection de contenus : c'est une proposition de 2024 qu'aucun grand système ne documente utiliser. Les trois sont complémentaires dans leur intention ; ils ne jouent pas dans la même catégorie dans les faits.
Ce guide démonte chaque fichier en profondeur : la syntaxe qui compte, les limites techniques que presque personne ne connaît (que se passe-t-il quand robots.txt renvoie une erreur 500 ?), la nuance qui piège même des professionnels (bloquer le crawl n'empêche pas l'indexation), ce que les robots des IA respectent, et la place exacte de chaque fichier dans une stratégie SEO et GEO, preuves à l'appui. Chaque affirmation sensible est datée et sourcée ; ce qui n'est pas démontré est dit tel quel.
L'essentiel en 60 secondes
- robots.txt exclut, sitemap.xml déclare, llms.txt propose : le premier est un standard IETF que les robots sérieux respectent, le deuxième un protocole que les moteurs consomment, le troisième une proposition qu'aucun grand système ne documente lire.
- robots.txt est devenu la RFC 9309 en septembre 2022, vingt-huit ans après sa création par Martijn Koster : règle du chemin le plus long, limite de 500 Kio, comportements d'erreur normalisés.
- La nuance qui piège tout le monde : une page bloquée par robots.txt peut quand même être indexée, et le blocage empêche précisément Google de voir un noindex. Pour désindexer, il faut retirer le blocage ET poser le noindex.
- robots.txt est public et n'est pas un contrôle d'accès : la RFC elle-même prévient que lister des chemins les expose. Ne protégez jamais un contenu sensible par ce fichier.
- sitemap.xml aide la découverte sans rien garantir : Google le qualifie de simple indice, ignore priority et changefreq, et n'utilise lastmod que s'il est constamment exact.
- Les points de ping sitemap sont morts : Bing en mai 2022, Google fin 2023. En 2026, la soumission passe par la Search Console, le robots.txt et, côté Bing, IndexNow.
- Bing a explicitement relié les sitemaps aux réponses générées par l'IA en juillet 2025 : la fraîcheur déclarée influence la vitesse de prise en compte dans Copilot. C'est le seul lien documenté entre un de ces fichiers et la visibilité IA.
- llms.txt reste sans consommateur documenté au 10 août 2026 : Google déclare l'ignorer, les autres éditeurs se taisent, les journaux serveur sont quasi vides et les corrélations avec les citations sont nulles.
- Aucune documentation officielle n'atteste que les robots d'OpenAI, d'Anthropic ou de Perplexity lisent sitemap.xml : le seul lien sitemap vers réponses IA documenté passe par Bing.
- Priorités pratiques : un robots.txt propre et un sitemap exact sont des fondamentaux pour tout site ; llms.txt est une option à bas coût pour certains profils, jamais un levier démontré.
La réponse en bref
En bref
robots.txt contrôle l'accès des robots au crawl : standard IETF, respecté par les grands moteurs et éditeurs d'IA. sitemap.xml déclare les URLs importantes pour la découverte : protocole commun, réellement consommé par Google et Bing, sans garantie d'indexation. llms.txt propose une sélection de contenus aux modèles de langage : proposition de 2024, sans consommateur documenté. Les trois sont complémentaires par conception ; seuls les deux premiers ont un effet démontré.
La formule à retenir
robots.txt exclut, sitemap.xml déclare, llms.txt propose. Le premier est un standard que les robots respectent, le deuxième un protocole que les moteurs consomment, le troisième une proposition que personne ne lit officiellement. Confondre leurs statuts, c'est prendre des décisions techniques sur de fausses prémisses.
Dernière vérification : 10 août 2026
Toutes les documentations et spécifications citées ont été consultées à cette date : RFC 9309, documentation robots.txt et sitemaps de Google Search Central, sitemaps.org, blogs officiels Bing, documentations des robots d'OpenAI, Anthropic, Perplexity et Mistral, spécification llms.txt. Les éléments susceptibles d'évoluer (prise en charge de llms.txt, robots des IA) sont explicitement datés.
Le tableau comparatif central
En bref
Le tableau ci-dessous condense tout ce qui sépare les trois fichiers : fonction, format, statut, adoption, et ce qu'ils influencent réellement dans la chaîne crawl, indexation, classement, visibilité IA. C'est la pièce à garder sous la main.
| Critère | robots.txt | sitemap.xml | llms.txt |
|---|---|---|---|
| Fonction principale | Exclure des zones du crawl | Déclarer les URLs à découvrir | Proposer une sélection de contenus aux modèles |
| Format | Texte brut, directives ligne à ligne | XML (protocole Sitemaps 0.9) | Markdown structuré |
| Public cible | Tous les robots d'exploration | Moteurs de recherche | Modèles de langage et agents |
| Standard officiel | Oui : RFC 9309 (IETF, sept. 2022) | Protocole commun de 2006 (licence Creative Commons), pas une RFC | Non : proposition individuelle (sept. 2024) |
| Adoption par les machines | Quasi universelle chez les robots déclarés | Consommé par Google, Bing et d'autres moteurs | Aucun grand système ne documente le lire |
| Influence le crawl | Oui, directement (exclusion) | Oui, indirectement (découverte, fraîcheur déclarée) | Non démontré |
| Influence l'indexation | Indirecte et contre-intuitive : bloquer n'empêche pas d'indexer | Aide la découverte, ne garantit rien | Non démontré |
| Influence le classement | Non (outil de gestion du crawl) | Non (outil de découverte) | Non démontré |
| Utilité pour les IA | Réelle : contrôle des robots d'entraînement et de recherche IA | Documentée chez Bing (alimente Copilot) ; non documentée chez les autres | Théorique ; usage manuel par des agents uniquement |
| Obligatoire | Non (absence = tout est autorisé) | Non (utile selon le profil du site) | Non |
| Emplacement | /robots.txt (racine, un par origine) | Libre, déclaré via robots.txt ou Search Console ; racine recommandée | /llms.txt (racine, par convention) |
| Maintenance | À chaque évolution des zones à exclure | Synchronisation continue avec les URLs réelles | Revue périodique si publié |
Comparaison vérifiée sur les sources primaires au 10 août 2026. La ligne décisive est celle de l'adoption : un standard respecté, un protocole consommé, une proposition sans consommateur documenté.
Trois fichiers, trois problèmes différents
En bref
Chaque fichier répond à un problème distinct de la relation entre un site et les machines. robots.txt répond à « qu'est-ce que les robots ne doivent pas explorer ? ». sitemap.xml répond à « quelles URLs existent et lesquelles ont changé ? ». llms.txt voudrait répondre à « que faut-il lire en priorité pour comprendre ce site ? ». Exclusion, déclaration, curation : trois couches qui ne se remplacent pas.
Une analogie exacte, à condition de ne pas la pousser trop loin : imaginez votre site comme un bâtiment ouvert au public. robots.txt est l'écriteau sur certaines portes : « les visiteurs professionnels sont priés de ne pas entrer ici » ; les visiteurs corrects le respectent, mais l'écriteau ne verrouille rien. sitemap.xml est le registre déposé à l'accueil : la liste des salles, avec la date de leur dernier réaménagement ; le personnel des moteurs le consulte réellement pour organiser ses visites. llms.txt est une brochure « ce qu'il faut voir » posée à côté du registre : bien faite, personne d'officiel ne la ramasse pour l'instant.
Cette différence de nature explique la hiérarchie des enjeux. Un robots.txt mal écrit peut rendre un site invisible (un Disallow de trop) ou laisser des robots gaspiller votre serveur. Un sitemap faux fait perdre du temps de découverte et brouille vos signaux. Un llms.txt absent ne change rien de mesurable. C'est pourquoi ce guide traite les trois avec une profondeur proportionnelle à leur impact réel, et non à leur popularité dans les conversations.
robots.txt : de la convention de 1994 à la RFC 9309
En bref
robots.txt est né en 1994, créé par Martijn Koster, webmaster excédé par des robots qui saturaient son serveur. Resté vingt-huit ans un standard de fait adopté par environ un demi-milliard de sites, il a été formalisé par l'IETF en septembre 2022 : la RFC 9309, co-signée par Koster et trois ingénieurs de Google, avec le statut de Proposed Standard.
La RFC 9309 précise dès son introduction que ces règles « ne sont pas une forme d'autorisation d'accès » : robots.txt est un protocole de politesse normalisé, pas une barrière. Elle normalise le langage du protocole, la gestion des erreurs et la mise en cache, et étend son champ à tout protocole de transfert fondé sur les URI. Google avait lancé la démarche de standardisation en juillet 2019, en publiant au passage son analyseur robots.txt en open source.
Pourquoi cette histoire compte pour le comparatif : sur les trois fichiers de ce guide, robots.txt est le seul passé par un organisme de normalisation. C'est ce qui autorise des affirmations fortes à son sujet (comportements obligatoires, notés MUST dans la RFC) qu'on ne peut faire ni pour sitemap.xml (protocole commun figé depuis 2006, sous licence Creative Commons, jamais soumis à l'IETF), ni pour llms.txt (proposition individuelle de 2024, sans aucune démarche de standardisation engagée).
robots.txt : la syntaxe qui compte vraiment
En bref
Un robots.txt est une suite de groupes : une ou plusieurs lignes User-agent, suivies de règles Allow et Disallow. Les règles décisives : un robot n'obéit qu'au groupe le plus spécifique qui le désigne ; en cas de conflit entre règles, c'est le chemin le plus long qui gagne, et à égalité, Allow l'emporte ; les jokers * et $ sont normalisés ; les chemins sont sensibles à la casse.
# robots.txt commente (exemple realiste)
# Un fichier par origine (protocole + hote + port), a la racine.
# Groupe par defaut : tous les robots
User-agent: *
# Bloquer les recherches internes et les paniers (crawl inutile)
Disallow: /recherche
Disallow: /panier
# Exception : une page precise reste autorisee
# (chemin plus long = prioritaire sur le Disallow ci-dessus)
Allow: /recherche/aide
# Groupe specifique : ce robot n'obeit QU'A ce groupe,
# il ignore le groupe * ci-dessus
User-agent: GPTBot
Disallow: /
# Jokers normalises : * = toute sequence, $ = fin d'URL
User-agent: *
Disallow: /*.pdf$
# Declaration de sitemap (extension prevue par la RFC,
# independante des groupes, URL absolue obligatoire)
Sitemap: https://www.exemple.fr/sitemap.xml- Un fichier par origine : le robots.txt de www.exemple.fr ne couvre ni blog.exemple.fr ni le port 8443 ; chaque combinaison protocole, hôte et port a le sien.
- Le groupe le plus spécifique gagne, et lui seul : si un groupe « User-agent: GPTBot » existe, GPTBot ignore intégralement le groupe « * ». Oublier de répliquer les règles générales dans un groupe nommé est l'erreur classique.
- Chemin le plus long prioritaire : la règle du « longest match » se compte en octets ; à égalité parfaite entre Allow et Disallow, la RFC recommande de retenir Allow.
- Casse : les noms de champs sont insensibles à la casse, les chemins y sont sensibles : /Photo et /photo sont deux règles différentes.
- UTF-8 obligatoire, lignes invalides ignorées : un fichier partiellement cassé ne devient pas invalide, ses lignes fautives sont simplement sautées.
robots.txt : les limites techniques que presque personne ne connaît
En bref
Quatre comportements normalisés méritent d'être connus : les robots ne sont tenus d'analyser que 500 Kio (Google tronque au-delà), un robots.txt en erreur 4xx vaut autorisation totale, une erreur 5xx vaut interdiction totale (avec une règle Google précise dans le temps), et le fichier est mis en cache jusqu'à 24 heures : vos modifications ne sont pas instantanées.
| Situation | Règle RFC 9309 | Comportement Google documenté |
|---|---|---|
| Fichier volumineux | Analyse obligatoire d'au moins 500 Kio | 500 Kio exactement : le contenu au-delà est ignoré (troncature, pas rejet) |
| robots.txt en 404 (ou tout 4xx) | Le robot peut tout explorer | Comme si le fichier n'existait pas : tout est autorisé, sauf le 429, traité en erreur serveur |
| robots.txt en erreur 5xx | Tout est interdit tant que l'erreur persiste | 12 premières heures : arrêt du crawl ; jusqu'à 30 jours : dernière version en cache ; au-delà, si le site répond par ailleurs : comme sans robots.txt |
| Redirections | Au moins 5 sauts suivis | Au-delà de 5 sauts : traité comme un 404 |
| Mise en cache | Pas plus de 24 h sauf fichier injoignable | Jusqu'à 24 h, ajustable par l'en-tête Cache-Control |
Les comportements d'erreur normalisés par la RFC 9309 et précisés par Google. Le plus contre-intuitif : une erreur 404 ouvre tout, une erreur 500 ferme tout. Un simple incident serveur sur ce fichier peut donc geler votre crawl.
Attention
Conséquence pratique du cache de 24 heures : après une correction de robots.txt, ne concluez rien avant le lendemain. Et conséquence de la règle 5xx : surveillez le code de réponse de votre robots.txt comme une page critique ; un 500 persistant sur ce seul fichier suspend l'exploration de tout le site pendant des heures.
La nuance clé : bloquer le crawl n'empêche pas l'indexation
En bref
Non, robots.txt n'empêche pas l'indexation. Google le documente sans ambiguïté : une URL bloquée peut apparaître dans les résultats si d'autres pages la lient, sans description, avec le statut « indexée malgré le blocage ». Pire : le blocage empêche Google de voir une éventuelle balise noindex. Pour désindexer une page, il faut donc la laisser crawlable ET poser le noindex.
Les verbatims Google, traduits : robots.txt sert « principalement à éviter de surcharger votre site de requêtes ; ce n'est pas un mécanisme pour garder une page web hors de Google ». Et le piège circulaire est explicite : « utiliser une règle robots.txt n'est pas recommandé pour bloquer une page, et empêchera concrètement le noindex d'être vu par Google ». La procédure officielle de désindexation : retirer le blocage robots.txt, puis utiliser noindex (balise meta ou en-tête HTTP), ou protéger la page par mot de passe.
| Objectif | Bon outil | Mauvais outil et pourquoi |
|---|---|---|
| Empêcher l'exploration (économiser serveur et crawl) | Disallow dans robots.txt | noindex : Google doit crawler la page pour le voir, le crawl est donc consommé |
| Empêcher l'indexation (sortir des résultats) | noindex, page crawlable ; ou protection par mot de passe | Disallow : la page peut rester indexée via des liens, et le noindex devient invisible |
| Protéger un contenu confidentiel | Authentification côté serveur | robots.txt : fichier public qui révèle les chemins qu'il prétend protéger |
Trois objectifs, trois outils. Disallow et noindex sont opposés selon le but : le premier économise le crawl sans désindexer, le second désindexe en consommant du crawl. La RFC 9309 elle-même rappelle que lister des chemins dans robots.txt les expose publiquement.
robots.txt et les robots des IA : ce qui est contrôlable
En bref
robots.txt est aujourd'hui le principal levier de contrôle des robots d'IA, et il fonctionne par fonction : les robots d'entraînement, d'index de recherche et de requête utilisateur se contrôlent séparément, avec des conséquences très différentes. Tous les grands éditeurs documentent leurs jetons ; seuls les robots déclenchés par un utilisateur s'affranchissent parfois des règles.
| Entreprise | Jeton robots.txt | Finalité documentée | Respect déclaré |
|---|---|---|---|
| OpenAI | GPTBot / OAI-SearchBot / ChatGPT-User | Entraînement / recherche ChatGPT / requête utilisateur | Oui / Oui / « peut ne pas s'appliquer » |
| Anthropic | ClaudeBot / Claude-SearchBot / Claude-User | Entraînement / recherche / requête utilisateur | Oui, déclaré pour les trois |
| Googlebot / Google-Extended | Search et ses fonctions IA / entraînement et ancrage Gemini | Oui ; Google-Extended est un jeton de contrôle, pas un robot | |
| Microsoft | Bingbot (+ balises nocache, noarchive) | Index Bing, qui alimente Copilot | Oui |
| Perplexity | PerplexityBot / Perplexity-User | Index de recherche / requête utilisateur | Oui / « ignore généralement robots.txt » |
| Mistral | MistralAI-Training / -Index / -User | Entraînement / index de recherche / requête utilisateur | Oui, déclaré pour les trois |
| Common Crawl | CCBot | Corpus public réutilisé pour l'entraînement | Oui |
Robots des IA contrôlables via robots.txt, d'après les documentations officielles des éditeurs, vérifiées les 8 et 10 août 2026. Rappel des pièges : bloquer GPTBot ne retire pas de ChatGPT Search, et Google-Extended n'affecte ni Search ni les AI Overviews.
La table de vérité complète (que se passe-t-il exactement quand vous bloquez chaque jeton, y compris les cas contre-intuitifs) et la taxonomie détaillée des robots par fonction sont développées dans comment structurer un site web pour maximiser sa visibilité dans les IA. Retenez la règle stratégique : pour être visible dans les réponses des IA, ce sont les robots d'index de recherche qu'il faut laisser passer ; la décision sur les robots d'entraînement est un arbitrage distinct.
sitemap.xml : un protocole commun né en 2005, figé depuis 2006
En bref
Le protocole Sitemaps est né chez Google en juin 2005, puis est devenu un standard commun le 16 novembre 2006, quand Google, Yahoo et Microsoft ont annoncé ensemble Sitemaps 0.90, publié sur sitemaps.org sous licence Creative Commons. Ce n'est pas une RFC : c'est un protocole industriel ouvert, remarquablement stable, inchangé sur le fond depuis vingt ans.
Deux dates complètent l'histoire : en avril 2007, les moteurs adoptent la découverte automatique du sitemap via la directive Sitemap: du robots.txt, qui relie élégamment les deux fichiers ; et en novembre 2016, la limite de taille passe de 10 à 50 Mo par fichier, seule évolution notable du protocole. Cette stabilité est une force : un sitemap écrit en 2007 selon la spécification reste valide en 2026.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.exemple.fr/</loc>
<lastmod>2026-08-10</lastmod>
</url>
<url>
<loc>https://www.exemple.fr/offres</loc>
<lastmod>2026-07-22</lastmod>
</url>
<url>
<loc>https://www.exemple.fr/blog/article-important</loc>
<lastmod>2026-08-09T14:30:00+00:00</lastmod>
</url>
</urlset>- Limites : 50 000 URLs et 50 Mo décompressé par fichier ; au-delà, un index de sitemaps peut en référencer jusqu'à 50 000 ; la compression gzip est admise.
- loc obligatoire, URLs absolues : 2 048 caractères maximum, échappement XML des caractères réservés, encodage UTF-8.
- Règle d'hôte : toutes les URLs d'un sitemap doivent appartenir au même hôte, sous-domaines exclus ; l'assouplissement passe par la déclaration croisée dans robots.txt ou la validation des propriétés dans la Search Console.
- Emplacement : posté à la racine de préférence ; hors soumission via la Search Console, un sitemap ne couvre que les descendants de son répertoire.
Ce que les moteurs font vraiment de votre sitemap
En bref
Google est explicite : la soumission d'un sitemap est « un simple indice », sans garantie de crawl ni d'indexation ; priority et changefreq sont ignorés ; lastmod n'est utilisé que s'il est constamment et vérifiablement exact ; et les URLs listées ne sont qu'une suggestion faible de canonique. Bing, lui, fait de lastmod un signal central de sa planification de crawl, et l'a relié en 2025 à ses réponses IA.
Côté Bing, les chiffres publiés par Fabrice Canel (février 2023) donnent la mesure du problème de qualité : 84 % des sitemaps portent un lastmod, mais seuls 79 % de ces lastmod sont corrects ; le défaut numéro un est la même date sur toutes les URLs, symptôme d'une génération automatique qui date le fichier au lieu de dater les contenus. La consigne officielle des deux moteurs converge : lastmod doit refléter la dernière modification significative du contenu de la page, pas la régénération du sitemap.
Le lien avec la visibilité IA existe, et il est chez Bing : le billet officiel de juillet 2025 (« Keeping Content Discoverable with Sitemaps in AI-Powered Search ») décrit les sitemaps comme un signal fondamental de couverture, et affirme que les signaux de fraîcheur « influencent directement la vitesse à laquelle les mises à jour se reflètent dans les résultats de recherche et les réponses générées par l'IA ». Doctrine Microsoft : sitemaps pour la couverture exhaustive, IndexNow pour la notification temps réel. C'est, au 10 août 2026, le seul lien documenté entre l'un des trois fichiers de ce guide et des réponses d'IA.
Attention
En sens inverse, un point d'honnêteté que presque aucun guide ne signale : aucune documentation officielle d'OpenAI, d'Anthropic ou de Perplexity n'atteste que leurs robots lisent sitemap.xml. C'est plausible (le fichier est le standard de découverte du web), mais non documenté : nous le classons comme hypothèse raisonnable, pas comme fait.
Un sitemap améliore-t-il le référencement ?
En bref
Non au sens du classement : un sitemap n'est pas un facteur de ranking et Google ne lui attribue aucun effet de position. Oui au sens de la couverture : il accélère la découverte des URLs, surtout pour les sites volumineux, récents ou riches en médias, ce qui conditionne tout le reste. La chaîne est : découverte, puis crawl, puis indexation, puis classement ; le sitemap n'agit que sur le premier maillon.
- Sitemap utile selon Google : site volumineux (des pages récentes risquent d'échapper à la découverte), site récent avec peu de liens externes, site riche en images, vidéos ou actualités.
- Sitemap dispensable selon Google : site d'environ 500 pages ou moins, complètement maillé en interne, sans médias particuliers à faire remonter.
- Dans tous les cas : aucun engagement de crawl ni d'indexation ; les liens restent la voie principale de découverte, le sitemap est le complément déclaratif.
Le rôle de la découverte et du maillage dans la chaîne complète, jusqu'à la récupération par les IA, est traité dans comment structurer un site web pour maximiser sa visibilité dans les IA. Pour un site de moins de 500 pages bien maillé, l'essentiel du bénéfice du sitemap tient en deux choses : la date de fraîcheur déclarée, et le rôle de liste de contrôle (toute URL qui mérite d'exister devrait y figurer, rien d'autre).
Soumettre un sitemap en 2026 : les points de ping sont morts
En bref
Les anciens points de ping HTTP anonymes ont disparu : Bing a fermé le sien en mai 2022 (détourné par le spam), Google a déprécié le sien en juin 2023 avec arrêt fin 2023. En 2026, un sitemap se soumet par trois canaux : la Search Console (interface ou API) et les outils Bing, la directive Sitemap: du robots.txt, et, pour le temps réel côté Bing et partenaires, le protocole IndexNow.
| Canal | Portée | État au 10 août 2026 |
|---|---|---|
| Google Search Console (interface ou API) | Actif : rapport Sitemaps, suivi des erreurs | |
| Bing Webmaster Tools | Bing (et Copilot par héritage) | Actif |
| Directive Sitemap: dans robots.txt | Tous les moteurs qui la lisent | Active : découverte automatique depuis 2007 |
| Ping HTTP google.com/ping | Mort : déprécié en juin 2023, renvoie 404 | |
| Ping HTTP bing.com/ping | Bing | Mort : fermé en mai 2022 pour cause de spam |
| IndexNow | Bing, Naver, Seznam, Yandex et partenaires (pas Google) | Actif : notification temps réel des URLs ajoutées, modifiées, supprimées |
Les canaux de soumission en 2026. Le remplacement du ping anonyme illustre la philosophie des deux moteurs : Google s'en remet au lastmod fiable et à la Search Console ; Microsoft pousse IndexNow, que Google ne consomme pas.
llms.txt : ce qu'il est, ce qu'on en sait au 10 août 2026
En bref
llms.txt est une proposition de septembre 2024 (Jeremy Howard, Answer.AI) : un fichier markdown à la racine listant les contenus importants d'un site pour les modèles de langage. Ce n'est pas un standard, et au 10 août 2026, aucun grand système d'IA ne documente le consommer : Google déclare l'ignorer, les autres éditeurs se taisent, les journaux serveur sont quasi vides, les corrélations avec les citations sont nulles.
# Nom du site
> Une phrase qui dit ce qu'est le site, pour qui,
> et ce qu'on y trouve d'important.
## Offre
- [Fonctionnalites](https://exemple.fr/fonctionnalites): ce que
fait le produit, module par module
- [Tarifs](https://exemple.fr/tarifs): offres et conditions
## Optional
- [Blog](https://exemple.fr/blog): analyses datees, secondaires| Système | Consomme llms.txt ? | Niveau de preuve |
|---|---|---|
| Google Search, AI Overviews, AI Mode | Non : « Google Search les ignore » (doc officielle) | Confirmé officiellement |
| ChatGPT / OpenAI | Non documenté ; publie le sien, ce qui ne prouve rien | Aucune preuve suffisante |
| Claude / Anthropic | Non documenté ; publie le sien massivement | Aucune preuve suffisante |
| Perplexity | Non documenté ; zéro requête de son robot sur un panel de 12 semaines | Aucune preuve suffisante |
| Copilot / Microsoft | Non documenté ; silence total | Aucune preuve suffisante |
| Agents de code | Lecture manuelle uniquement, quand l'utilisateur fournit le fichier | Observé mais non confirmé |
L'état du support au 10 août 2026, résumé. La distinction décisive : plusieurs éditeurs d'IA publient un llms.txt pour leur propre documentation ; aucun ne documente lire ceux des autres. Publier n'est pas consommer.
Le dossier complet (spécification exacte, chronologie des positions de Google, cinq analyses de journaux serveur, chiffres d'adoption par échantillon, risque de contenu dupliqué et en-tête noindex, protocole de test, exemples par type de site) est dans llms.txt : le guide le plus complet au monde. Verdict transposé ici : créer un llms.txt est une option à coût quasi nul pour certains profils (documentation développeur surtout), jamais un levier de visibilité démontré, et toujours le dernier chantier d'une liste de priorités.
Faut-il les trois ? Réponse par type de site
En bref
robots.txt : oui pour tous, ne serait-ce que pour décider consciemment de l'accès des robots d'IA. sitemap.xml : oui dès que le site dépasse quelques centaines de pages, publie régulièrement ou vit de médias ; dispensable pour un petit site vitrine bien maillé. llms.txt : optionnel partout, pertinent surtout pour les documentations techniques, expérimental ailleurs.
| Type de site | robots.txt | sitemap.xml | llms.txt |
|---|---|---|---|
| Petit site vitrine (moins de 500 pages) | Oui : politique robots IA + zones inutiles | Facultatif si le maillage est complet ; utile pour lastmod | Inutile en l'état des preuves |
| SaaS B2B | Oui : indispensable (robots IA, zones applicatives) | Oui : blog, pages produit, fraîcheur | Optionnel ; pertinent si documentation développeur |
| E-commerce | Oui : critique (facettes, paniers, recherche interne) | Oui : catalogue, index de sitemaps, fraîcheur | Inutile en l'état des preuves |
| Média | Oui : gestion du crawl et des robots IA (enjeu de droits) | Oui : sitemap news dédié, exigences propres | Arbitrage éditorial, aucun bénéfice démontré |
| Documentation technique | Oui : autoriser largement les robots utiles | Oui : couverture et versions | Recommandable : seul profil avec un public réel (agents) |
| Gros site international | Oui : crawl budget, facettes, un fichier par hôte | Oui : index de sitemaps, hreflang, discipline lastmod | Optionnel, index court uniquement |
| Site visant la visibilité IA | Oui : laisser passer les robots d'index de recherche IA | Oui : la couverture conditionne la récupération | Optionnel : aucun effet démontré sur les citations |
Recommandations par profil, à l'état des preuves du 10 août 2026. La colonne llms.txt évoluera si un grand système documente un jour sa consommation ; les deux premières sont stables depuis des années.
Quel impact sur le SEO et le GEO ? La matrice des preuves
En bref
Les trois fichiers n'agissent ni au même endroit ni avec le même niveau de preuve. En SEO, robots.txt et sitemap.xml ont des effets documentés sur le crawl et la découverte, aucun sur le classement. En GEO, le contrôle des robots IA par robots.txt est documenté, le lien sitemap vers réponses IA n'est documenté que chez Bing, et aucun effet de llms.txt n'est démontré nulle part.
| Mécanisme | Impact SEO | Impact GEO | Niveau de preuve |
|---|---|---|---|
| Faciliter le crawl (robots.txt propre, erreurs corrigées) | Réel | Réel : conditionne l'accès des robots IA | Élevé : documenté par les moteurs et les éditeurs d'IA |
| Faciliter la découverte (sitemap exact, lastmod fiable) | Réel | Documenté chez Bing (Copilot) ; hypothèse ailleurs | Élevé côté SEO ; modéré côté GEO |
| Contrôler les robots d'IA (jetons robots.txt) | Neutre | Décisif : présence ou absence dans chaque système | Élevé : documentations officielles des éditeurs |
| Structurer l'accès au contenu (llms.txt) | Nul : Google l'ignore | Théorique | Non démontré : journaux vides, corrélations nulles |
| Augmenter les citations IA | Sans objet | Aucun des trois fichiers n'y suffit | Non démontré pour les trois ; la citation dépend du contenu et de l'autorité |
| Améliorer le classement Google | Aucun des trois n'est un facteur de classement | Sans objet | Élevé : documenté négativement par Google |
Matrice d'impact avec niveaux de preuve (élevé, modéré, faible, non démontré), établie sur les documentations officielles. La ligne la plus importante est la dernière : aucun de ces fichiers ne classe ni ne fait citer ; ils conditionnent l'accès et la découverte, c'est-à-dire le droit de concourir.
Ce qui compte davantage que llms.txt pour la visibilité IA
En bref
Si l'objectif est d'être cité et recommandé par les IA, les leviers étayés sont connus et aucun n'est llms.txt : un site crawlable sans JavaScript obligatoire, des robots d'index de recherche IA autorisés, des contenus qui répondent aux intentions avec des passages extractibles, des preuves et des dates, et une empreinte externe (mentions, avis, sources tierces) qui fait la préférence.
- Accessibilité réelle : contenu servi dans le HTML initial, robots d'index IA autorisés dans robots.txt, erreurs et redirections propres ; c'est le prérequis absolu, détaillé dans comment structurer un site web pour les IA.
- Contenus d'intention avec passages extractibles : réponses directes, sections autoportantes, données datées ; la méthode est dans comment créer une documentation que les IA adorent citer.
- Corroboration externe : mentions, avis et sources tierces pèsent plus que tout fichier à la racine ; les études sont détaillées dans les 100 facteurs qui influencent les recommandations des IA.
- Cohérence d'entité : mêmes noms, mêmes faits partout ; les données structurées aident la compréhension sans garantir la citation, voir les données structurées influencent-elles les recommandations des IA.
Nous ne prétendons pas connaître les algorithmes internes des fournisseurs de modèles : personne ne les publie. Mais la hiérarchie ci-dessus repose sur ce qui est documenté et mesuré, quand llms.txt ne repose que sur une intention. Dix minutes pour un llms.txt propre ne font pas de mal ; dix heures prises sur les leviers ci-dessus pour peaufiner un fichier que rien ne lit sont dix heures perdues.
L'arbre de décision : de quoi ai-je besoin ?
En bref
Trois questions suffisent. Des zones de votre site ne doivent-elles pas être explorées, ou voulez-vous décider du sort des robots d'IA ? Il vous faut un robots.txt réfléchi. Votre site dépasse-t-il quelques centaines de pages, publie-t-il régulièrement, vit-il de médias ? Il vous faut un sitemap exact. Avez-vous une documentation utilisée par des développeurs avec des agents ? Un llms.txt peut se justifier. Sinon, il peut attendre.
Avez-vous des zones a exclure du crawl (recherche interne,
paniers, espaces techniques) OU une decision a prendre sur
les robots d'IA (entrainement, recherche) ?
|
+-- OUI --> robots.txt REFLECHI, groupe par groupe.
| (Dans tous les cas : verifiez qu'un robots.txt
| existant ne bloque rien d'important.)
|
v
Votre site depasse ~500 pages, publie regulierement,
ou vit d'images, de videos ou d'actualites ?
|
+-- OUI --> sitemap.xml EXACT : URLs canoniques
| uniquement, lastmod fiable, declare dans
| robots.txt et la Search Console.
|
+-- NON --> sitemap facultatif si le maillage interne
| est complet. Le creer reste sans risque.
|
v
Une documentation technique que des developpeurs
utilisent avec des agents de code ?
|
+-- OUI --> llms.txt curé + pages markdown : public
| reel, etroit. Priorite moyenne.
|
+-- NON --> llms.txt optionnel : dix minutes si tout
le reste est fait, aucun effet demontre
a en attendre. Jamais prioritaire.Mettre en place les trois fichiers : le tutoriel
En bref
L'implémentation propre tient en quelques règles par fichier : robots.txt à la racine de chaque origine, testé avant publication, avec des groupes explicites par robot ; sitemap.xml généré depuis la source de vérité des URLs, avec un lastmod qui date les contenus et non le fichier ; llms.txt curé à la main si vous le créez, servi avec un en-tête noindex.
- 1robots.txt, emplacement et test : un fichier par origine (https, www et sous-domaines compris), accessible en 200 à /robots.txt. Avant publication, testez vos règles (rapport robots.txt de la Search Console, testeur de Bing Webmaster Tools, analyseur open source de Google) : l'ancien testeur Google a été retiré fin 2023, le rapport actuel ne teste pas une règle avant mise en ligne, d'où l'intérêt de l'analyseur.
- 2robots.txt, contenu : bloquez les zones sans valeur de crawl (recherche interne, paniers, paramètres de session), répliquez les règles générales dans chaque groupe nommé (un robot nommé ignore le groupe étoile), déclarez vos sitemaps. N'y mettez jamais un chemin confidentiel : le fichier est public.
- 3sitemap.xml, génération : générez-le depuis la même source que vos pages (votre CMS ou votre build), jamais à la main sur un site vivant. N'y listez que des URLs canoniques, en 200, indexables : ni redirections, ni 404, ni pages en noindex (le rapport Search Console signale ces contradictions).
- 4sitemap.xml, lastmod : datez la dernière modification significative du contenu, pas la régénération du fichier ; une date identique partout est le défaut le plus répandu et fait ignorer votre lastmod. Format date seule accepté, date et heure ISO 8601 recommandé par Bing.
- 5sitemap.xml, déclaration : ligne Sitemap: dans robots.txt (URL absolue), soumission dans la Search Console et Bing Webmaster Tools, puis surveillance des erreurs dans leurs rapports. N'attendez rien des anciens pings : ils sont morts.
- 6llms.txt, si vous le créez : markdown conforme à la proposition (H1, résumé, sections de liens commentés), sélection curée de cinq à trente pages, descriptions factuelles, section Optional pour le secondaire, en-tête HTTP X-Robots-Tag noindex pour éviter l'indexation parasite, et revue trimestrielle. Le tutoriel détaillé est dans notre guide llms.txt.
Les erreurs fréquentes, et comment les éviter
En bref
Les mêmes erreurs reviennent sur les trois fichiers : le Disallow global oublié après une mise en production, le robots.txt utilisé comme outil de désindexation, le sitemap pollué d'URLs mortes ou contradictoires, le lastmod artificiel, et le llms.txt traité comme un talisman. Chacune a une correction simple.
| Erreur | Conséquence | Correction |
|---|---|---|
| Disallow: / laissé après une préproduction | Effondrement du crawl et, à terme, des positions | Vérifier robots.txt à chaque mise en production ; surveiller le rapport Search Console |
| Utiliser Disallow pour désindexer | La page reste indexable via des liens, et le noindex devient invisible | Retirer le blocage, poser noindex, attendre le recrawl |
| Bloquer les CSS et JS nécessaires au rendu | Google rend mal la page, évaluation dégradée | N'exclure que ce qui n'a aucune valeur de crawl |
| Chemins sensibles listés dans robots.txt | Aveu public d'existence de zones privées | Authentification serveur ; jamais robots.txt comme protection |
| Oublier qu'un groupe nommé ignore le groupe étoile | Un robot d'IA autorisé ou bloqué par accident | Répliquer les règles générales dans chaque groupe nommé |
| URLs redirigées, 404 ou noindex dans le sitemap | Signaux contradictoires, crawl gaspillé, erreurs Search Console | Ne lister que des URLs canoniques en 200, indexables |
| lastmod artificiel (date du jour partout) | Le signal de fraîcheur est ignoré par les moteurs | Dater la modification du contenu, pas la génération du fichier |
| Sitemap jamais mis à jour | Nouvelles pages découvertes tard, cycle de crawl gaspillé | Génération automatique branchée sur la source de vérité |
| Créer llms.txt et croire la visibilité IA acquise | Faux sentiment d'optimisation, vrais leviers négligés | Traiter llms.txt comme optionnel ; investir dans le contenu et l'accessibilité |
| Informations contradictoires entre llms.txt et le site | Risque d'induire en erreur le rare outil qui le lit | Revue trimestrielle, ou suppression du fichier s'il n'est pas maintenu |
| Confondre contrôle du crawl IA et optimisation de la visibilité IA | Bloquer des robots d'index de recherche en croyant se protéger de l'entraînement | Décider jeton par jeton : entraînement, recherche et requête utilisateur sont trois contrôles distincts |
Onze erreurs récurrentes sur les trois fichiers. Les plus coûteuses sont les deux premières : un Disallow global oublié et la confusion entre blocage du crawl et désindexation.
Les checklists d'audit
En bref
Quatre checklists opérationnelles pour auditer un site en une heure : le robots.txt, le sitemap, le llms.txt éventuel, et la couche visibilité IA qui traverse les trois. Chaque point est vérifiable sans outil payant.
- robots.txt : le fichier répond en 200 sur chaque origine (https, www, sous-domaines) ; aucun Disallow global involontaire ; les règles générales sont répliquées dans chaque groupe nommé ; aucun chemin sensible listé ; les sitemaps y sont déclarés ; le fichier pèse moins de 500 Kio ; son code de réponse est surveillé (un 5xx persistant gèle le crawl).
- sitemap.xml : namespace exact et XML valide ; uniquement des URLs canoniques, absolues, en 200, indexables ; lastmod daté au contenu et vérifiable ; moins de 50 000 URLs et 50 Mo par fichier, index au-delà ; déclaré dans robots.txt et soumis dans la Search Console et Bing Webmaster Tools ; zéro erreur dans les rapports des deux consoles ; régénéré automatiquement à chaque publication.
- llms.txt (si publié) : conforme à la proposition (H1, résumé, sections de liens commentés) ; sélection curée et descriptions factuelles ; aucun lien cassé ni contenu non publié ; cohérent avec le site ; servi avec X-Robots-Tag noindex ; passé en revue chaque trimestre ; personne dans l'équipe ne le croit magique.
- Visibilité IA transverse : décision consciente et documentée pour chaque jeton de robot IA (entraînement, recherche, requête utilisateur) ; les robots d'index de recherche des IA que vous visez sont autorisés ; le contenu essentiel est lisible sans JavaScript ; les journaux serveur sont consultés pour vérifier qui passe réellement ; aucune stratégie ne repose sur un effet non démontré.
Limites et zones d'ombre
En bref
Trois inconnues honnêtes bornent ce guide : la lecture de sitemap.xml par les robots des IA hors Bing n'est pas documentée ; le respect effectif de robots.txt par tous les acteurs ne se vérifie que dans vos journaux ; et le statut de llms.txt peut changer du jour au lendemain si une plateforme majeure l'adopte. Les documentations citées font foi, à leur date.
- Sitemaps et robots d'IA : aucune documentation d'OpenAI, d'Anthropic ou de Perplexity n'atteste que leurs robots consomment sitemap.xml ; seul Bing documente la chaîne sitemap vers réponses IA. Traitez « les IA lisent mon sitemap » comme une hypothèse raisonnable, pas comme un fait.
- Respect réel de robots.txt : le protocole est déclaratif ; les grands éditeurs déclarent le respecter, des acteurs indélicats l'ignorent, et des robots déclenchés par l'utilisateur s'en affranchissent par conception chez certains. Vos journaux serveur, croisés avec les plages d'adresses IP officielles, sont le seul juge de paix.
- Évolutivité : la RFC 9309 et le protocole Sitemaps sont stables ; tout ce qui touche aux IA (jetons, finalités, llms.txt) bouge en permanence. Les faits de ce guide sont datés du 10 août 2026 ; en cas de doute, la source primaire liée prime sur notre résumé.
Points clés à retenir
En bref
robots.txt exclut, sitemap.xml déclare, llms.txt propose. Les deux premiers sont des fondamentaux aux effets documentés sur le crawl et la découverte, jamais sur le classement ; le troisième est une option sans effet démontré. Bloquer le crawl n'empêche pas d'indexer, un sitemap ne garantit rien, et aucun fichier à la racine ne fait citer par une IA.
- robots.txt est une RFC respectée : groupes, chemin le plus long, 500 Kio, comportements d'erreur normalisés ; c'est le levier de contrôle des robots d'IA, jeton par jeton.
- Le piège n°1 : Disallow n'est pas noindex. Pour désindexer, la page doit rester crawlable et porter un noindex.
- robots.txt est public : jamais un chemin sensible, jamais un substitut d'authentification.
- sitemap.xml est un indice consommé : URLs canoniques exactes et lastmod fiable, ou rien ; priority et changefreq sont ignorés ; les pings sont morts.
- Le seul lien documenté entre ces fichiers et les réponses IA passe par Bing : fraîcheur déclarée du sitemap vers Copilot, plus IndexNow.
- llms.txt reste une proposition sans consommateur documenté : option à bas coût, jamais un levier, toujours en dernier.
- La visibilité IA se joue ailleurs : accessibilité, contenus d'intention, preuves, corroboration externe.
Conclusion et pour aller plus loin
En bref
La bonne pratique 2026 tient en une phrase : un robots.txt réfléchi jeton par jeton, un sitemap exact au lastmod honnête, et un llms.txt seulement si tout le reste est fait. Ces fichiers conditionnent le droit de concourir ; la course elle-même (être compris, préféré, cité) se gagne dans les contenus et la réputation.
Pour continuer : comment structurer un site web pour maximiser sa visibilité dans les IA replace ces fichiers dans l'architecture complète (robots des IA, rendu, maillage, entités) ; llms.txt : le guide le plus complet au monde épuise le dossier llms.txt ; la documentation publique influence-t-elle les recommandations des IA traite le canal où la curation machine a un vrai public ; et le guide complet du GEO donne la vision d'ensemble des leviers.
Evocia vérifie ce que les robots des moteurs et des IA font réellement sur votre site (robots.txt, sitemaps, journaux serveur), mesure votre présence dans ChatGPT, Claude, Gemini, Perplexity et Google AI Mode sur vos requêtes d'achat, et vous livre un plan d'action priorisé par niveau de preuve. Un audit chiffré, sans promesse de citation, avec une méthode reproductible.
Demander un audit de visibilité IAQuestions fréquentes
Quelle est la différence entre robots.txt et sitemap.xml ?
Ils sont opposés et complémentaires : robots.txt est un fichier d'exclusion (il dit aux robots ce qu'ils ne doivent pas explorer), sitemap.xml est un fichier d'inclusion (il déclare aux moteurs les URLs à découvrir, avec leur date de modification). Le premier est un standard IETF (RFC 9309) respecté par les robots sérieux ; le second un protocole commun de 2006 réellement consommé par Google et Bing. Un site sérieux a généralement les deux, et le robots.txt déclare l'emplacement du sitemap.
Quelle est la différence entre robots.txt et llms.txt ?
Tout, sauf l'emplacement à la racine. robots.txt contrôle l'accès au crawl : standardisé, respecté, avec un pouvoir d'exclusion réel sur les robots déclarés, y compris ceux des IA. llms.txt n'a aucun pouvoir de blocage : c'est une liste de suggestions de lecture pour les modèles de langage, proposée en 2024, qu'aucun grand système ne documente consulter au 10 août 2026. Croire que llms.txt protège votre contenu des IA est un contresens : ce rôle appartient à robots.txt et à ses jetons dédiés.
Quelle est la différence entre sitemap.xml et llms.txt ?
Le sitemap est un inventaire exhaustif d'URLs au format XML, consommé de façon documentée par les moteurs pour la découverte ; llms.txt est une sélection éditoriale courte au format markdown, avec descriptions, destinée aux modèles de langage, sans consommateur documenté. Le sitemap dit « voici tout ce qui existe et quand ça a changé » ; llms.txt dit « voici ce qui compte et pourquoi ». L'un est un canal de travail réel, l'autre une proposition en attente d'adoption.
Faut-il avoir les trois fichiers ?
robots.txt : oui pour pratiquement tout site, ne serait-ce que pour décider consciemment du sort des robots d'IA et exclure les zones sans valeur de crawl. sitemap.xml : oui dès que le site dépasse quelques centaines de pages, publie régulièrement ou vit de médias ; facultatif pour un petit site bien maillé. llms.txt : purement optionnel ; pertinent surtout pour une documentation technique utilisée avec des agents de code, expérimental partout ailleurs. Aucun des trois n'est obligatoire au sens strict.
llms.txt est-il obligatoire ?
Non, en aucune façon. Aucun moteur, aucun assistant, aucun standard ne l'exige, et son absence n'a aucune conséquence documentée : Google déclare explicitement que ce type de fichier n'est pas nécessaire pour apparaître dans Search, fonctionnalités d'IA comprises. Si un outil d'audit vous le signale comme manquant, il mesure la conformité à une convention émergente, pas un impact.
Google utilise-t-il llms.txt ?
Non, et c'est documenté officiellement : le guide d'optimisation IA de Google Search Central indique qu'aucun fichier lisible par machine n'est nécessaire, que Google Search ne les utilise pas et les ignore, sans bénéfice ni pénalité. John Mueller a comparé le fichier à l'ancienne balise meta keywords. Seule nuance : la documentation de Chrome le mentionne comme convention émergente pour les agents de navigation, une contradiction interne que Google assume, mais qui ne concerne pas Search.
ChatGPT lit-il llms.txt ?
Aucune preuve suffisante au 10 août 2026. La documentation officielle des robots d'OpenAI ne mentionne aucun mécanisme de lecture des llms.txt tiers, et les analyses de journaux serveur montrent des requêtes marginales de GPTBot sur ce fichier, sans commune mesure avec robots.txt. OpenAI publie un llms.txt pour sa propre documentation, ce qui relève de la publication, pas de la consommation. Un utilisateur peut évidemment fournir le fichier à ChatGPT manuellement.
Claude et Perplexity utilisent-ils llms.txt ?
Aucune preuve suffisante pour les deux. Anthropic publie massivement le fichier pour sa propre documentation mais ne documente nulle part que Claude lise ceux des autres sites. Pour Perplexity, les mesures disponibles sont même négatives : sur un panel de douze semaines, son robot d'indexation n'a pas demandé un seul llms.txt. Les affirmations commerciales du contraire ne citent aucune source primaire vérifiable.
Un sitemap améliore-t-il le SEO ?
Pas au sens du classement : ce n'est pas un facteur de ranking, et Google qualifie la soumission de simple indice, sans garantie de crawl ni d'indexation. Son bénéfice réel est en amont : accélérer la découverte des URLs et déclarer leur fraîcheur, ce qui compte surtout pour les sites volumineux, récents ou riches en médias. Pour un site de moins de 500 pages complètement maillé, Google le juge dispensable. Découverte, crawl, indexation, classement : le sitemap n'agit que sur le premier maillon.
robots.txt empêche-t-il l'indexation ?
Non, et c'est le piège le plus répandu du SEO technique. Une URL bloquée par robots.txt peut être indexée si d'autres pages la lient : Google affiche alors l'URL sans description, avec le statut « indexée malgré le blocage ». Et le blocage empêche précisément Google de voir une balise noindex. Pour garder une page hors de Google : la laisser crawlable et poser un noindex, ou la protéger par mot de passe. robots.txt gère le crawl, pas l'index.
Comment bloquer les robots d'IA ?
Par des groupes dédiés dans robots.txt, jeton par jeton, en distinguant les trois fonctions : l'entraînement (GPTBot, ClaudeBot, CCBot, le jeton Google-Extended, MistralAI-Training), les index de recherche IA (OAI-SearchBot, Claude-SearchBot, PerplexityBot, MistralAI-Index) et les requêtes utilisateur (pas toujours contrôlables : OpenAI et Perplexity documentent que leurs robots à la demande peuvent ignorer robots.txt). Attention aux effets : bloquer les robots d'index de recherche vous retire des réponses citées, et bloquer Googlebot vous sort de tout Google. Chez Microsoft, le contrôle passe aussi par les balises nocache et noarchive.
Où placer llms.txt et quel contenu y mettre ?
À la racine du site, à l'URL /llms.txt, en markdown : un titre H1 avec le nom du site (seul élément obligatoire), un court résumé en citation, puis des sections de liens commentés vers cinq à trente pages réellement importantes (offre, tarifs, documentation, à propos), avec une section « Optional » pour le secondaire. Descriptions factuelles, URLs canoniques, en-tête HTTP noindex pour éviter l'indexation parasite, et revue trimestrielle. Notre guide dédié détaille la spécification et fournit des exemples par type de site.
llms.txt améliore-t-il le GEO ?
Rien ne le démontre au 10 août 2026. Aucun grand système ne documente le consommer, les analyses de journaux serveur montrent que la quasi-totalité des fichiers publiés ne reçoivent aucune requête, et les études de corrélation ne trouvent aucun lien entre sa présence et les citations par les IA. Le mécanisme théorique existe, la preuve n'existe pas. Le GEO se joue sur l'accessibilité, les contenus d'intention, les preuves et la corroboration externe ; llms.txt est au mieux une assurance à bas coût.
Peut-on être recommandé par une IA sans llms.txt ?
Oui, évidemment : l'immense majorité des marques citées par ChatGPT, Gemini ou Perplexity n'ont pas de llms.txt, et aucun système ne documente lire ce fichier. La citation dépend de l'accessibilité du site aux robots des IA, de la qualité et de l'extractibilité des contenus, et de la corroboration par des sources tierces. Un fichier à la racine n'a jamais fait une recommandation ; il peut tout au plus, en théorie, faciliter la lecture d'un site déjà digne d'être cité.
Que se passe-t-il si mon robots.txt renvoie une erreur ?
Tout dépend du code. Une erreur 4xx (fichier absent, 404) équivaut à une autorisation totale : les robots explorent tout. Une erreur 5xx équivaut à une interdiction totale : Google arrête le crawl du site pendant les douze premières heures, utilise ensuite sa dernière version en cache jusqu'à trente jours, puis, si le site répond par ailleurs, se comporte comme si le fichier n'existait pas. Surveillez donc le code de réponse de votre robots.txt comme celui d'une page critique : un 500 persistant sur ce fichier gèle l'exploration de tout le site.
Les balises priority et changefreq du sitemap servent-elles à quelque chose ?
Pas chez Google, qui documente les ignorer toutes les deux. Le seul champ optionnel qui compte est lastmod, à condition d'être constamment exact : Google le vérifie contre la réalité de la page et cesse de s'y fier s'il est artificiel, et Bing en fait un signal central de sa planification de crawl. Concentrez votre effort sur des URLs canoniques exactes et un lastmod honnête ; le reste est du poids mort hérité de 2006.
Comment déclarer mon sitemap aux moteurs en 2026 ?
Trois canaux vivants : la ligne « Sitemap: URL-absolue » dans robots.txt (découverte automatique par tous les moteurs qui la lisent), le rapport Sitemaps de la Google Search Console (interface ou API), et Bing Webmaster Tools. Les anciens points de ping HTTP anonymes sont morts : Bing les a fermés en mai 2022, Google fin 2023. Pour la notification temps réel, Bing et ses partenaires proposent IndexNow ; Google ne le consomme pas et s'en remet au lastmod fiable.
Les robots des IA lisent-ils mon sitemap.xml ?
Ce n'est documenté que pour l'écosystème Microsoft : Bing décrit officiellement les sitemaps comme un signal fondamental de couverture dont la fraîcheur influence ses résultats et ses réponses générées par l'IA, donc Copilot. Pour les robots d'OpenAI, d'Anthropic ou de Perplexity, aucune documentation officielle n'atteste qu'ils consomment sitemap.xml : c'est plausible, mais non démontré. Le sitemap reste de toute façon justifié par son rôle dans la recherche classique, qui alimente la récupération des IA.
Sources
- IETF, RFC 9309 : Robots Exclusion Protocol (septembre 2022, Proposed Standard)
- Google, formalisation du Robots Exclusion Protocol (juillet 2019, historique Koster 1994)
- Google, fonctionnement et interprétation de robots.txt (syntaxe, erreurs, cache, 500 Kio)
- Google, introduction à robots.txt (« pas un mécanisme pour garder une page hors de Google »)
- Google, rapport d'indexation des pages (statut « indexée malgré le blocage », piège du noindex invisible)
- Google, bloquer l'indexation avec noindex (la page doit rester crawlable)
- Google, abandon des règles non supportées de robots.txt dont noindex (juillet 2019)
- Google, rapport robots.txt de la Search Console (remplaçant du testeur retiré fin 2023)
- Bing, prise en charge de la directive Crawl-delay (2012)
- sitemaps.org, spécification du protocole Sitemaps 0.90 (structure, limites, licence)
- Google, annonce commune Sitemaps 0.90 avec Yahoo et Microsoft (16 novembre 2006)
- Google, construire et soumettre un sitemap (lastmod conditionnel, priority et changefreq ignorés)
- Google, à quoi sert un sitemap et qui en a besoin (découverte sans garantie)
- Google, dépréciation du ping sitemap et bonnes pratiques lastmod (juin 2023)
- Bing, fermeture de la soumission anonyme de sitemaps (mai 2022, bascule vers IndexNow)
- Bing, l'importance du lastmod dans les sitemaps (Fabrice Canel, février 2023, statistiques de qualité)
- Bing, sitemaps et découvrabilité dans la recherche augmentée par l'IA (juillet 2025)
- IndexNow, protocole de notification temps réel (Bing et partenaires)
- llmstxt.org, la proposition llms.txt (Jeremy Howard, septembre 2024)
- Google, guide d'optimisation pour l'IA générative (aucun fichier spécial requis, llms.txt ignoré)
- OpenAI, documentation officielle des robots (GPTBot, OAI-SearchBot, ChatGPT-User)
- Anthropic, documentation officielle des robots (ClaudeBot, Claude-SearchBot, Claude-User)
- Perplexity, documentation officielle des robots (PerplexityBot, Perplexity-User)
- Google, crawlers communs et jeton Google-Extended
Transparence et méthode
Auteur
Loan Feuillerat · Fondateur d'Evocia
Loan Feuillerat dirige Evocia, cabinet français spécialisé dans la mesure et l'amélioration de la visibilité des éditeurs de SaaS B2B dans les réponses des IA. Ce guide comparatif a été construit sur les spécifications et documentations primaires, vérifiées au 10 août 2026, avec une règle constante : le statut réel de chaque fichier prime sur sa popularité dans les conversations.
Comment cet article a été réalisé
- Toutes les spécifications et documentations citées (RFC 9309, sitemaps.org, Google Search Central, blogs officiels Bing, documentations des robots d'OpenAI, Anthropic, Perplexity, Mistral, proposition llms.txt) ont été consultées sur leurs sources primaires le 10 août 2026 ; les affirmations porteuses ont fait l'objet d'une vérification contradictoire.
- Distinction systématique entre les niveaux d'exigence des standards (MUST et SHOULD de la RFC 9309), les comportements documentés par chaque moteur, les pratiques convergentes non normées et les hypothèses non démontrées ; les citations anglaises sont traduites et datées.
- Les sections llms.txt et robots des IA résument des dossiers complets publiés séparément et vérifiés les 8 et 9 août 2026, avec renvois ; aucune statistique inventée, aucun effet non démontré présenté comme acquis, aucune promesse de citation.
Historique des mises à jour
- 10 août 2026Publication initiale : réponse courte et formule (exclut, déclare, propose), tableau comparatif central en douze critères, robots.txt en profondeur (histoire 1994 et RFC 9309, syntaxe et exemple commenté, limites techniques et comportements d'erreur, nuance crawl contre indexation et piège du noindex invisible, sécurité, robots des IA), sitemap.xml en profondeur (histoire 2005-2006, structure et exemple valide, ce que les moteurs en font, lastmod et statistiques Bing, lien documenté avec les réponses IA de Bing, mort des pings et canaux 2026), llms.txt résumé avec renvoi au guide dédié, scénarios par type de site, matrice SEO et GEO par niveau de preuve, ce qui compte davantage que llms.txt, arbre de décision, tutoriel d'implémentation, onze erreurs fréquentes, quatre checklists, limites et FAQ de 18 questions.