Plus la question est précise, plus les sources de ChatGPT sont stables : comparaison 0,74, découverte 0,41
Dans l'AI Sources Index 2026 d'Evocia, la stabilité des sources citées par ChatGPT sur quatre répétitions d'une même question varie fortement selon l'intention de cette question. Pour une comparaison de solutions nommées (« X ou Y ? »), 42,5 % des couples question × domaine sont présents dans les quatre répétitions et la similarité de Jaccard entre répétitions atteint 0,74. Pour une question de découverte (« quels types d'outils existent pour… »), 17,3 % des couples sont présents quatre fois et le Jaccard tombe à 0,41. Entre les deux : décision 0,56, recommandation 0,46. Dans ce relevé, le nombre de domaines distincts cités ne suit pas exactement cet ordre : 105 en comparaison, 112 en décision, 126 en découverte, 158 en recommandation.
Cette page isole le facteur « intention » dans la variabilité mesurée par l'étude ; la variabilité globale (38 % des couples requête et domaine présents une fois sur quatre) est traitée dans ChatGPT donne-t-il les mêmes sources à chaque fois ?. L'étude complète est sur la page de l'AI Sources Index 2026.
L'essentiel en 60 secondes
- Jaccard moyen entre répétitions, par intention : comparaison 0,74 (40 questions) ; décision 0,56 (40) ; recommandation 0,46 (38) ; découverte 0,41 (38) ; problème 0,63 (9 questions seulement, non interprétable).
- Part des couples question × domaine présents aux quatre répétitions : comparaison 42,5 %, décision 31,4 %, recommandation 22,1 %, découverte 17,3 %.
- Part des couples présents une seule fois : comparaison 24,6 %, décision 38,7 %, recommandation 39,9 %, découverte 45,2 %.
- Domaines distincts cités : comparaison 105, décision 112, découverte 126, recommandation 158. La comparaison, la plus stable, en cite le moins des quatre intentions exploitables dans ce relevé, sans écart établi avec la décision et la découverte ; la découverte et la recommandation, qui ne se distinguent ni par la stabilité ni par le nombre de domaines, en citent 126 et 158.
- Hypothèse non testée : une question qui nomme ses candidats restreint l'ensemble des sources possibles ; une question ouverte laisse le moteur choisir parmi davantage de sites. Le nombre de domaines distincts ne la confirme qu'en partie.
- Pour la mesure : les taux de présence ne sont comparables qu'à intention égale ; une entreprise stable en comparaison peut être instable en découverte.
Le tableau
En bref
Cinq intentions, quatre mesures : la distribution des couples question × domaine selon le nombre de répétitions où ils apparaissent, la stabilité moyenne, le Jaccard entre répétitions, et le nombre de domaines distincts. Sur les colonnes « 1 sur 4 », « 4 sur 4 », « Stabilité » et « Jaccard », l'ordre observé est le même : comparaison, décision, recommandation, découverte. Avec 38 à 40 questions par intention, en Jaccard comme en stabilité, la comparaison se distingue des trois autres et la décision de la découverte ; recommandation et découverte ne se distinguent pas. Le nombre de domaines distincts n'est pas rangé dans cet ordre : la découverte en compte 126 et la recommandation 158, sans écart établi entre elles.
| Intention | Couples | 1 sur 4 | 2 sur 4 | 3 sur 4 | 4 sur 4 | Stabilité | Jaccard (questions) | Domaines distincts |
|---|---|---|---|---|---|---|---|---|
| Comparaison | 167 | 24,6 % | 19,2 % | 13,8 % | 42,5 % | 0,69 | 0,74 (40) | 105 |
| Décision ou achat | 204 | 38,7 % | 14,7 % | 15,2 % | 31,4 % | 0,60 | 0,56 (40) | 112 |
| Recommandation | 276 | 39,9 % | 19,6 % | 18,5 % | 22,1 % | 0,56 | 0,46 (38) | 158 |
| Découverte de solutions | 197 | 45,2 % | 19,8 % | 17,8 % | 17,3 % | 0,52 | 0,41 (38) | 126 |
| Problème ou besoin | 26 | 53,8 % | 7,7 % | 15,4 % | 23,1 % | 0,52 | 0,63 (9) | 15 |
Corpus principal, 160 réponses par intention. L'intention « problème » compte 26 couples et 9 questions avec au moins deux réponses citantes : ses valeurs ne sont pas interprétables. Source : Evocia, AI Sources Index 2026.
À retenir
Pour citer cette donnée : « Dans l'AI Sources Index 2026 d'Evocia, deux réponses de ChatGPT à une même comparaison de logiciels partagent en moyenne 74 % de l'union de leurs domaines cités (indice de Jaccard 0,74, 40 questions) ; deux réponses à une même question de découverte, 41 % (38 questions). »
Pourquoi la comparaison est plus stable : une hypothèse non testée
En bref
Une comparaison nomme ses candidats : dans l'étude, les quatre répétitions de « Pipedrive ou HubSpot : lequel est le plus adapté à une équipe commerciale de 20 personnes ? » (requête CRM-014 du corpus) citent hubspot.com et pipedrive.com, et eux seuls. Les quatre répétitions d'une question de découverte, « Quels outils permettent de gérer efficacement les prospects et les opportunités commerciales ? » (CRM-005), citent chacune un à trois domaines, jamais le même ensemble deux fois : quatre domaines distincts en tout (zoho.com, microsoft.com, salesforce.com, pipedrive.com), dont seul microsoft.com revient dans trois réponses. Hypothèse non testée : une question qui nomme ses candidats restreint l'ensemble des sources possibles, ce qui rendrait le même ensemble plus facile à retrouver d'une répétition à l'autre.
Le nombre de domaines distincts par intention n'appuie cette lecture qu'en partie. La comparaison, la plus stable, cite 105 domaines pour 160 réponses, et la recommandation, moins stable, 158 : cet écart est établi. La découverte (126 domaines) ne se distingue de la recommandation ni par sa stabilité, ni par son nombre de domaines. Entre secteurs, le lien est faible : la corrélation de rang entre le nombre de domaines cités et la stabilité vaut −0,44 sur les dix secteurs. Les deux extrêmes s'y conforment (CRM : 17 domaines, stabilité 0,62 ; legal : 72 domaines, 0,45), mais l'e-commerce, à 0,69, cite 34 domaines contre 17 pour le CRM, dont la stabilité (0,62) ne se distingue pas de la sienne. Voir combien de sites différents ChatGPT cite.
La recommandation est le cas intermédiaire le plus instructif : c'est l'intention où les réponses comptent le plus de citations (4,06 par réponse) et le plus de domaines distincts dans ce relevé (158, sans écart établi avec la découverte), avec une stabilité faible (0,56). Le moteur cite beaucoup et varie beaucoup. Pour une entreprise, la liste y est ouverte à de nombreux domaines ; être cité aux quatre répétitions y reste rare : 22,1 % des couples question × domaine, contre 42,5 % en comparaison.
Ce que cela change pour la mesure
En bref
Un taux de présence n'a de sens qu'à intention égale. Une entreprise présente dans 60 % des répétitions d'une comparaison est en dessous de la moyenne de cette intention (42,5 % de sources fixes, stabilité 0,69) ; présente dans 55 % des répétitions d'une question de découverte, elle est au-dessus (stabilité moyenne 0,52). Un panel de mesure doit donc répartir ses questions par intention et rapporter chaque résultat à la référence de son intention.
- Référence par intention : les Jaccard de cette page (0,74 ; 0,56 ; 0,46 ; 0,41) servent de bruit de fond pour juger un changement observé.
- Poids des intentions dans un panel : un panel dominé par des comparaisons paraîtra stable, un panel dominé par des découvertes paraîtra volatil, sans que la visibilité réelle diffère.
- Nombre de répétitions : plus l'intention est instable, plus il faut de répétitions pour estimer une présence ; la question est traitée dans combien de fois répéter une requête.
Méthode et limites
En bref
Stabilité d'un couple = répétitions (sur 4) où le domaine est cité pour la question. Jaccard d'une paire de répétitions = domaines communs / union ; pour chaque question, moyenne des paires de répétitions dont au moins une réponse cite (au plus six), une paire où une seule réponse cite valant 0 ; puis moyenne, par intention, des questions ayant au moins deux réponses citantes. L'intention « problème » est écartée de l'interprétation : 26 couples, 9 questions.
- Population : corpus principal, 800 réponses, 870 couples, 165 questions avec au moins deux réponses citantes.
- Limites : quatre intentions exploitables ; 38 à 40 questions par intention, d'où des écarts entre intentions testés par rééchantillonnage des questions (intervalle à 95 %) ; ChatGPT par l'API ; 25 minutes. Les explications avancées (nombre de candidats) sont des hypothèses non testées, que le nombre de domaines distincts ne confirme qu'en partie.
- Ce que la page n'affirme pas : que la stabilité des marques recommandées dans le texte suit la même distribution (non mesurée).
Les fichiers des réponses et des citations, avec l'intention et l'identifiant de répétition de chaque ligne, permettent de recalculer ces valeurs.
Consulter l'AI Sources Index 2026Questions fréquentes
Quelles questions donnent les réponses les plus stables dans ChatGPT ?
Les comparaisons entre solutions nommées : deux répétitions partagent en moyenne 74 % de l'union de leurs domaines cités (Jaccard 0,74), et 42,5 % des couples question et domaine sont présents aux quatre répétitions, dans l'étude Evocia. Les questions ouvertes de découverte (Jaccard 0,41) et les demandes de recommandation (0,46) sont les moins stables, sans écart établi entre elles.
Pourquoi une question de recommandation est-elle instable ?
C'est l'intention où les réponses comptent le plus de citations (4,06 par réponse) et le plus de domaines distincts dans ce relevé (158 pour 160 réponses, sans écart établi avec la découverte). Ses répétitions retiennent des ensembles de domaines différents : 22,1 % seulement des couples question × domaine y sont présents aux quatre répétitions. Hypothèse non testée : le moteur dispose de beaucoup de candidats et en retient quelques-uns à chaque fois. L'étude observe cette tendance ; elle n'en teste pas la cause.
Faut-il mesurer sa visibilité sur toutes les intentions ?
Oui, séparément : les taux de présence ne sont pas comparables d'une intention à l'autre, car leur variabilité de fond diffère : le Jaccard entre répétitions va de 0,74 (comparaison) à 0,41 (découverte). Un panel de mesure doit répartir ses questions par intention et juger chaque résultat par rapport à la référence de son intention.
Sources
Transparence et méthode
Auteur
Evocia · Cabinet français de visibilité dans les IA
Evocia mesure la visibilité des entreprises dans les réponses des IA et publie ses données. Cette page fait partie de la série de données de l'AI Sources Index 2026.
Comment cet article a été réalisé
- Page de données publiée le 17 septembre 2026. Chiffres repris du fichier de résultats de l'étude (corpus principal) ; aucun chiffre saisi à la main.
- L'intention « problème » est présentée mais exclue de l'interprétation, faute d'effectif. Les explications sont signalées comme hypothèses.
Historique des mises à jour
- 15 octobre 2026Comparaisons entre intentions testées par rééchantillonnage des questions de chaque intention (38 à 40, avec leurs répétitions ; A13, audit final A16 du 15 octobre 2026). La découverte n'est plus « la moins stable » (tableau, essentiel, paragraphe, FAQ) : ni son Jaccard (0,41) ni sa stabilité (0,52) ne se distinguent de ceux de la recommandation (0,46 et 0,56) ; la FAQ dit que découverte et recommandation sont les moins stables, sans écart établi entre elles. Sont établis : la comparaison, la plus stable des quatre intentions exploitables, en Jaccard comme en stabilité ; l'écart entre la décision et la découverte ; le plus grand nombre de citations par réponse en recommandation (4,06) ; l'écart de domaines entre comparaison (105) et recommandation (158). Ne le sont pas : le plus de domaines distincts pour la recommandation (écart avec la découverte, 126), dit désormais « dans ce relevé » avec sa réserve, et le moins de domaines pour la comparaison (écart avec la décision et la découverte). Entre secteurs, l'e-commerce n'est plus « le plus stable des dix (0,69) » : sa stabilité ne se distingue pas de celle du CRM (0,62), et ses 34 domaines sont rapportés aux 17 du CRM sans facteur (« deux fois plus » retiré). Aucune valeur ne change.
- 21 septembre 2026Libellé de la variabilité globale précisé : couples requête et domaine, et non sources.
- 17 septembre 2026Publication initiale.
- 5 octobre 2026Exemples de formulation : l'exemple inventé portant deux noms d'éditeurs est remplacé par la requête réelle CRM-014, citée mot pour mot (ses quatre répétitions citent hubspot.com et pipedrive.com, et eux seuls) ; l'exemple de découverte par la requête réelle CRM-005.
- 10 octobre 2026Lecture des données corrigée : le nombre de domaines distincts ne suit pas l'ordre de stabilité (la découverte en cite moins que la recommandation) ; l'exemple CRM-005 est décrit tel qu'il a été mesuré (un à trois domaines par réponse, jamais le même ensemble) ; le lien entre nombre de domaines et stabilité entre secteurs est qualifié de faible (corrélation de rang −0,44) ; la similarité de Jaccard n'est plus présentée comme une fréquence ; la définition du calcul est précisée ; l'explication par le nombre de candidats est présentée comme une hypothèse non testée.
- 10 octobre 2026Le Jaccard de 0,74 est lu comme la part commune de l'union des domaines cités par deux répétitions, et non comme une part de sources (chapô, citation suggérée, FAQ) ; 42,5 % porte sur des couples question et domaine. La recommandation est « l'intention où les réponses comptent le plus de citations », et non celle « qui en produit le plus ».