Plus la question est précise, plus les sources de ChatGPT sont stables : comparaison 0,74, découverte 0,41
Dans l'AI Sources Index 2026 d'Evocia, la stabilité des sources citées par ChatGPT sur quatre répétitions d'une même question dépend fortement de l'intention de cette question. Pour une comparaison de solutions nommées (« X ou Y ? »), 42,5 % des couples question × domaine sont présents dans les quatre répétitions et la similarité de Jaccard entre répétitions atteint 0,74. Pour une question de découverte (« quels types d'outils existent pour… »), 17,3 % des couples sont présents quatre fois et le Jaccard tombe à 0,41. Entre les deux : décision 0,56, recommandation 0,46. Le nombre de domaines distincts cités par intention suit l'ordre inverse : 105 en comparaison, 158 en recommandation.
Cette page isole le facteur « intention » dans la variabilité mesurée par l'étude ; la variabilité globale (38 % de sources présentes une fois sur quatre) est traitée dans ChatGPT donne-t-il les mêmes sources à chaque fois ?. L'étude complète est sur la page de l'AI Sources Index 2026.
L'essentiel en 60 secondes
- Jaccard moyen entre répétitions, par intention : comparaison 0,74 (40 questions) ; décision 0,56 (40) ; recommandation 0,46 (38) ; découverte 0,41 (38) ; problème 0,63 (9 questions seulement, non interprétable).
- Part des couples question × domaine présents aux quatre répétitions : comparaison 42,5 %, décision 31,4 %, recommandation 22,1 %, découverte 17,3 %.
- Part des couples présents une seule fois : comparaison 24,6 %, décision 38,7 %, recommandation 39,9 %, découverte 45,2 %.
- Domaines distincts cités : comparaison 105, décision 112, découverte 126, recommandation 158. Moins de candidats, plus de stabilité.
- Hypothèse cohérente avec les données, non testée : une question qui nomme ses candidats restreint l'ensemble des sources possibles ; une question ouverte laisse le moteur choisir parmi des dizaines de sites.
- Pour la mesure : les taux de présence ne sont comparables qu'à intention égale ; une entreprise stable en comparaison peut être instable en découverte.
Le tableau
En bref
Cinq intentions, quatre mesures : la distribution des couples question × domaine selon le nombre de répétitions où ils apparaissent, la stabilité moyenne, le Jaccard entre répétitions, et le nombre de domaines distincts. L'ordre est le même sur toutes les colonnes : la comparaison est la plus stable, la découverte la moins stable.
| Intention | Couples | 1 sur 4 | 2 sur 4 | 3 sur 4 | 4 sur 4 | Stabilité | Jaccard (questions) | Domaines distincts |
|---|---|---|---|---|---|---|---|---|
| Comparaison | 167 | 24,6 % | 19,2 % | 13,8 % | 42,5 % | 0,69 | 0,74 (40) | 105 |
| Décision ou achat | 204 | 38,7 % | 14,7 % | 15,2 % | 31,4 % | 0,60 | 0,56 (40) | 112 |
| Recommandation | 276 | 39,9 % | 19,6 % | 18,5 % | 22,1 % | 0,56 | 0,46 (38) | 158 |
| Découverte de solutions | 197 | 45,2 % | 19,8 % | 17,8 % | 17,3 % | 0,52 | 0,41 (38) | 126 |
| Problème ou besoin | 26 | 53,8 % | 7,7 % | 15,4 % | 23,1 % | 0,52 | 0,63 (9) | 15 |
Corpus principal, 160 réponses par intention. L'intention « problème » compte 26 couples et 9 questions avec au moins deux réponses citantes : ses valeurs ne sont pas interprétables. Source : Evocia, AI Sources Index 2026.
À retenir
Formulation citable : « Dans l'AI Sources Index 2026 d'Evocia, deux réponses de ChatGPT à une même comparaison de logiciels partagent 74 % de leurs sources ; deux réponses à une même question de découverte, 41 %. »
Pourquoi la comparaison est stable
En bref
Une comparaison nomme ses candidats : « Pipedrive ou HubSpot pour une équipe de dix commerciaux ? » ne peut guère citer que les deux éditeurs, parfois leur documentation. L'ensemble des sources possibles est petit, et le moteur le retrouve à chaque répétition. Une question de découverte (« quels types d'outils pour automatiser les relances ? ») a des dizaines de sources possibles ; le moteur en choisit trois, différentes d'une fois sur l'autre.
Le nombre de domaines distincts par intention appuie cette lecture : 105 en comparaison contre 158 en recommandation, pour le même nombre de réponses. Ce n'est pas une preuve du mécanisme, que l'étude ne teste pas, mais la tendance est cohérente sur les quatre intentions exploitables. Le même lien entre nombre de candidats et stabilité s'observe entre secteurs : 17 domaines et 0,62 de stabilité en CRM, 72 domaines et 0,45 en legal. Voir combien de sites différents ChatGPT cite.
La recommandation est le cas intermédiaire le plus instructif : c'est l'intention qui produit le plus de citations par réponse (4,06) et le plus de domaines distincts (158), avec une stabilité faible (0,56). Le moteur cite beaucoup et varie beaucoup. Pour une entreprise, c'est l'intention où être cité une fois est le plus facile, et être cité à chaque fois le plus difficile.
Ce que cela change pour la mesure
En bref
Un taux de présence n'a de sens qu'à intention égale. Une entreprise présente dans 60 % des répétitions d'une comparaison est en dessous de la moyenne de cette intention (42,5 % de sources fixes, stabilité 0,69) ; présente dans 55 % des répétitions d'une question de découverte, elle est au-dessus (stabilité moyenne 0,52). Un panel de mesure doit donc répartir ses questions par intention et rapporter chaque résultat à la référence de son intention.
- Référence par intention : les Jaccard de cette page (0,74 ; 0,56 ; 0,46 ; 0,41) servent de bruit de fond pour juger un changement observé.
- Poids des intentions dans un panel : un panel dominé par des comparaisons paraîtra stable, un panel dominé par des découvertes paraîtra volatil, sans que la visibilité réelle diffère.
- Nombre de répétitions : plus l'intention est instable, plus il faut de répétitions pour estimer une présence ; la question est traitée dans combien de fois répéter une requête.
Méthode et limites
En bref
Stabilité d'un couple = répétitions (sur 4) où le domaine est cité pour la question. Jaccard = domaines communs / union, moyenné sur les six paires de répétitions d'une question, sur les questions ayant au moins deux réponses citantes, puis par intention. L'intention « problème » est écartée de l'interprétation : 26 couples, 9 questions.
- Population : corpus principal, 800 réponses, 870 couples, 165 questions avec au moins deux réponses citantes.
- Limites : quatre intentions exploitables ; 38 à 40 questions par intention ; ChatGPT par l'API ; 25 minutes. Les explications avancées (nombre de candidats) sont des hypothèses cohérentes, non testées.
- Ce que la page n'affirme pas : que la stabilité des marques recommandées dans le texte suit la même distribution (non mesurée).
Les fichiers des réponses et des citations, avec l'intention et l'identifiant de répétition de chaque ligne, permettent de recalculer ces valeurs.
Consulter l'AI Sources Index 2026Questions fréquentes
Quelles questions donnent les réponses les plus stables dans ChatGPT ?
Les comparaisons entre solutions nommées : 74 % de sources communes entre deux répétitions, 42,5 % de sources présentes aux quatre répétitions, dans l'étude Evocia. Les questions ouvertes de découverte sont les moins stables (41 % de sources communes).
Pourquoi une question de recommandation est-elle instable ?
C'est l'intention qui produit le plus de citations (4,06 par réponse) et le plus de domaines distincts (158 pour 160 réponses). Le moteur a beaucoup de candidats et en retient quelques-uns, différents d'une répétition à l'autre. L'étude observe cette tendance ; elle n'en teste pas la cause.
Faut-il mesurer sa visibilité sur toutes les intentions ?
Oui, séparément : les taux de présence ne sont pas comparables d'une intention à l'autre, parce que leur variabilité de fond diffère du simple au double. Un panel de mesure doit répartir ses questions par intention et juger chaque résultat par rapport à la référence de son intention.
Sources
Transparence et méthode
Auteur
Evocia · Cabinet français de visibilité dans les IA
Evocia mesure la visibilité des entreprises dans les réponses des IA et publie ses données. Cette page fait partie de la série de données de l'AI Sources Index 2026.
Comment cet article a été réalisé
- Page de données publiée le 17 septembre 2026. Chiffres repris du fichier de résultats de l'étude (corpus principal) ; aucun chiffre saisi à la main.
- L'intention « problème » est présentée mais exclue de l'interprétation, faute d'effectif. Les explications sont signalées comme hypothèses.
Historique des mises à jour
- 17 septembre 2026Publication initiale.