ChatGPT donne-t-il les mêmes sources quand on pose quatre fois la même question ?
Dans l'AI Sources Index 2026 d'Evocia, chacune des 200 questions du corpus principal a été posée quatre fois à ChatGPT, par des appels indépendants, dans une fenêtre de 25 minutes. Sur les 870 couples « question × domaine cité » ainsi obtenus, 333 (38,3 %) n'apparaissent que dans une réponse sur quatre, 157 (18,0 %) dans deux, 144 (16,6 %) dans trois et 236 (27,1 %) dans les quatre. La similarité moyenne entre deux répétitions d'une même question, mesurée par l'indice de Jaccard sur les domaines cités, est de 0,55. Vingt et une requêtes sur 157 (13,4 %) ont cité exactement le même ensemble de domaines à chacune des quatre répétitions.
Ces chiffres ne mesurent pas une dérive dans le temps : les quatre répétitions ont eu lieu dans la même demi-heure, avec le même modèle et les mêmes réglages. Ils mesurent la variabilité propre du moteur, à conditions constantes. L'étude complète est sur la page de l'AI Sources Index 2026.
L'essentiel en 60 secondes
- Sur 870 couples question × domaine, 38,3 % n'apparaissent que dans une réponse sur quatre ; 27,1 % apparaissent dans les quatre. Stabilité moyenne : 0,58 (une source citée l'est en moyenne dans 2,3 réponses sur 4).
- La similarité de Jaccard moyenne entre les ensembles de domaines de deux répétitions d'une même question est de 0,55 (165 questions ayant au moins deux réponses citantes).
- 13,4 % des requêtes (21 sur 157) ont obtenu exactement les mêmes domaines aux quatre répétitions.
- La variabilité dépend de l'intention : pour une comparaison de solutions nommées, 42,5 % des sources sont présentes à chaque fois (Jaccard 0,74) ; en découverte de solutions, 17,3 % (Jaccard 0,41).
- Elle dépend aussi du secteur : stabilité de 0,69 en e-commerce, 0,45 en legal et conformité.
- Conséquence : une capture d'écran n'est pas une mesure. Une visibilité se relève sur plusieurs répétitions, et se compare à une référence de variabilité.
Le chiffre : quatre répétitions, quatre listes de sources
En bref
Une source citée pour une question donnée l'est, en moyenne, dans 2,3 des 4 répétitions. La distribution est bimodale : le plus gros groupe de couples question et domaine (38,3 %) n'apparaît qu'une fois, le second (27,1 %) apparaît à chaque fois. Entre les deux, 34,6 % des couples apparaissent deux ou trois fois.
| Nombre de répétitions où la source est citée (sur 4) | Couples question × domaine | Part |
|---|---|---|
| 1 sur 4 | 333 | 38,3 % |
| 2 sur 4 | 157 | 18,0 % |
| 3 sur 4 | 144 | 16,6 % |
| 4 sur 4 | 236 | 27,1 % |
Corpus principal : 200 questions × 4 répétitions ; 171 questions ont au moins une citation ; 870 couples distincts. Source : Evocia, AI Sources Index 2026.
La lecture par requête est plus parlante encore. Sur les 157 questions qui ont déclenché une recherche aux quatre répétitions, 21 ont produit exactement le même ensemble de domaines quatre fois. Les 136 autres ont vu au moins une source apparaître ou disparaître d'une répétition à l'autre. Une entreprise qui constate sa présence dans une réponse a donc, en moyenne sur les sources observées dans l'étude, environ deux chances sur trois (66 %) d'y être encore à une autre répétition, et une sur trois de disparaître. C'est une moyenne : la valeur est nulle pour une source occasionnelle et certaine pour une source fidèle, et la même distribution donne d'autres lectures (sur 100 sources qu'une réponse unique fait voir, environ 47 sont présentes aux quatre répétitions), détaillées dans combien de fois répéter une requête.
À retenir
Pour citer cette donnée : « Dans l'AI Sources Index 2026 d'Evocia, quand une même question d'achat B2B est posée quatre fois à ChatGPT dans la même demi-heure, 38 % des couples question et domaine cité n'apparaissent que dans une réponse sur quatre, et 21 questions sur 157 seulement obtiennent le même ensemble de sources à chaque fois. »
L'indice de Jaccard : 0,55 entre deux réponses à la même question
En bref
L'indice de Jaccard compare deux ensembles : domaines communs divisés par domaines de l'union. Il vaut 1 quand deux réponses citent exactement les mêmes domaines, 0 quand elles n'en partagent aucun. Sur les 165 questions ayant au moins deux réponses citantes, la moyenne est de 0,55 : pour chaque question, on fait la moyenne des paires de répétitions dont au moins une réponse cite (au plus six paires ; une paire où une seule réponse cite compte 0), puis la moyenne sur les questions. Le Jaccard n'est pas une part de sources retrouvées : d'une réponse citante à une autre de la même question, 69,9 % des domaines de la première se retrouvent dans la seconde, en moyenne.
Cette valeur mesure le bruit entre deux réponses isolées. Pour une reformulation, l'étude compare des unions de quatre réponses : deux formulations voisines partagent en moyenne 0,37 de leurs domaines, contre 0,60 pour la même formulation répétée, mesurée de la même façon (union des répétitions 1 et 2 contre union des répétitions 3 et 4). C'est cet écart, et non la comparaison avec 0,55, qui donne l'ordre de grandeur de l'effet d'une reformulation. Le détail est dans reformuler une question change les sources de ChatGPT.
Une autre façon de le dire : sur 165 questions, 23 (13,9 %) ont un ensemble de domaines identique sur toutes leurs répétitions citantes. Pour les 142 autres, la liste des sources d'une réponse est une version parmi plusieurs, pas la liste.
La stabilité dépend de ce qu'on demande
En bref
La stabilité varie avec l'intention. Une comparaison de solutions nommées (« X ou Y ? ») obtient 42,5 % de couples question et domaine présents aux quatre répétitions et un Jaccard de 0,74. Une question de découverte (« quels types d'outils existent pour… ») n'en obtient que 17,3 %, avec un Jaccard de 0,41.
| Intention | Couples question × domaine | Présents 1 fois sur 4 | Présents 4 fois sur 4 | Stabilité moyenne | Jaccard entre répétitions |
|---|---|---|---|---|---|
| Comparaison | 167 | 24,6 % | 42,5 % | 0,69 | 0,74 (40 questions) |
| Décision ou achat | 204 | 38,7 % | 31,4 % | 0,60 | 0,56 (40) |
| Recommandation | 276 | 39,9 % | 22,1 % | 0,56 | 0,46 (38) |
| Découverte de solutions | 197 | 45,2 % | 17,3 % | 0,52 | 0,41 (38) |
| Problème ou besoin | 26 | 53,8 % | 23,1 % | 0,52 | 0,63 (9) |
Corpus principal. L'intention « problème » compte peu de couples (26) parce que ChatGPT y cherche rarement ; son Jaccard porte sur 9 questions seulement et n'est pas interprétable. Source : Evocia, AI Sources Index 2026.
L'explication la plus simple tient au nombre de candidats : une comparaison entre deux produits nommés a peu de sources possibles (les deux éditeurs, parfois leur documentation), une découverte de catégorie en a des dizaines. L'étude n'a pas testé cette explication, mais elle est cohérente avec le nombre de domaines distincts par intention : 105 en comparaison, 158 en recommandation. La page stabilité des sources selon l'intention développe ce point.
Et du secteur
En bref
La stabilité moyenne va de 0,69 en e-commerce et paiements à 0,45 en legal, compliance et RegTech. Le lien avec le nombre de domaines cités est faible (corrélation de rang de -0,44 sur dix secteurs) : le legal, qui cite le plus de domaines (72), est aussi l'un des deux secteurs les moins stables, sans écart établi avec la finance (0,49) ; le CRM, qui en cite le moins (17), n'est qu'à 0,62, sans écart établi avec l'e-commerce (34 domaines).
| Secteur | Stabilité moyenne | Domaines cités | Secteur | Stabilité moyenne | Domaines cités |
|---|---|---|---|---|---|
| E-commerce et paiements | 0,69 | 34 | Service client et CCaaS | 0,60 | 29 |
| Marketing automation | 0,66 | 38 | RH et recrutement | 0,57 | 39 |
| Data et analytics | 0,65 | 31 | Cybersécurité | 0,56 | 33 |
| CRM et ventes | 0,62 | 17 | Finance et dépenses | 0,49 | 45 |
| Cloud et infrastructure | 0,62 | 33 | Legal, compliance, RegTech | 0,45 | 72 |
80 réponses par secteur. Source : Evocia, AI Sources Index 2026.
Ce que cela change pour la mesure
En bref
Une présence observée une fois est une observation, pas une visibilité. Pour mesurer, il faut répéter chaque question plusieurs fois, dans des conditions identiques, et rapporter la présence d'une entreprise au nombre de répétitions. Il faut aussi disposer d'une référence de variabilité, comme le Jaccard de 0,55 mesuré ici, pour savoir si un changement observé dépasse le bruit du moteur.
- Répéter : quatre répétitions donnent déjà une distribution lisible ; la page combien de fois répéter une requête discute le nombre nécessaire.
- Comparer à une référence : un écart de sources entre deux relevés n'est un signal que s'il dépasse la variabilité à conditions constantes.
- Distinguer les sources fidèles des sources occasionnelles : certains domaines sont présents presque à chaque fois qu'ils apparaissent (shopify.com : 0,98), d'autres une fois sur deux (cnil.fr : 0,49). Voir les sites cités le plus régulièrement.
- Ne pas confondre avec la dérive dans le temps : d'autres études mesurent le renouvellement des sources d'une semaine à l'autre ; cette mesure-ci porte sur la même demi-heure. Les deux phénomènes s'additionnent.
Méthode et limites
En bref
Quatre appels indépendants par question (sans historique, sans cache), même modèle (gpt-5.6-terra), mêmes réglages, fenêtre de 25 minutes le 14 septembre 2026. Une paire question × domaine compte le nombre de répétitions où le domaine est cité. Le Jaccard est calculé sur les ensembles de domaines, pas d'URL : au niveau des URL, la variabilité serait plus forte.
- Population : corpus principal, 200 questions, 800 réponses, 171 questions avec citation, 870 couples.
- Ce que la donnée établit : la variabilité des sources citées à conditions constantes, pour ce modèle et cette configuration.
- Ce qu'elle n'établit pas : la variabilité des marques recommandées dans le texte (non mesurée) ; la variabilité de l'interface grand public ; la dérive dans le temps ; les causes de la variabilité (le réglage de température n'a pas été envoyé, les défauts de l'API s'appliquent).
Le fichier des citations, avec l'identifiant de répétition de chaque réponse, permet de recalculer ces distributions avec d'autres seuils.
Consulter l'AI Sources Index 2026Questions fréquentes
Pourquoi ChatGPT ne donne-t-il pas la même réponse deux fois ?
La génération d'un modèle de langage est probabiliste. Une explication possible, non testée : à réglages égaux, deux appels peuvent lancer des recherches légèrement différentes, donc retrouver des pages différentes, donc citer des sources différentes. L'étude mesure l'ampleur du phénomène sur les sources (Jaccard 0,55 entre deux répétitions) sans en analyser les causes internes.
Une source présente dans les quatre répétitions est-elle « acquise » ?
Non. Elle est stable à conditions constantes, à une date donnée. Un changement de modèle, d'index ou de formulation peut la faire disparaître. Dans l'étude, deux formulations voisines d'une même question ne partagent en moyenne que 0,37 de leurs domaines (unions de quatre réponses), contre 0,60 pour la même formulation répétée.
Combien de répétitions faut-il pour mesurer une visibilité ?
Assez pour que la présence d'une entreprise soit rapportée à une distribution plutôt qu'à une observation. Quatre répétitions ont suffi ici à distinguer sources fidèles (27 %) et occasionnelles (38 %). Le nombre dépend de la précision recherchée ; la page dédiée en discute.
Sources
Transparence et méthode
Auteur
Evocia · Cabinet français de visibilité dans les IA
Evocia mesure la visibilité des entreprises dans les réponses des IA et publie ses données. Cette page fait partie de la série de données de l'AI Sources Index 2026.
Comment cet article a été réalisé
- Page de données publiée le 17 septembre 2026. Chiffres recalculés depuis l'export brut de l'API (corpus principal, 800 réponses) ; aucun chiffre saisi à la main.
- Stabilité d'une paire = nombre de répétitions (sur 4) où le domaine est cité pour la question. Jaccard = domaines communs / domaines de l'union ; par question, moyenne des paires de répétitions dont au moins une réponse cite (au plus six, une paire où une seule réponse cite valant 0), puis moyenne sur les 165 questions ayant au moins deux réponses citantes.
- Les explications avancées (nombre de candidats par intention) sont des hypothèses non testées, signalées comme telles.
Historique des mises à jour
- 15 octobre 2026Section « Et du secteur », relue par rééchantillonnage des questions contre chaque secteur (A13, 15 octobre 2026) : le legal n'est plus « le moins stable », sa stabilité (0,45) ne se distinguant pas de celle de la finance (0,49) avec 20 questions par secteur ; il est dit « l'un des deux secteurs les moins stables ». L'e-commerce n'est plus « le plus stable » (sa stabilité ne se distingue que de celles de la cybersécurité, de la finance et du legal, pas de celles des six autres secteurs, dont le CRM), et le CRM n'est plus « le plus concentré » : sa part du top 10 et son HHI ne se départagent pas de ceux d'autres secteurs ; seul son nombre de domaines, le plus petit, l'est. « Le plus dispersé » devient « qui cite le plus de domaines ». Aucune valeur ne change.
- 17 septembre 2026Publication initiale.
- 21 septembre 2026Le 38 % est rapporté à ce qu'il mesure : des couples question et domaine, pas des sources.
- 21 septembre 2026Description et formulation citable : « 13 % » devient « 21 requêtes sur 157 », le format de l'étude ; rien d'autre.
- 5 octobre 2026Correction d'une probabilité : une source vue dans une réponse a environ deux chances sur trois (66 %) d'être présente à une autre répétition, et non « un peu plus d'une chance sur deux » ; valeur recalculée depuis le fichier des citations et contrôlée par dénombrement direct, avec renvoi vers la page des répétitions pour les autres lectures de la même distribution. 157 couples font 18,0 % des 870 (et non 18,1 %).
- 10 octobre 2026Correction d'un décompte : 23 questions sur 165 (13,9 %), et non 21, ont exactement le même ensemble de domaines sur toutes leurs répétitions citantes ; deux questions à deux réponses citantes identiques manquaient. La convention de calcul du Jaccard est écrite. La comparaison avec la reformulation se fait désormais avec la référence de même nature (0,37 contre 0,60), et le Jaccard n'est plus lu comme une part de sources retrouvées (69,9 % des domaines d'une réponse se retrouvent dans une autre). Le lien entre dispersion des sources et stabilité par secteur est décrit comme faible. Chapô : « dans la même demi-heure » et « 21 requêtes sur 157 ».
- 10 octobre 2026Unité corrigée : les parts de 38,3 %, 27,1 % et 34,6 % portent sur des couples question et domaine, et non sur des sources. « Plus la question est précise, plus les sources sont stables » devient « la stabilité varie avec l'intention » (la précision n'est pas mesurée ; l'intention « problème » a un Jaccard de 0,63). Le mécanisme des recherches différentes est présenté comme une explication possible, non testée.