Combien de fois répéter une question à ChatGPT pour mesurer sa visibilité ? Ce que quatre répétitions ont montré
Dans l'AI Sources Index 2026 d'Evocia, chaque question a été posée quatre fois à ChatGPT par des appels indépendants. Sur 870 couples question × domaine cité, 333 (38,3 %) n'apparaissent que dans une répétition : une mesure fondée sur une seule réponse par question aurait vu, ou manqué, chacun de ces couples au hasard. 236 couples (27,1 %) apparaissent aux quatre répétitions : ce sont les seuls dont une réponse unique aurait donné une image fiable. Entre les deux, 301 couples (34,7 %) apparaissent deux ou trois fois. Quatre répétitions ont suffi à produire cette distribution, une référence de similarité entre répétitions (Jaccard 0,55) et une référence de comparaison entre groupes de répétitions (0,60), pour 40,11 dollars et 25 minutes sur 1 000 réponses.
Cette page répond à une question de méthode que se pose quiconque mesure la visibilité d'une entreprise dans un moteur génératif : combien de fois poser la question. L'étude ne fixe pas un nombre optimal ; elle montre ce que quatre répétitions distinguent, et ce qu'une seule ne distingue pas. L'étude complète est sur la page de l'AI Sources Index 2026.
L'essentiel en 60 secondes
- Avec une seule réponse par question, on observe chaque source occasionnelle (38,3 % des couples) avec une chance sur quatre, et chaque source fidèle (27,1 %) à coup sûr ; on ne peut pas les distinguer.
- Quatre répétitions distinguent quatre niveaux de présence (1 à 4 sur 4) et donnent une stabilité moyenne (0,58) et un Jaccard entre répétitions (0,55) qui servent de bruit de référence.
- Deux groupes de deux répétitions (1-2 contre 3-4) partagent 60 % de leurs sources : c'est la référence à dépasser pour qu'un écart entre deux relevés soit un signal.
- Le nombre de répétitions nécessaire dépend de l'intention : la comparaison est stable (0,69), la découverte ne l'est pas (0,52) ; à précision égale, la seconde demande plus de répétitions.
- Coût mesuré : 1 000 réponses avec recherche web, 40,11 dollars par l'API, 25 minutes. Répéter quatre fois 250 questions n'est pas un obstacle.
- Ce que quatre répétitions ne donnent pas : une estimation fine d'une présence rare (moins d'une fois sur quatre) ni la dérive dans le temps, qui demande de répéter le relevé à intervalles.
Ce qu'une seule réponse manque
En bref
Une réponse unique est un tirage parmi plusieurs possibles. Sur les couples question × domaine de l'étude, une réponse unique aurait fait apparaître chaque couple avec une probabilité égale à sa stabilité : une chance sur quatre pour les 333 couples présents une fois sur quatre, une chance sur deux pour les 157 présents deux fois, trois sur quatre pour les 144 présents trois fois, et à coup sûr pour les 236 présents quatre fois. En moyenne, une réponse unique aurait montré 58 % des sources que quatre répétitions révèlent.
| Présence du couple sur 4 répétitions | Couples | Part | Chance qu'une réponse unique le montre |
|---|---|---|---|
| 1 sur 4 | 333 | 38,3 % | 25 % |
| 2 sur 4 | 157 | 18,1 % | 50 % |
| 3 sur 4 | 144 | 16,6 % | 75 % |
| 4 sur 4 | 236 | 27,1 % | 100 % |
Corpus principal, 800 réponses, 870 couples. La dernière colonne est déduite de la présence observée ; elle suppose que chaque répétition est un tirage indépendant, ce qui est le protocole de l'étude. Source : Evocia, AI Sources Index 2026.
Le point n'est pas qu'une réponse unique est fausse : elle est vraie pour ce qu'elle montre. Le point est qu'elle ne dit pas si ce qu'elle montre est fidèle ou occasionnel. Une entreprise qui voit son nom dans une réponse et l'interprète comme une visibilité acquise a, dans ce corpus, moins d'une chance sur deux d'avoir raison (27,1 % de couples fidèles contre 38,3 % d'occasionnels).
Ce que quatre répétitions donnent
En bref
Trois choses. Une distribution : pour chaque source, sa présence sur une échelle de 1 à 4, qui sépare le fidèle de l'occasionnel. Une référence de bruit : le Jaccard moyen entre deux répétitions (0,55), en dessous duquel un changement de sources n'est pas un signal. Et une référence de comparaison entre relevés : deux groupes de deux répétitions partagent 60 % de leurs sources, ce qui fixe la similarité attendue entre deux mesures à conditions constantes.
| Ce qu'on veut savoir | Une répétition | Quatre répétitions |
|---|---|---|
| Une source est-elle présente ? | Oui ou non, sans nuance | Présente 0, 1, 2, 3 ou 4 fois |
| Une source est-elle fidèle ? | Impossible à dire | 4 sur 4 = fidèle ; 1 sur 4 = occasionnelle |
| Un changement entre deux relevés est-il un signal ? | Impossible à dire | Oui s'il dépasse le bruit mesuré (Jaccard 0,55 entre répétitions, 0,60 entre groupes de deux) |
| Une reformulation change-t-elle les sources ? | Confondu avec le bruit | Mesurable : 0,37 contre 0,60 |
| Quelle est la variabilité de mon secteur ou de mon intention ? | Inconnue | De 0,45 (legal) à 0,69 (e-commerce) ; de 0,41 (découverte) à 0,74 (comparaison) |
Source : Evocia, AI Sources Index 2026, sections « Stabilité » et « Reformulation ».
Quatre n'est pas un nombre magique. C'est le nombre qui, dans cette étude, a suffi à distinguer les deux groupes extrêmes de sources et à fournir des références. Une présence rare (une fois sur dix) demanderait davantage de répétitions pour être estimée ; une présence fidèle en demande moins. Le protocole complet de relevé, avec ses biais, est dans mesurer sa visibilité dans ChatGPT et les IA.
Ce que cela coûte
En bref
1 000 réponses de ChatGPT avec recherche web, par l'API Responses d'OpenAI, ont coûté 40,11 dollars, calculés à partir des usages renvoyés par l'API, et 25 minutes de collecte. Répéter quatre fois 250 questions coûte donc environ quatre centimes par réponse. Le facteur limitant d'une mesure n'est pas le coût des répétitions ; c'est la construction du panel de questions et l'analyse.
| Poste | Valeur mesurée |
|---|---|
| Réponses | 1 000 (250 questions × 4) |
| Coût total de l'API | 40,11 dollars |
| Coût par réponse | 0,04 dollar |
| Durée de collecte | 25 minutes (10:33 à 10:58 UTC, 14 septembre 2026) |
| Échecs | 0 (une réponse a nécessité une seconde tentative automatique) |
Source : Evocia, AI Sources Index 2026, rapport de qualité des données. Le coût dépend du modèle, du réglage de l'outil de recherche et de la longueur des réponses.
Limites
En bref
Les quatre répétitions ont eu lieu dans la même demi-heure : elles mesurent la variabilité à conditions constantes, pas la dérive dans le temps, qui demande de refaire le relevé à intervalles. Elles portent sur les sources citées, pas sur les marques nommées dans le texte. Et elles décrivent un modèle et une configuration précis, par l'API ; l'interface grand public peut varier autrement.
- Population : corpus principal, 200 questions, 800 réponses, 870 couples ; corpus d'expériences pour la référence de reformulation.
- Ce que la page n'affirme pas : que quatre répétitions suffisent dans tous les cas ; que la variabilité mesurée par l'API est celle de l'interface.
- Hypothèse du calcul : les répétitions sont des tirages indépendants, ce que le protocole garantit (appels sans historique ni cache) sans que l'indépendance statistique soit démontrée.
Le protocole, le prompt système, les réglages de l'API et les 250 questions sont publiés avec l'étude pour permettre une réplication à l'identique.
Consulter l'AI Sources Index 2026Questions fréquentes
Une capture d'écran de ChatGPT est-elle une mesure de visibilité ?
Non. Dans l'étude Evocia, 38 % des sources citées pour une question n'apparaissent que dans une réponse sur quatre. Une capture d'écran montre un tirage ; elle ne dit pas s'il est fidèle ou occasionnel.
Combien de répétitions faut-il ?
L'étude n'en fixe pas le nombre optimal. Quatre répétitions ont suffi à séparer les sources fidèles (27 %) des occasionnelles (38 %) et à fournir des références de bruit. Une présence rare ou une intention instable demandent davantage ; une présence fidèle, moins.
Combien coûte une mesure de visibilité par l'API ?
Dans l'étude, 40,11 dollars pour 1 000 réponses avec recherche web, soit quatre centimes par réponse, et 25 minutes de collecte. Le coût varie avec le modèle et les réglages ; il n'est pas le facteur limitant.
Sources
Transparence et méthode
Auteur
Evocia · Cabinet français de visibilité dans les IA
Evocia mesure la visibilité des entreprises dans les réponses des IA et publie ses données. Cette page fait partie de la série de données de l'AI Sources Index 2026.
Comment cet article a été réalisé
- Page de données publiée le 17 septembre 2026. Chiffres repris du fichier de résultats et du rapport de qualité de l'étude ; aucun chiffre saisi à la main.
- La colonne « chance qu'une réponse unique le montre » est une déduction arithmétique de la présence observée, sous l'hypothèse d'indépendance des répétitions, signalée comme telle.
Historique des mises à jour
- 17 septembre 2026Publication initiale.