Aller au contenu
Evocia
Toutes les ressources

Mesure

Comparer sa visibilité IA à ses concurrents : à partir de quel écart pouvez-vous conclure ?

Par Evocia8 novembre 2026· Mis à jour le 12 novembre 2026· 15 min de lecture

Partager

Comparer sa visibilité à celle de ses concurrents dans ChatGPT, c'est d'abord savoir si l'écart dépasse le hasard. Pour un panel de vingt requêtes répétées quatre fois, retenez cet ordre de grandeur : sous 10 points, ne concluez pas ; de 10 à 15 points, vous tenez un indice à confirmer ; au-delà de 15 points, l'ordre devient une hypothèse de travail sur ce panel, à ce moment-là. Ce n'est ni une règle universelle ni la preuve d'une cause.

Exemple fictif : votre concurrent apparaît dans 30 % des réponses, vous dans 22 %. Ces 8 points ne disent ni qu'il est devant vous, ni que vous êtes à égalité. Pour que 8 points suffisent, il faudrait environ 230 observations indépendantes par marque.

Le protocole de relevé est dans mesurer sa visibilité dans ChatGPT et les IA, la définition et le calcul de la part de voix (le poids de votre marque parmi les marques suivies) dans Share of Voice IA. Ici, une seule question : quel écart croire.

L'essentiel en 60 secondes

  • À 30 % contre 22 %, le calcul d'Evocia demande 13,6 points d'écart avec 80 observations par marque, 27,2 avec 20.
  • Vingt requêtes répétées quatre fois font 80 réponses, pas 80 observations indépendantes : ajoutez des requêtes plutôt que des répétitions.
  • Sur 280 paires de domaines cités par ChatGPT le 14 septembre 2026, l'ordre s'inverse au moins une fois sur quatre répétitions dans 47 paires sur 66 sous 5 points d'écart, 14 sur 66 de 5 à moins de 10 points, et jamais au-delà de 8,75 points.
  • Sans inversion, l'ordre n'est pas établi : de 10 à moins de 15 points, 12 paires sur 41 finissent encore à égalité sur au moins une répétition.
  • Comparez des fréquences relevées dans les mêmes conditions, pas des rangs dans une réponse.
  • Un écart réel ne dit ni sa cause, ni son poids commercial, ni ce qui se passe sur Claude, Gemini, Perplexity ou Copilot.

Le seuil, et ce qu'il suppose

En bref

L'écart minimal dépend du nombre d'observations et du niveau de présence des deux marques : à 30 % contre 22 %, 13,6 points avec 80 observations par marque, 27,2 avec 20. C'est un ordre de grandeur, valable seulement si les deux marques sont mesurées dans les mêmes conditions.

Le calcul

Écart minimal, en points = 1,96 × racine(2 × p × (1 - p) ÷ n) × 100, où p est la présence moyenne des deux marques et n le nombre d'observations par marque. Exemple : p = 0,26 (30 % et 22 %) et n = 80 donnent 13,6 points. Ce calcul est celui d'Evocia : il applique à deux effectifs égaux, au seuil de 5 %, le test z de deux proportions décrit par le NIST. Le NIST présente ce test, pas cette formule ni un intervalle de confiance de l'écart.

Il suppose des observations indépendantes, deux chiffres issus de la même mesure et une seule paire de marques, choisie avant de voir les résultats. Aucune de ces conditions n'est acquise dans un relevé réel.

La fourchette d'un taux seul (environ 9,3 points autour de 35 % sur 100 réponses) ne vaut pas pour l'écart entre deux taux, qui cumule deux incertitudes : sa marge est environ 1,4 fois plus large. Et ne pas conclure n'est pas conclure à l'égalité : votre concurrent peut être devant, à égalité ou derrière. Écrivez « l'écart observé ne permet pas de nous départager », pas « nous sommes au même niveau ».

Le tableau : quel écart selon le nombre d'observations

En bref

Plus vous avez d'observations indépendantes, plus un petit écart devient lisible. À 30 % de présence moyenne, le calcul donne 28,4 points pour 20 observations par marque, 14,2 pour 80, 9 pour 200, 5,7 pour 500 et 4 pour 1 000. Diviser l'écart lisible par deux demande quatre fois plus d'observations.

Observations par marque (n)Écart minimal en points, présence moyenne 10 %Présence moyenne 20 %Présence moyenne 30 %Présence moyenne 50 %
2018,624,828,431,0
5011,815,718,019,6
809,312,414,215,5
1008,311,112,713,9
2005,97,89,09,8
5003,75,05,76,2
1 0002,63,54,04,4

Calcul Evocia, au seuil de 5 %, observations supposées indépendantes : des ordres de grandeur. Le NIST réserve l'approximation utilisée aux échantillons assez grands et conseille le test exact de Fisher sur les petits : les valeurs à n = 20, surtout à 10 % de présence, sont les plus fragiles.

Vingt requêtes répétées quatre fois : n = 80 ou n = 20 ?

Ce n = 80 est nominal. Les quatre répétitions d'une requête portent sur la même question et, dans notre étude, tiennent dans la même demi-heure : elles ne sont pas indépendantes. À 30 % de présence, le seuil réel n'est pas connu : 14,2 points en est la borne optimiste (répétitions traitées comme indépendantes) et 28,4 points la borne pessimiste (20 requêtes seulement, sans aucun apport des répétitions).

Notre recommandation : pour lire des écarts plus fins, ajoutez des requêtes, pas des répétitions, qui mesurent surtout la stabilité d'une question. Pour trouver ces requêtes supplémentaires, l'outil gratuit Questions IA en construit à partir de votre site, classées par catégorie d'acheteur. Figez le panel élargi avant la mesure, sinon vos deux campagnes deviennent incomparables.

Une lecture plus fine : compter requête par requête

Avec les relevés, gardez les requêtes où l'une des deux marques apparaît dans plus de répétitions que l'autre, et comptez le score. Exemple fictif : sur vingt requêtes, Orvimbe passe devant Quenzalis sur 5, Quenzalis devant Orvimbe sur 3, et les 12 autres sont à égalité. Sur 8 requêtes départagées, il faudrait 8 contre 0 : 5 contre 3 ne départage personne.

Requêtes où l'une passe devant l'autreScore minimal pour conclureScore juste en dessous
66 contre 05 contre 1
88 contre 07 contre 1
109 contre 18 contre 2
1512 contre 311 contre 4
2015 contre 514 contre 6
3021 contre 920 contre 10

Calcul Evocia : test du signe bilatéral au seuil de 5 % (loi binomiale exacte), requêtes supposées indépendantes. Méthode standard, donnée comme repère : elle n'est pas appliquée dans la mesure présentée plus bas.

Ce que mesurent nos données : à quel écart l'ordre de deux domaines s'inverse

En bref

Sur 280 paires de domaines cités par ChatGPT le 14 septembre 2026, l'ordre de deux domaines s'inverse souvent d'une répétition à l'autre sous 5 points d'écart moyen, de moins en moins jusqu'à 10 points, jamais au-delà de 8,75 points. Domaines cités, un seul moteur : le résultat ne se transpose ni aux marques nommées ni aux autres moteurs.

Écart moyen entre deux domainesPairesInversion sur au moins une répétitionInversion ou ex aequo sur au moins une répétition
0 à moins de 5 points6647, soit 71 % (47 à 49)66, soit 100 %
5 à moins de 10 points6614, soit 21 % (14 à 16)54, soit 82 % (50 à 55)
10 à moins de 15 points410, soit 0 %12, soit 29 % (11 à 13)
15 points et plus1070, soit 0 %1, soit 1 %

Evocia, AI Sources Index 2026, dataset A : ChatGPT seul par l'API d'OpenAI, 14 septembre 2026, 200 requêtes, 10 secteurs, 4 répétitions, 2 259 citations. Domaines cités, pas marques nommées. Inversion : le domaine le moins présent en moyenne passe strictement devant dans au moins une répétition. Un écart de 5, 10 ou 15 points exactement compte dans la tranche qu'il ouvre. Entre parenthèses : minimum et maximum de chaque comptage selon le départage des ex aequo au huitième rang. Règles complètes dans la méthodologie. Données propres à Evocia, ouvertes, non auditées par un tiers.

Et les 8 points de l'exemple ? Les écarts vont ici par pas de 1,25 point, aucune paire n'est à 8 points. À 7,5 points, 3 paires sur 18 s'inversent (3 à 4) et 11 s'inversent ou finissent à égalité (9 à 12) ; à 8,75 points, 1 sur 15 s'inverse et 11 s'inversent ou finissent à égalité (10 à 11). Détail par tranche de 2 points en méthodologie.

Observé

Présence d'un domaine : part des 20 requêtes de son secteur où il est cité, à chaque répétition, moyennée sur les quatre. Dans chaque secteur, les 8 domaines les plus présents sont comparés deux à deux : 28 paires par secteur, 280 en tout. Calcul en entiers, sans arrondi ; une égalité au huitième rang se départage par ordre alphabétique, ce qui déplace quelques paires (plages du tableau) sans changer l'absence d'inversion à partir de 10 points. Tout se recalcule depuis les fichiers requetes.csv et citations.csv des données ouvertes.

Les limites de cette mesure

  • Un moteur, un jour, une demi-heure. ChatGPT seul, par l'API, le 14 septembre 2026. Les quatre répétitions tiennent dans la même demi-heure, ne sont pas indépendantes et ne disent rien de la dérive d'une semaine à l'autre.
  • Des domaines, pas des marques. Sites cités en lien, pas marques nommées dans le texte : aucune extrapolation aux marques n'est établie.
  • Une résolution grossière. Avec 20 requêtes, une répétition se lit par pas de 5 points, la moyenne de quatre par pas de 1,25 point. 30 paires sur 280 tombent exactement sur 5, 10 ou 15 points : les classer dans la tranche inférieure changerait les comptages (méthodologie).
  • Des paires liées. Les paires d'un même secteur partagent des domaines et des requêtes : 280 paires ne valent pas 280 observations indépendantes.
  • Une sélection faite sur la même donnée. Les 8 domaines sont choisis d'après les chiffres analysés ensuite, et des ex aequo au huitième rang rendent ce choix en partie arbitraire dans quatre secteurs (d'où les plages). Le huitième domaine apparaît en moyenne dans 1 à 3 requêtes sur vingt selon le secteur (5 à 15 % de présence). Les paires comparées sont donc souvent moins présentes que l'exemple à 30 % : présence moyenne médiane de 14,4 % sous 5 points d'écart, 17,5 % de 5 à moins de 10, 16,9 % de 10 à moins de 15 et 25,6 % au-delà ; 91 paires sur 280 sont à 25 % ou plus.
  • Pas un test statistique. Une inversion observée sur quatre répétitions est un constat, pas une mesure de significativité.

Pourquoi 9 points ici et 14 dans le calcul ?

Les inversions disparaissent vers 9 points, sous les 14 points environ de la formule à n = 80 : l'un compte des bascules sur quatre répétitions proches, l'autre fixe un seuil de décision pour des échantillons indépendants. Lisez le premier comme un plancher d'observation, pas comme un seuil suffisant.

Attention

À partir de 10 points, l'absence d'inversion ne suffit pas : un ex aequo survient encore dans 12 paires sur 41 de 10 à moins de 15 points (11 à 13 selon le départage), dont 5 à exactement 10 points (4 à 6). Il faut atteindre 15 points pour que ce cas devienne rare (1 paire sur 107), toujours sur ce relevé.

Pourquoi le rang se compare mal, et la fréquence mieux

En bref

Un rang isolé n'a pas de sens : SparkToro relève moins d'une chance sur 100 d'obtenir deux fois la même liste, et environ une sur 1 000 d'obtenir le même ordre. La même observation juge raisonnable un pourcentage de visibilité calculé sur des dizaines ou des centaines de requêtes répétées. C'est ce pourcentage qu'il faut comparer, avec sa marge.

Observé

SparkToro, janvier 2026, avec Gumshoe.ai : 600 volontaires, 12 requêtes, 2 961 exécutions sur ChatGPT, Claude et les réponses IA de Google, fin 2025. Le chiffre sur les listes vaut pour ChatGPT et Google. Il s'agit d'une observation limitée : l'auteur écrit que l'équipe ne compte ni chercheurs de métier ni spécialistes diplômés des données, la page ne décrit aucune revue par les pairs, et il signale lui-même un possible conflit d'intérêts avec l'outil partenaire.

Ce que l'on compareCe que cela vautQuoi en faire
Le rang dans une réponseUn seul tirageUn exemple, pas une mesure
Le rang moyen sur de nombreuses réponsesDescriptif, de portée douteuse selon SparkToroÀ lire après la fréquence, jamais à sa place
La fréquence sur un seul relevéEncore très variableNe départage pas
La fréquence sur un panel répété, avec sa margeLe repère le plus lisibleÀ comparer au même protocole

Lecture d'Evocia, sur la base des sources de cet article.

Notre étude montre le même risque sur un autre indicateur, la part de citations du premier domaine d'un secteur (ses citations rapportées à toutes celles du secteur) : elle varie de 3,5 à 10,3 points d'une répétition à l'autre selon le secteur, et dans six secteurs sur dix une répétition seule place un autre domaine en tête. Ce n'est pas une présence par requête, à ne pas comparer au tableau des inversions. Détail dans les KPI du GEO et de l'AEO, deux noms de l'optimisation pour les moteurs de réponse.

Ce qui rend deux chiffres comparables

En bref

Deux chiffres ne se comparent que s'ils partagent le même panel de requêtes, sans requête de marque, le même moteur et le même mode (avec ou sans recherche web), la même période, la même règle de comptage et la même liste de marques, fixée avant la mesure, ce qui est rare entre deux outils. Un chiffre se lit par moteur et par mode, sans moyenne entre eux, et une part de voix change si la liste change sans qu'aucune réponse ait bougé. Sinon, l'écart peut venir de la mesure, et aucun seuil statistique ne corrige ce défaut. Le plus simple est de compter toutes les marques dans les mêmes réponses, selon le protocole du guide de mesure.

Le cas le plus courant est aussi le plus trompeur : votre chiffre vient d'un outil, celui du concurrent d'un test manuel ou d'un autre outil. Les deux peuvent être justes et leur écart ne rien signifier. Le choix d'un outil de mesure traite ce point côté achat. Ce que chaque outil nommé documente (assistants, pays, réponses par question, définition de sa part de voix) est rassemblé dans la grille Otterly, Semrush, Ahrefs Brand Radar et Qwairy.

Ce qu'un écart réel ne dit pas

En bref

Un écart qui dépasse le seuil dit qu'une marque apparaît plus souvent que l'autre sur ce panel, ce moteur et cette période. Le reste s'établit séparément, avant d'engager un budget.

  • La cause. Accès des robots, sources citées, connaissance apprise par le modèle : l'écart ne désigne aucune piste. Le diagnostic d'une absence les examine une à une.
  • Le poids commercial. Un panel n'est pas un volume de demande : un écart sur des requêtes éloignées de vos acheteurs peut être réel et sans intérêt.
  • Les autres moteurs. Nos mesures portent sur ChatGPT seul. Le calcul vaut ailleurs comme arithmétique, mais la variabilité de Claude, Gemini, Perplexity et Copilot se mesure sur leurs propres répétitions, avec un chiffre par moteur.
  • La nature de la présence. Être nommé plus souvent ne signifie pas être recommandé plus souvent : mention et citation se comptent séparément.
  • La durée. Un écart mesuré à une date reste à confirmer à une autre, sur le même panel.

Lire un comparatif reçu : les questions à poser avant de décider

En bref

Demandez d'abord comment chaque chiffre a été obtenu, avec les sept questions ci-dessous, puis situez l'écart dans la grille : ne rien conclure, remesurer ou analyser les sources.

  1. 1Combien de requêtes distinctes, de répétitions, à quelles dates ? Un total de réponses ne suffit pas.
  2. 2Quels sont le numérateur et le dénominateur de chaque pourcentage ?
  3. 3Toutes les marques ont-elles été relevées dans les mêmes réponses, sur le même moteur et dans le même mode ?
  4. 4Le panel et la liste des concurrents ont-ils été fixés avant la mesure, ou choisis après ?
  5. 5Les requêtes contenant le nom d'une marque sont-elles exclues ?
  6. 6Puis-je voir le relevé requête par requête, pour le comptage décrit plus haut ?
  7. 7Combien de marques sont comparées ? Cinq marques font dix paires : si ces comparaisons étaient indépendantes, ce qu'elles ne sont pas, une au moins dépasserait le seuil par hasard dans environ 40 % des cas. Un écart isolé ne vaut pas signal.
Écart, panel de 20 requêtes répétées 4 foisNos données et le calculNotre recommandation
Moins de 5 pointsInversion dans 71 % des pairesIndiscernable : aucune décision
5 à 10 pointsInversion dans 21 % des pairesRien à annoncer ; élargir le panel si la question compte
10 à 15 pointsAucune inversion, ex aequo dans 29 % ; sous le calcul à n = 80Indice à confirmer à une autre date, même panel
15 à 28 pointsUn seul ex aequo ; entre les calculs à n = 80 et n = 20Hypothèse de travail : analyser les sources, remesurer avant une décision coûteuse
Plus de 28 pointsAu-dessus du calcul à n = 20Écart sérieux sur ce panel ; cause à établir

Repères d'Evocia pour ce format de panel : un ordre de grandeur, ni règle universelle ni preuve de cause. Seuils calculés à 30 % de présence ; les paires observées (ChatGPT seul, domaines cités, 14 septembre 2026) ont une présence variable, souvent plus basse. Chaque tranche inclut sa borne basse et exclut sa borne haute. Pour un autre panel, repartez du tableau d'écart minimal.

Si l'écart survit à ces questions, relevez les sources citées avec votre concurrent et pas avec vous : cette analyse est décrite dans Share of Voice IA. Pour suivre le même écart à panel constant, Evocia propose un suivi de visibilité IA.

Vous voulez un premier repère sur votre catégorie ? Le test gratuit d'Evocia pose trois questions sur plusieurs moteurs et vous envoie une synthèse courte, avec ses conditions de mesure et les sources citées. Trois questions ne départagent pas deux marques : elles montrent qui est nommé, et où commencer à mesurer.

Tester ma visibilité IA

Questions fréquentes

Ces seuils valent-ils pour Claude, Gemini, Perplexity et Copilot ?

Pas nos mesures d'inversion, faites sur ChatGPT seul par l'API d'OpenAI, le 14 septembre 2026, et sur des domaines. Le calcul d'écart minimal s'applique, à condition de mesurer chaque moteur sur ses propres répétitions.

Sources

Transparence et méthode

Auteur

Evocia · Équipe française de croissance SEO, GEO et AEO

Evocia est une équipe française de croissance SEO, GEO et AEO : elle mesure et améliore la visibilité des entreprises sur Google et dans les réponses des IA. Elle vend des abonnements de suivi et d'amélioration : elle a intérêt à ce que vous mesuriez, et ses données ouvertes permettent de vérifier ses chiffres.

Qui écrit ces contenus, et comment nous les vérifions

Comment cet article a été réalisé

  • Le comptage des inversions a été calculé le 6 novembre 2026 depuis requetes.csv et citations.csv (dataset A) de l'AI Sources Index 2026. C'est une analyse complémentaire, faite après coup et hors du protocole publié de l'étude.
  • Calcul en entiers : pour chaque domaine, on compte à chaque répétition les requêtes distinctes de son secteur où il est cité (0 à 20), puis on additionne les quatre répétitions (0 à 80). Chaque unité de différence entre deux sommes vaut 1,25 point d'écart, ce qui évite tout arrondi.
  • Tranches : chacune inclut sa borne basse et exclut sa borne haute, si bien qu'un écart de 5, 10 ou 15 points exactement (30 paires sur 280) compte dans la tranche qui commence à cette valeur. Avec la convention inverse, on obtiendrait 51 inversions sur 77 paires, 10 sur 64, 0 sur 42 et 0 sur 97, et 7 inversions ou ex aequo sur 42 paires de plus de 10 à 15 points. L'absence d'inversion au-delà de 8,75 points n'en dépend pas.
  • Détail par tranche de 2 points, même règle : 29 inversions sur 38 paires de 0 à moins de 2 points d'écart, 18 sur 28 de 2 à moins de 4, 4 sur 11 de 4 à moins de 6, 9 sur 40 de 6 à moins de 8, 1 sur 15 de 8 à moins de 10 (selon le départage au huitième rang : 29 à 30, 17 à 19, 4, 9 à 11, 1).
  • Choix des 8 domaines : les 8 sommes les plus élevées du secteur ; à égalité au huitième rang, l'ordre alphabétique du nom de domaine. Quatre secteurs sont concernés (cybersécurité, marketing automation, RH et recrutement, service client), soit 60 sélections possibles. Les plages publiées donnent le minimum et le maximum de chaque comptage sur ces 60 sélections, pris comptage par comptage : ces extrêmes ne surviennent pas forcément ensemble.
  • Inversion : dans au moins une répétition, le domaine de plus petite somme a un compte strictement supérieur à l'autre. Quand les deux sommes sont égales (15 paires), toute différence sur une répétition en implique une en sens contraire et compte comme inversion. Inversion ou ex aequo : dans au moins une répétition, le domaine de plus petite somme a un compte supérieur ou égal à l'autre.
  • Présence d'une paire : moyenne des présences des deux domaines, avec la sélection alphabétique au huitième rang. Médiane par tranche d'écart : valeur de rang n ÷ 2 + 1 dans l'ordre croissant quand l'effectif n est pair (66 et 66), terme central de rang (n + 1) ÷ 2 quand il est impair (41 et 107), soit 14,4 %, 17,5 %, 16,9 % et 25,6 %. 91 paires sur 280 ont une présence moyenne de 25 % ou plus.
  • Le tableau d'écart minimal et le seuil du test du signe sont des calculs d'Evocia, signalés comme tels. La section 7.3.3 du NIST sert de référence au test z de deux proportions et à sa condition d'échantillons assez grands ; elle ne donne ni cette table ni d'intervalle de confiance de l'écart.
  • Les exemples à 30 % et 22 % et les marques Orvimbe et Quenzalis sont fictifs, et aucun domaine réel n'est nommé. Evocia vend un suivi de visibilité et le dit : les chiffres observés par Evocia viennent de fichiers ouverts, que chacun peut recalculer.

Historique des mises à jour

  • 12 novembre 2026Recommandation sur les requêtes à ajouter : lien vers l'outil gratuit Questions IA. Rien d'autre ne change.
  • 11 novembre 2026Vocabulaire : l'AEO est nommé avec le GEO (renvoi vers les KPI dans la section sur le rang et la fréquence, présentation de l'auteur), sans autre changement de fond.
  • 10 novembre 2026Section sur les conditions de comparaison : une phrase renvoie vers la grille comparative des outils de suivi nommés, qui dit ce que chacun documente de sa part de voix. Aucun autre changement.
  • 8 novembre 2026Publication initiale : le seuil et ce qu'il suppose, écart minimal selon le nombre d'observations, inversions mesurées sur 280 paires de domaines, rang et fréquence, conditions de comparaison, ce qu'un écart ne dit pas, questions devant un comparatif.

À lire aussi

Commencez par le test gratuit : 3 requêtes, une synthèse claire.

Sans engagement · Analyses réalisées à la main par Evocia, dans l'ordre d'arrivée

Tester ma visibilité IA