Études
Comment mesurer une visibilité qui varie
Posez deux fois la même question à un assistant génératif et vous obtiendrez deux réponses différentes. Les solutions nommées peuvent changer, leur ordre aussi. Cette variabilité n'est pas un défaut passager : elle découle du fonctionnement même de ces systèmes, dont la génération est probabiliste et dont l'index évolue en continu.
Elle rend fragile toute conclusion tirée d'un essai unique. Cet article décrit le protocole que nous appliquons pour mesurer malgré cette instabilité, avec ses paramètres exacts, sa formule et ses limites. Il ne présente aucun résultat : c'est une description de méthode, publiée pour être vérifiée et critiquée.
L'essentiel en 60 secondes
- Une capture d'écran d'une conversation documente un cas. Elle ne mesure rien, parce qu'une observation isolée ne distingue pas une présence stable d'un accident.
- L'unité conservée n'est jamais un état binaire présent ou absent, mais une fréquence calculée sur des observations répétées.
- Le corpus compte 20 requêtes réparties sur 6 secteurs, figées avant la première observation. Chaque requête est exécutée 10 fois sur 5 moteurs, soit 1 000 relevés par campagne.
- Ce qui est compté est une mention : l'éditeur est nommé dans la réponse. Ce n'est pas une recommandation, et les deux ne doivent pas être confondues.
- Le score sur 100 est un taux de citation pondéré par le rang moyen, selon une formule publiée et reproductible à la main.
- La mesure établit une fréquence sur un corpus et une période donnés. Elle ne prédit pas une réponse, ne se généralise pas hors du corpus et n'établit aucune cause.
Pourquoi une seule réponse ne suffit pas
En bref
Une réponse générative est produite de façon probabiliste, à partir d'un index qui évolue et de modèles mis à jour régulièrement. Deux observations séparées de quelques minutes peuvent donc différer sans qu'aucune action de l'entreprise observée n'en soit la cause. Une observation isolée documente un cas ; elle ne mesure pas une visibilité.
La conséquence pratique est directe. Sur une question posée une seule fois, une marque absente peut être présente à l'essai suivant, et une marque présente peut disparaître. Conclure à partir de cette observation revient à confondre le bruit et le signal.
Il en découle la règle qui gouverne tout le reste du protocole : on ne consigne jamais un état binaire, présent ou absent, constaté sur une réponse unique. On consigne une fréquence, calculée sur un ensemble d'observations répétées dans des conditions identiques. C'est cette substitution qui rend une mesure opposable à un tiers.
Le critère qui départage une mesure d'une impression
Une mesure est reproductible : un tiers disposant du corpus, du nombre de répétitions et des conditions de test doit pouvoir refaire le travail et obtenir des résultats comparables. C'est la seule raison pour laquelle nous publions ces paramètres plutôt que de les garder pour nous.
Ce que nous appelons visibilité
En bref
L'unité mesurée est une fréquence de citation : le nombre d'observations dans lesquelles un éditeur est nommé, rapporté au nombre total d'observations effectuées. Est comptée toute réponse où le nom de l'éditeur apparaît parmi les solutions évoquées. Il s'agit d'une mention, pas d'une recommandation.
Cette distinction n'est pas un raffinement de vocabulaire, et nous la posons explicitement parce qu'elle est régulièrement escamotée. Être nommé dans une réponse et être conseillé comme la solution à retenir sont deux situations différentes, avec des causes différentes. Une marque peut être citée sans être recommandée.
Nous mesurons la mention pour une raison assumée : le classement est produit par un script. Un programme détecte de façon fiable la présence d'un nom dans un texte. Juger qu'une solution est recommandée suppose une règle de codage écrite et un annotateur humain, ce qui est possible dans un audit sur mesure mais ne se transpose pas à une mesure répétée à grande échelle. Nous préférons mesurer précisément une chose modeste plutôt qu'approximativement une chose ambitieuse.
Un second indicateur accompagne la fréquence : le rang moyen, c'est-à-dire la position de l'éditeur parmi les solutions nommées, la valeur 1 correspondant au premier nom cité. Lorsqu'un éditeur n'est jamais nommé, ce rang reste vide. Il n'est jamais ramené à zéro, car zéro serait lu comme une position, donc comme un meilleur résultat que la dernière place.
| Terme | Ce qu'il désigne ici | Ce qu'il ne désigne pas |
|---|---|---|
| Citation | L'éditeur est nommé dans la réponse | Un lien vers son site, ni une recommandation |
| Rang moyen | Position de la première apparition parmi les solutions nommées | Une note de qualité, ni un classement commercial |
| Relevé | Une exécution d'une requête sur un moteur | Une visite, ni une impression publicitaire |
| Fréquence | Part des relevés où l'éditeur est nommé | Une probabilité valable pour tout utilisateur |
Construire un corpus avant de mesurer
En bref
Le corpus compte 20 requêtes réparties sur 6 secteurs de logiciels, soit trois à quatre requêtes par secteur. Il est figé avant la première observation et reste identique d'une campagne à l'autre. Les requêtes sont formulées comme un acheteur les pose, et non comme des mots-clés de référencement.
L'ordre des opérations est ce qui compte. Un corpus constitué après coup, ou modifié en cours de route, produit une mesure qui reflète le choix des questions autant que la réalité observée. Deux campagnes menées sur deux corpus différents ne sont pas comparables, et une progression apparente peut n'être que le résultat d'un changement de questions.
Les six secteurs suivis sont les logiciels de relation client, les logiciels de ressources humaines, la gestion et les ERP, la cybersécurité, les logiciels financiers et la legaltech. Chaque éditeur est mesuré sur les requêtes de son secteur, ce qui représente 30 à 40 relevés par moteur selon que son secteur compte trois ou quatre requêtes.
Pourquoi le corpus est public
Publier les requêtes expose la mesure à la critique, et c'est l'objectif. Un corpus tenu secret interdit toute vérification, et transforme un classement en argument d'autorité. Le nôtre peut être discuté, notamment sur sa taille et sur sa représentativité, qui sont des limites réelles.
Répéter chaque requête dix fois
En bref
Chaque requête est exécutée dix fois sur chacun des cinq moteurs suivis : ChatGPT, Claude, Gemini, Perplexity et Copilot. Une campagne complète représente donc 1 000 relevés, soit 20 requêtes multipliées par 10 répétitions et par 5 moteurs.
Le nombre de répétitions détermine la finesse de la mesure. Avec dix exécutions, une apparition unique et une apparition constante se distinguent clairement. Avec une seule, aucune conclusion n'est possible : ni la présence ni l'absence ne peuvent être établies.
Ce nombre est un compromis, et nous le présentons comme tel. Dix répétitions suffisent à classer des fréquences très différentes, mais ne permettent pas de trancher un écart de quelques points entre deux éditeurs proches. C'est une limite de la mesure, pas une propriété du marché observé.
VOLUME D'UNE CAMPAGNE
20 requêtes × 10 répétitions × 5 moteurs = 1 000 relevés
Par éditeur, sur un moteur :
10 répétitions × 3 ou 4 requêtes de son secteur = 30 à 40 relevés
Par éditeur, tous moteurs :
150 à 200 relevés
Le dénominateur accompagne toujours le pourcentage publié :
un taux calculé sur 200 relevés et un taux calculé sur 20
ne se lisent pas de la même façon.Exécuter chaque relevé dans une session neuve
En bref
Chaque exécution se fait en navigation privée, sans compte connecté, avec la mémoire et la personnalisation désactivées lorsque l'option existe, sans aucun historique de conversation, la recherche web étant activée. Les requêtes sont posées en français, depuis la France.
Cette précaution répond à un mécanisme documenté par les éditeurs eux-mêmes : lorsque la mémoire d'un utilisateur est activée, elle peut enrichir la requête effectivement envoyée aux systèmes de recherche. Un relevé effectué depuis un compte professionnel qui a discuté cent fois d'un produit ne mesure donc pas la visibilité de ce produit, mais l'historique de ce compte.
La langue et la localisation sont fixées pour la même raison : elles modifient les sources que les moteurs mobilisent. Une mesure conduite en anglais depuis un autre pays observerait un autre écosystème de sources, et ne serait pas comparable à la nôtre.
Une réponse constitue une observation. Un éditeur nommé plusieurs fois dans la même réponse compte une seule fois, et le rang retenu est celui de sa première apparition. Sans cette règle, une réponse bavarde produirait mécaniquement un meilleur résultat qu'une réponse concise.
Archiver et dater chaque observation
En bref
Chaque relevé est archivé au format JSON avec le texte brut de la réponse, l'horodatage, le moteur, le mode de recherche, l'identifiant de la requête et le numéro de répétition. Les archives sont conservées vingt-quatre mois. Chaque campagne porte sa date, et la campagne précédente est conservée pour suivre les évolutions.
L'archivage poursuit un objectif précis : pouvoir réanalyser des observations passées sans les refaire. Si la définition d'un indicateur est affinée, l'archive permet de recalculer la série entière. Sans elle, toute correction de méthode oblige à repartir de zéro et rompt la comparabilité.
La conservation sur vingt-quatre mois répond à un besoin de comparaison d'une année sur l'autre. Elle a un coût de stockage modeste au regard de ce qu'elle protège : la possibilité de vérifier, plus tard, ce qui avait réellement été observé.
Passer d'une apparition à une fréquence, puis à un score
En bref
La fréquence de citation d'un éditeur sur un moteur est le nombre de relevés où il est nommé divisé par le nombre total de relevés effectués. Le score de visibilité sur 100 agrège les cinq moteurs et pondère cette fréquence par le rang moyen.
FRÉQUENCE DE CITATION (par moteur)
fréquence = relevés où l'éditeur est nommé
÷ relevés effectués
× 100
SCORE DE VISIBILITÉ (sur 100, tous moteurs)
score = 100 × ( Σ citations ÷ Σ relevés ) × p
avec p, pondération du rang moyen tous moteurs confondus :
p = 1 si rang moyen ≤ 3
p = 0,8 si 3 < rang moyen ≤ 6
p = 0,6 si rang moyen > 6
Éditeur jamais nommé : score = 0, rang moyen non défini.
EXEMPLE DE CALCUL (illustratif, aucun éditeur réel)
Un éditeur nommé dans 60 relevés sur 200, rang moyen 2,4 :
60 ÷ 200 = 0,30 p = 1 (rang ≤ 3)
score = 100 × 0,30 × 1 = 30Le palier fixé à trois traduit un fait d'usage plutôt qu'une propriété technique : les listes que retiennent les acheteurs comptent trois noms ou moins. Être nommé en huitième position dans une réponse longue n'a pas la même portée commerciale qu'être nommé en premier, et un score qui ignorerait le rang effacerait cette différence.
En cas d'égalité de score, le meilleur rang moyen l'emporte. Si l'égalité persiste, l'éditeur nommé sur le plus grand nombre de moteurs passe devant. Si elle persiste encore, les éditeurs sont affichés ex aequo : nous ne départageons pas arbitrairement.
Comparer des éditeurs entre eux
En bref
La comparaison n'a de sens qu'à corpus, période, moteurs et protocole identiques. Les éditeurs d'un même secteur sont donc mesurés sur les mêmes requêtes, avec le même nombre de répétitions, sur les mêmes moteurs et dans la même fenêtre temporelle.
Un écart de fréquence se lit alors comme ce qu'il est : une différence de présence observée sur ce corpus et à cette période. Il faut résister à trois glissements que nous nous interdisons dans nos publications.
| Formulation à éviter | Formulation exacte |
|---|---|
| Cet éditeur est plus visible que celui-là | Cet éditeur a été nommé dans une part plus élevée des relevés du corpus, sur la période mesurée |
| Cet éditeur est deux fois plus visible | Sa fréquence est le double de celle de l'autre sur ce corpus, ce qui n'implique pas qu'il sera vu deux fois plus souvent |
| Cet éditeur domine son marché | La mesure porte sur des réponses générées, pas sur des parts de marché, dont elle ne dit rien |
| Cet éditeur est en tête grâce à son travail éditorial | La mesure établit une fréquence, elle n'en établit pas la cause |
Une absence de donnée n'est pas un zéro
Si un éditeur n'a pas été mesuré sur un moteur, la case reste vide. Elle n'est jamais remplie par un zéro, ni par une dernière place. Un zéro signifie que l'éditeur a été cherché et jamais trouvé sur les relevés effectués ; une case vide signifie qu'il n'a pas été mesuré. Confondre les deux fabrique une information qui n'existe pas.
Ce que cette mesure permet de conclure, et ce qu'elle ne permet pas
En bref
Elle établit la fréquence à laquelle un éditeur a été nommé, sur un corpus donné, sur cinq moteurs, pendant une période donnée, et permet de comparer cette fréquence à celle d'éditeurs mesurés dans les mêmes conditions. Elle ne prédit aucune réponse individuelle, ne se généralise pas au-delà du corpus et n'établit aucune cause.
| La mesure permet | La mesure ne permet pas |
|---|---|
| De situer un éditeur par rapport à d'autres, à conditions identiques | De prévoir ce qu'un utilisateur obtiendra à un instant donné |
| De suivre une évolution d'une campagne à l'autre, corpus inchangé | De généraliser à des requêtes absentes du corpus |
| De constater un écart et d'en mesurer l'ampleur | D'attribuer une cause à cet écart |
| De documenter une période précise | D'affirmer que le résultat vaudra encore dans six mois |
| D'observer la présence dans des réponses | D'en déduire une part de marché ou une qualité de produit |
Trois limites méritent d'être nommées sans détour. La taille du corpus, vingt requêtes réparties sur six secteurs, ne couvre qu'une fraction des questions réellement posées. Le nombre de répétitions ne permet pas de départager des écarts faibles. Et les systèmes observés évoluent : une mise à jour de modèle ou d'index peut modifier des résultats stables depuis des semaines, sans qu'aucun éditeur n'ait rien changé.
Restent hors de portée de ce protocole comme de tout autre : les critères de sélection des sources dans les moteurs, la composition de leurs corpus d'entraînement, et le volume réel de questions posées par sujet. Une fréquence mesurée sur un corpus choisi ne dit rien du nombre d'acheteurs réellement exposés.
Pourquoi nous publions ce protocole
En bref
Un classement dont la méthode n'est pas publiée est un argument d'autorité. En publiant le corpus, le nombre de répétitions, les définitions et la formule du score, nous acceptons que la mesure soit vérifiée, refaite et contestée.
Cette exigence a un coût : elle expose nos choix, qui sont discutables. Compter une mention plutôt qu'une recommandation est un arbitrage. Fixer le palier de pondération à trois en est un autre. Vingt requêtes, c'est peu. Nous préférons publier ces arbitrages plutôt que de laisser croire à une objectivité qui n'existerait pas.
Le traitement statistique de l'incertitude, notamment la quantification des intervalles et les pièges de la répétition, est développé dans notre méthode de mesure de la visibilité. La conduite complète d'un audit sur mesure, avec un corpus propre à une entreprise, est décrite dans comment réaliser un audit GEO. Evocia propose également un test gratuit sur 3 requêtes pour observer la présence d'un éditeur dans les réponses des IA.
Questions fréquentes
Pourquoi une seule réponse d'IA ne suffit-elle pas à mesurer une visibilité ?
Parce que la génération est probabiliste et que l'index consulté évolue. Deux observations séparées de quelques minutes peuvent différer sans qu'aucune action de l'entreprise observée n'en soit la cause. Une observation isolée ne permet donc de conclure ni à une présence stable ni à une absence : elle documente un cas.
Que compte exactement Evocia comme une citation ?
Est comptée toute réponse où le nom de l'éditeur apparaît parmi les solutions évoquées. C'est une mention, pas une recommandation : un éditeur peut être nommé sans être conseillé. Ce choix est dicté par la reproductibilité, un programme détectant de façon fiable la présence d'un nom, là où juger d'une recommandation exige un annotateur humain.
Combien de relevés compte une campagne de mesure ?
Mille relevés : 20 requêtes réparties sur 6 secteurs, chacune exécutée 10 fois, sur 5 moteurs. Un éditeur donné est mesuré sur les requêtes de son secteur, soit 30 à 40 relevés par moteur et 150 à 200 relevés au total selon que son secteur compte trois ou quatre requêtes.
Comment le score de visibilité sur 100 est-il calculé ?
Le score est la fréquence de citation tous moteurs confondus, multipliée par 100, puis pondérée par le rang moyen : coefficient 1 si le rang moyen est inférieur ou égal à 3, 0,8 entre 3 et 6, 0,6 au-delà. Un éditeur jamais nommé obtient 0 et n'a pas de rang. La formule est publiée pour être reproductible à la main.
Pourquoi dix répétitions plutôt que trois ou cinquante ?
C'est un compromis entre finesse et coût. Dix exécutions suffisent à distinguer une apparition occasionnelle d'une présence régulière, ce qu'une observation unique ne permet pas. Elles ne permettent pas en revanche de départager un écart de quelques points entre deux éditeurs proches, et nous le signalons comme une limite.
Pourquoi les relevés sont-ils faits en session neuve ?
Parce que la personnalisation fausse la mesure. Les éditeurs documentent que la mémoire d'un utilisateur peut enrichir la requête envoyée aux systèmes de recherche. Un relevé fait depuis un compte habituel mesurerait l'historique de ce compte plutôt que la visibilité d'un produit. Les relevés se font donc en navigation privée, sans compte, sans historique.
Une case vide dans un classement signifie-t-elle zéro ?
Non, et la distinction est importante. Un zéro signifie que l'éditeur a été cherché sur les relevés effectués et n'y a jamais été nommé. Une case vide signifie qu'il n'a pas été mesuré sur ce moteur. Remplacer l'une par l'autre fabriquerait une information qui n'existe pas.
Ce classement dit-il quel logiciel est le meilleur ?
Non. Il mesure une fréquence d'apparition dans des réponses générées, sur un corpus et une période donnés. Il ne dit rien de la qualité d'un produit, de sa part de marché, ni de sa performance commerciale, et il n'établit pas la cause des écarts observés.
Les résultats restent-ils valables dans le temps ?
Non. Chaque campagne est une photographie datée. Une mise à jour de modèle ou d'index peut modifier des résultats stables depuis des semaines, sans qu'aucun éditeur n'ait rien changé. C'est pourquoi les campagnes sont répétées à corpus et protocole identiques, et pourquoi chaque résultat est publié avec sa date.
Peut-on refaire cette mesure soi-même ?
Oui, et c'est l'objectif de cette publication. Le corpus, le nombre de répétitions, les moteurs, les conditions de session, les définitions et la formule du score sont publiés. Un tiers disposant de ces éléments peut refaire le travail et confronter ses résultats aux nôtres.
Sources
- Documentation officielle : OpenAI, « ChatGPT Search » (réécriture de la requête et rôle de la mémoire dans la recherche)
- Documentation officielle : Google Search Central, « AI features and your website » (éclatement de la requête en sous-recherches)
- Documentation officielle : Anthropic, outil de recherche web (citations et métadonnées des résultats)
- Documentation officielle : Perplexity, agents d'exploration et index propriétaire
Transparence et méthode
Auteur
Loan Feuillerat · Fondateur d'Evocia
Loan Feuillerat dirige Evocia, cabinet français spécialisé dans la mesure de la visibilité des éditeurs de SaaS B2B dans les réponses des IA. Ce texte publie le protocole d'observation du cabinet, ses paramètres et ses limites, afin qu'il puisse être reproduit et contesté.
Comment cet article a été réalisé
- Cet article décrit un protocole de mesure. Il ne présente aucun résultat d'éditeur : aucune campagne publique n'a encore produit de classement, et l'Observatoire reste hors index tant que ses données ne sont pas réelles.
- Les paramètres publiés ici (5 moteurs, 20 requêtes réparties sur 6 secteurs, 10 répétitions, 1 000 relevés par campagne) sont ceux inscrits dans le contrat de données du site, pas des valeurs choisies au moment de la rédaction. Les définitions de la citation et du rang, ainsi que la formule du score, ont été arrêtées le 17 août 2026 et figurent à l'identique dans le code et dans cet article.
- Les arbitrages sont signalés comme tels : compter une mention plutôt qu'une recommandation, fixer à trois le palier de pondération du rang, retenir vingt requêtes. Ce sont des conventions Evocia, publiées pour être discutées, et non des facteurs de classement des moteurs, qu'aucun éditeur ne publie.
- Limites assumées et explicitées dans le corps du texte : couverture partielle des questions réelles, incapacité à départager des écarts faibles avec dix répétitions, évolution continue des systèmes observés, et impossibilité d'établir une cause à partir d'une fréquence.
Historique des mises à jour
- 17 août 2026Publication initiale : protocole d'observation de l'Observatoire Evocia, définitions de la citation et du rang, construction du corpus, répétitions, sessions neuves, archivage, formule du score de visibilité, règles de comparaison et limites de la mesure.