Aller au contenu
Evocia

Étude EVO-2026-001 · Méthodologie

Méthodologie de l'étude « ChatGPT dit-il la vérité sur les entreprises françaises ? »

Tout ce qu'il faut pour comprendre, critiquer et recalculer les chiffres de l'étude : le protocole verrouillé avant la collecte, l'échantillon, le système mesuré, la vérification, les indicateurs, les méthodes statistiques et les 50 contrôles d'intégrité. Les résultats sont sur la page de l'étude.

Identité de l'étude

Identité et versions de l'étude
ÉlémentValeur
CodeEVO-2026-001
TitreChatGPT dit-il la vérité sur les entreprises françaises ? Édition 2026
Publication9 novembre 2026, résultats version 1.0
Collecte9 novembre 2026, de 13:09 à 15:40 UTC
Protocoleversion 2, verrouillé le 9 novembre 2026 à 13:08 UTC
Empreinte du protocole (SHA-256)7d6009fb98cd2b069ff41f916424b67edd5fce9a8be45b4d75767e307c48ec47
Empreinte du classeur source (SHA-256)309e8aab937b113f1b88b97d524bfac8c414237d1b1bdf92e6a5c3bd19d180f4
Script d'analyseevo-analyse-1.0.0 (scripts/evo-2026-001/analyser.py)
Extraction et vérificationdet-extractor-1.0.0 / resolver-1.1.0 ; factcheck-1.2.0
ÉditeurEvocia

Hypothèses préenregistrées

Hypothèse principale, telle qu'écrite dans le protocole : « Lorsqu'on interroge un modèle d'OpenAI avec recherche web sur des entreprises françaises, une part non négligeable des informations factuelles d'identification (site officiel, ville du siège, numéro SIREN, forme juridique) est inexacte ou invérifiable. »

  • Le taux d'erreurs vérifiées diffère selon le secteur d'activité.
  • Le taux d'erreurs vérifiées diffère selon la catégorie d'entreprise (PME / ETI / grande entreprise).
  • Les identifiants administratifs (SIREN, forme juridique) sont moins bien restitués que le site officiel et la ville du siège.
  • Les recommandations sectorielles mentionnent rarement les entreprises éligibles de l'échantillon.

Le protocole fixe aussi une taille minimale de 30 observations pour classer des groupes entre eux. Les résultats de chaque hypothèse sont donnés sur la page de l'étude.

Population et échantillon

Critères d'inclusion de la base de sondage :

  • Unité légale active et diffusible dans le répertoire SIRENE
  • Siège en France
  • Catégorie INSEE PME, ETI ou GE
  • Catégorie juridique 4xxx, 5xxx ou 6xxx
  • Fiche Wikidata unique avec SIREN unique et site officiel

Critères d'exclusion :

  • Holdings et sièges sociaux (NAF 70.10Z, 64.20Z)
  • Codes NAF hors des 10 secteurs étudiés
  • Unités légales non diffusibles ou fermées
  • Correspondance Wikidata et SIREN ambiguë

Tirage aléatoire stratifié par secteur, quota de 50 entreprises par secteur, graine 20261109. Aucun déficit n'a été constaté : les 10 quotas sont remplis. Le secteur est déduit du code NAF de l'unité légale ; la catégorie (PME, ETI, grande entreprise) est celle de l'INSEE. 246 des 500 entreprises ont leur siège en Île-de-France.

Composition de l'échantillon par secteur et catégorie
SecteurPMEETIGrandesTotal
Formation et éducation437050
Énergie et environnement13191850
Banque, assurance et finance6143050
Santé et services médicaux11281150
Industrie2518750
Services professionnels3610450
Immobilier2319850
Commerce et distribution2522350
Logiciels et SaaS3011950
Tourisme et hôtellerie2914750

Questions posées

Quatre questions factuelles par entreprise, sur un gabarit fixe où seul le nom commercial change ; elles sont publiées dans gabarits-questions-factuelles.csv. La forme juridique n'a été demandée que lorsque le registre en donne une forme exploitable (464 entreprises) ; les 36 autres questions ont été exclues avant la collecte. Difficulté attribuée a priori : 1 000 faciles, 464 moyennes et 500 difficiles.

1 000 demandes de recommandation, 100 par secteur, sans aucun nom d'entreprise (contrôle bloquant à la génération), croisant 60 catégories de produits, 54 types d'acheteurs et trois formulations. Elles sont publiées en entier dans questions-recommandation.csv.

Système mesuré

Paramètres du système mesuré
ParamètreValeur
Fournisseur et interfaceOpenAI, API Responses (POST /v1/responses)
Modèle demandé et renvoyégpt-6.1-sol
Recherche weboutil web_search obligatoire (tool_choice=required)
Effort de raisonnementlow
Contexte de recherchemedium
LocalisationFR, fuseau Europe/Paris
Jetons de sortie maximum2000
Consigne systèmeaucun
Sessionsune session indépendante par question
Conservation côté fournisseurdésactivée (store = false)
Répétitions10 % des questions posées une seconde fois, analysées à part
Coût estimé de la collecte102,09 USD, d'après l'usage déclaré par l'API et les tarifs publics

Ce système n'est pas l'application ChatGPT, qui peut utiliser d'autres modèles, une mémoire de conversation et ses propres réglages de recherche. Les résultats décrivent un modèle d'OpenAI interrogé par son API officielle.

Vérification des réponses

Chaque réponse factuelle est comparée à un fait de référence par un comparateur déterministe versionné (factcheck-1.2.0). Références : Annuaire des Entreprises (INSEE SIRENE et RNE) pour le SIREN, la forme juridique (famille de la catégorie juridique INSEE) et la commune du siège ; Wikidata (propriété P856) pour le site officiel, comparé au niveau du domaine. Chaque fiche de référence est conservée avec son empreinte. Aucun modèle de langage ne juge une réponse. Les verdicts ont ensuite été relus par Evocia le 9 novembre 2026 : la relecture n'en a modifié aucun (0 verdict modifié sur 1 964 réponses relues) et elle a été faite sur le classeur, sans être enregistrée dans la plateforme de collecte.

Verdicts et effectifs
InformationExactesErronéesAmbiguësSans réponse vérifiableTotal
Site officiel4316900500
Ville du siège446131031500
Numéro SIREN43127420500
Forme juridique4308251464
Ensemble173811777321964

Audit du comparateur. Nous avons contrôlé ses angles morts sans modifier les verdicts. Sur la ville, 9 des 31 réponses classées sans réponse vérifiable et 3 des 13 réponses erronées contiennent le nom de la commune de référence (texte normalisé, sans article ni arrondissement) : ce sont, au moins pour une partie, des réponses justes non reconnues. Sur le site officiel, 19 désaccords opposent le même nom sous deux extensions. Ces deux limites rendent les taux publiés plutôt prudents.

SIREN contestés. Les 37 numéros donnés à tort et les numéros des réponses ambiguës ont été recherchés le 9 novembre 2026 dans l'API publique Recherche d'entreprises. Une réponse est classée « autre entreprise au nom identique ou proche » si l'un des numéros appartient à une entreprise existante dont la dénomination partage au moins un mot significatif (trois lettres ou plus, hors formes sociales et mots vides) avec le nom de l'entreprise demandée. Ces recherches restent hors du dépôt public : elles nomment des entreprises.

Lexique de précaution

Une réponse contient une formule de précaution si son texte, mis en minuscules et sans accents ni ponctuation, contient l'une des formules suivantes. Le lexique a été relevé à la lecture des réponses ; il est fermé et appliqué tel quel :

  • « si vous parlez de »
  • « s'il s'agit de »
  • « plusieurs entreprises / sociétés / entités »
  • « pouvez-vous préciser »
  • « homonyme »
  • « je n'ai pas trouvé / pas pu identifier »
  • « à vérifier / sous réserve »

Résultat : 32 réponses erronées sur 117 et 117 réponses exactes sur 1 738 en contiennent au moins une. Le marqueur d'incertitude de la plateforme de collecte, limité à « à vérifier » et « sous réserve », n'en relevait que 2 sur 1 964 : il n'est pas retenu.

Dictionnaire des indicateurs

Dictionnaire des indicateurs
IndicateurNumérateurDénominateurPrécision
Taux de réponses exactesRéponses jugées exactesRéponses factuelles principalesLa valeur de référence figure dans la réponse, seule
Taux de réponses erronéesRéponses jugées erronéesRéponses factuelles principalesLa réponse donne une autre valeur que la référence, sans elle
Taux de réponses ambiguësRéponses jugées ambiguësRéponses factuelles principalesLa valeur de référence figure parmi d'autres valeurs
Taux sans réponse vérifiableRéponses sans valeur exploitableRéponses factuelles principalesAucune valeur du type demandé n'est identifiable dans la réponse
Exactitude parmi les réponses tranchéesRéponses exactesRéponses exactes ou erronéesExclut les cas ambigus et sans réponse
Entreprise citée en recommandationEntreprises citées au moins une foisEntreprises de la catégorieNom vérifié, SIREN ou domaine dans une réponse de son secteur
Part des réponses citant un domaineRéponses avec au moins une citation annotée du domaineRéponses de la familleCitations renvoyées par l'API, pas les URL écrites dans le texte
Verdict identique entre répétitionsPaires au même verdictPaires factuellesDeux sessions indépendantes, même question
Indice de JaccardÉléments communs aux deux réponsesÉléments présents dans l'une ou l'autreDomaines cités, ou entreprises citées, d'une paire de recommandations
Réponse avec formule de précautionRéponses contenant au moins une formule du lexiqueRéponses du verdictLexique fermé, publié ci-dessous

Méthodes statistiques

  • Intervalles de confiance à 95 %. Bootstrap des entreprises (2 000 tirages, stratifié par secteur, graine 20261109) pour les taux qui réunissent plusieurs questions d'une même entreprise ; méthode de Wilson pour une information prise seule et pour les proportions d'entreprises.
  • Différences entre secteurs et entre catégories. Tests de permutation au niveau de l'entreprise (10 000 permutations, statistique du khi-deux) : les quatre réponses d'une entreprise restent ensemble. Les catégories sont permutées à l'intérieur de chaque secteur, la composition par taille variant fortement d'un secteur à l'autre.
  • Différences entre informations. Test exact de McNemar sur les entreprises qui ont les deux réponses, correction de Holm pour les six comparaisons.
  • Pondération. Aucune : le plan donne le même poids à chaque secteur. Les taux décrivent l'échantillon.
  • Répétitions. Exclues des taux principaux ; analysées comme paires de sessions indépendantes. Une tentative technique relancée n'aurait pas compté comme une observation de plus (aucune n'a eu lieu).

Les 50 contrôles d'intégrité

Le script s'arrête sans rien écrire si un seul de ces contrôles échoue. Tous passent sur le classeur publié.

  • Réussi :Les 37 feuilles attendues sont présentes
  • Réussi :Aucun identifiant en double dans les tables
  • Réussi :L'étude n'est pas une démonstration et elle est terminée
  • Réussi :L'exécution principale utilise la version verrouillée du protocole (version 2, verrouillée le 2026-11-09T13:08:55)
  • Réussi :L'empreinte du protocole approuvé au lancement est celle de la version verrouillée
  • Réussi :Une seule exécution, réelle, sans simulation
  • Réussi :Aucune ligne de démonstration, de simulation ou synthétique
  • Réussi :Aucune observation ne vient du fournisseur simulé
  • Réussi :Chaque question factuelle renvoie à une entreprise
  • Réussi :Chaque membre de l'échantillon est une entreprise connue
  • Réussi :Chaque fait de référence renvoie à une entreprise
  • Réussi :Chaque appel planifié renvoie à une question
  • Réussi :Chaque tentative renvoie à un appel planifié
  • Réussi :Chaque réponse brute renvoie à une tentative
  • Réussi :Chaque observation renvoie à une réponse brute
  • Réussi :Chaque observation renvoie à un appel planifié
  • Réussi :Chaque vérification renvoie à une observation
  • Réussi :Chaque citation renvoie à une observation
  • Réussi :Chaque mention renvoie à une observation
  • Réussi :La vue « responses » couvre exactement les observations
  • Réussi :Un seul appel par question et par répétition
  • Réussi :Une seule observation par appel (une tentative relancée n'est pas une observation de plus)
  • Réussi :Toutes les observations viennent de la même cohorte (même modèle, mêmes paramètres)
  • Réussi :Le modèle renvoyé par l'API est le modèle demandé
  • Réussi :500 entreprises incluses, 50 par secteur
  • Réussi :Une seule extraction et une seule vérification courantes, utilisées partout (det-extractor-1.0.0 / 6a0a6f5e, factcheck-1.2.0 / 1e328bde)
  • Réussi :Questions générées = validées + exclues
  • Réussi :Appels planifiés = questions validées + répétitions
  • Réussi :Les répétitions représentent 10 % des questions validées (arrondi)
  • Réussi :Chaque appel a réussi au premier essai, HTTP 200
  • Réussi :Chaque tentative réussie a produit une observation complète et non vide
  • Réussi :Observations principales = questions validées
  • Réussi :Chaque réponse factuelle principale a reçu un verdict
  • Réussi :La recherche web, imposée par le protocole, a bien eu lieu dans chaque réponse
  • Réussi :Chaque verdict appartient à la liste prévue
  • Réussi :Aucun verdict n'a été modifié par une revue humaine (verdict final = verdict automatique)
  • Réussi :Tous les verdicts viennent du comparateur déterministe, aucun d'un modèle de langage
  • Réussi :La séquence anonyme reproduit les comptes de verdicts
  • Réussi :La typologie des sites couvre toutes les réponses erronées
  • Réussi :La typologie des SIREN couvre toutes les réponses erronées
  • Réussi :La typologie des villes couvre toutes les réponses erronées
  • Réussi :100 requêtes de recommandation par secteur
  • Réussi :Les taux globaux recalculés concordent avec ceux de la plateforme de collecte
  • Réussi :Les accords entre répétitions concordent avec la plateforme (plateforme 184/296, recalcul 184/296)
  • Réussi :La somme des verdicts égale le nombre de réponses factuelles
  • Réussi :La somme des attributs égale le total
  • Réussi :La somme des secteurs égale le total
  • Réussi :La somme des catégories égale le total
  • Réussi :Aucune répétition n'entre dans les taux principaux
  • Réussi :Les mentions par catégorie s'additionnent

Recalculer les chiffres

Le script scripts/evo-2026-001/analyser.py lit le classeur source, applique les contrôles, puis écrit le fichier de résultats et les tables publiques ; scripts/evo-2026-001/tester.py vérifie que les totaux, les dénominateurs, les arrondis et les tables publiées concordent. Les graines sont fixes : deux exécutions donnent le même fichier. Le classeur source contient les réponses brutes, leurs en-têtes techniques et la liste nominative des entreprises ; il n'est pas publié. Un chercheur qui souhaite vérifier un calcul précis peut écrire à contact@evocia.fr.

Données retirées de la publication

  • Les réponses brutes de l'API et leurs en-têtes HTTP (identifiants de requête, informations de quota).
  • La liste nominative des 500 entreprises et leurs verdicts : une majorité s'est opposée à la diffusion commerciale de ses données SIRENE. Seuls les cinq cas commentés dans l'étude sont nommés.
  • Les identifiants techniques de la plateforme de collecte et du poste de travail.

Sont publiés : les tables agrégées, les 1 000 demandes de recommandation, les gabarits de questions, les domaines cités et les 15 entreprises les plus citées en recommandation (des mentions positives, issues des réponses du modèle).

Journal des versions

9 novembre 2026 : version 1.0, publication initiale.

9 novembre 2026, en soirée : relecture des verdicts par Evocia, sans modification, consignée dans un fichier à part (data/etudes/evo-2026-001-relecture.json) ; cinq cas nommés dans l'étude. Aucun chiffre ne change, le fichier de résultats non plus.

Retour à l'étude : ChatGPT dit-il la vérité sur les entreprises françaises ?