ChatGPT signale-t-il quand il n'est pas sûr ? 85 erreurs sur 117 affirmées sans réserve
Rarement. Interrogé le 9 novembre 2026 sur l'identité de 500 entreprises françaises, le modèle gpt-6.1-sol d'OpenAI, l'éditeur de ChatGPT, s'est trompé 117 fois. Dans 85 de ces réponses (73 %), rien ne signale le moindre doute : ni « peut-être », ni « à vérifier », ni « plusieurs entreprises portent ce nom ».
Notre position : une mise en garde de l'IA est un bon signal, mais son absence ne prouve rien. Une réponse fausse sur une entreprise ressemble, dans la forme, à une réponse juste ; seule la vérification à la source la distingue.
Les chiffres viennent de l'étude Evocia ChatGPT dit-il la vérité sur les entreprises françaises ?, collectée par l'API d'OpenAI avec recherche web obligatoire. Ce n'est pas l'application ChatGPT.
L'essentiel en 60 secondes
- 85 des 117 réponses erronées (73 %) ne contiennent aucune formule de doute ou de mise en garde.
- Une mise en garde est quatre fois plus fréquente dans une réponse fausse (27,4 %) que dans une réponse exacte (6,7 %).
- Une réponse qui contient une mise en garde est fausse 17 % du temps, contre 5 % pour une réponse sans mise en garde.
- La formule la plus fréquente est « si vous parlez de… » (148 réponses) : le modèle a vu plusieurs entreprises du même nom et en choisit une.
- Reposée dans une session neuve, la même question obtient le même verdict 184 fois sur 191 : redemander ne fait pas apparaître l'erreur.
- Une erreur sur une entreprise se détecte par la source, pas par le ton de la réponse.
ChatGPT prévient-il quand sa réponse peut être fausse ?
En bref
Parfois, mais pas dans la plupart des cas. Sur les 117 réponses erronées de l'étude, 32 (27,4 %) contiennent une formule de précaution ; 85 (72,6 %) n'en contiennent aucune. Le modèle testé, gpt-6.1-sol d'OpenAI avec recherche web, prévient donc d'une erreur sur quatre environ. Mesure du 9 novembre 2026 sur 500 entreprises.
La précaution est un vrai signal, quatre fois plus fréquent dans une réponse fausse, mais elle reste minoritaire : la plupart des erreurs ne sont pas annoncées.
1 964 réponses factuelles sur 500 entreprises : 1 738 exactes, 117 erronées. Collecte du 9 novembre 2026. Evocia, étude EVO-2026-001 (modèle gpt-6.1-sol d'OpenAI, API avec recherche web)
Citation suggérée
73 % des erreurs du modèle d'OpenAI sur l'identité d'entreprises françaises sont affirmées sans aucune formule de doute ni mise en garde. Source : Evocia, étude EVO-2026-001, 9 novembre 2026, https://evocia.fr/blog/chatgpt-signale-t-il-ses-doutes
Quelles formules trahissent un doute ?
En bref
Surtout des mises en garde d'identité. Dans les 1 964 réponses factuelles, « si vous parlez de… » revient 148 fois, « plusieurs entreprises » 49 fois, « pouvez-vous préciser » 45 fois. Les formules classiques comme « à vérifier » ou « sous réserve » n'apparaissent presque jamais : 2 réponses sur 1 964.
| Formule | Réponses factuelles qui la contiennent | Ce qu'elle signifie |
|---|---|---|
| « Si vous parlez de… » | 148 | Le modèle a reconnu plusieurs entreprises possibles et en a choisi une |
| « Plusieurs entreprises (sociétés, entités)… » | 49 | Il signale explicitement des homonymes |
| « Pouvez-vous préciser… » | 45 | Il demande un critère pour départager |
| « Homonyme » | 8 | Il nomme le problème |
| « À vérifier », « sous réserve » | 2 | Précaution générale, presque absente |
Lexique fermé relevé à la lecture des réponses, appliqué au texte sans accents ni ponctuation. Une réponse peut contenir plusieurs formules. Source : Evocia, étude EVO-2026-001.
Ces formules décrivent toutes le même risque : la confusion entre entreprises du même nom. C'est aussi l'origine des numéros SIREN erronés, qui appartiennent presque tous à un homonyme, comme le montre notre analyse des SIREN donnés par l'IA. La plateforme de collecte ne cherchait que « à vérifier » et « sous réserve » ; elle ne voyait donc que 2 précautions sur 1 964 réponses. Nous avons élargi le lexique, et le publions en entier dans la méthodologie.
Une réponse prudente est-elle plus souvent fausse ?
En bref
Oui, nettement. Parmi les 189 réponses qui contiennent une formule de précaution, 16,9 % sont erronées ; parmi les 1 775 qui n'en contiennent pas, 4,8 %. Une mise en garde multiplie le risque d'erreur par trois environ. Mais comme elle est rare, la majorité des erreurs se trouvent dans les réponses sans mise en garde.
| Réponse | Exactes | Erronées | Ambiguës ou sans réponse vérifiable | Total |
|---|---|---|---|---|
| Avec une formule de précaution | 117 | 32 (16,9 %) | 40 | 189 |
| Sans formule de précaution | 1 621 | 85 (4,8 %) | 69 | 1 775 |
Réponses factuelles principales (site, ville du siège, SIREN, forme juridique). Source : Evocia, étude EVO-2026-001.
Pour un lecteur, la règle pratique est double. Une réponse qui commence par « si vous parlez de » doit être vérifiée en priorité. Une réponse sans aucune réserve ne doit pas être crue pour autant : c'est là que se trouvent la plupart des erreurs.
La même question donne-t-elle la même réponse ?
En bref
Sur les faits, presque toujours. 296 questions ont été reposées dans une session neuve : le verdict factuel est identique 184 fois sur 191 (96,3 %), alors que le texte n'est identique que 47 fois sur 296. Une erreur a donc toutes les chances de se répéter : redemander ne permet pas de la débusquer.
| Indicateur de stabilité | Valeur | Base |
|---|---|---|
| Même verdict factuel | 96,3 % | 184 paires sur 191 |
| Texte strictement identique | 15,9 % | 47 paires sur 296 |
| Domaines cités en commun (recommandations) | 39,9 % | indice de Jaccard moyen, 105 paires |
| Entreprises citées en commun (recommandations) | 43,2 % | indice de Jaccard moyen, 37 paires |
Deux sessions indépendantes, même question, même jour. Source : Evocia, étude EVO-2026-001.
Les 7 changements de verdict vont dans les deux sens : 3 réponses exactes deviennent erronées, d'autres passent d'ambiguës à exactes. Pour les recommandations, c'est l'inverse : les sources changent beaucoup d'une réponse à l'autre. Ce qu'une IA dit de votre entreprise est stable ; qui elle recommande ne l'est pas, ce que nous détaillons pour les PME dans les recommandations.
Pourquoi le modèle affirme-t-il sans douter ?
En bref
L'étude n'établit pas de cause, mais elle décrit un format qui favorise l'affirmation. 1 913 réponses factuelles sur 1 964 reposent sur une seule recherche, la réponse est courte (236 caractères en médiane) et cite une source. Une recherche par nom qui remonte une fiche plausible suffit à produire une réponse assurée.
Le modèle traite une question d'identité comme une recherche simple : une requête, une fiche, une réponse. Quand le registre renvoie plusieurs entreprises du même nom, il en retient une. Il ne signale l'ambiguïté que lorsqu'elle saute aux yeux dans les résultats, ce qui expliquerait que les mises en garde soient surtout des « si vous parlez de ».
Les sources que le modèle consulte pour ces questions, et la part du registre public, sont détaillées dans où ChatGPT trouve-t-il les informations sur une entreprise. Le constat rejoint ce que décrit notre guide quand une IA donne de fausses informations sur votre entreprise : l'erreur vient le plus souvent d'une page réelle mal attribuée.
Questions fréquentes
Peut-on faire confiance à ChatGPT pour vérifier une entreprise ?
Comme point de départ seulement. Dans notre étude, le modèle d'OpenAI testé donne une information d'identité exacte 88,5 % du temps, mais 73 % de ses erreurs sont affirmées sans réserve. Toute information qui engage une décision se vérifie dans le registre public.
Pourquoi ChatGPT écrit-il « si vous parlez de » ?
Parce qu'il a trouvé plusieurs entreprises qui correspondent au nom demandé et en a choisi une. C'est le signal de doute le plus fréquent dans nos mesures, et il annonce souvent une confusion d'homonymes.
Poser deux fois la même question permet-il de repérer une erreur ?
Rarement : reposée dans une session neuve, la question obtient le même verdict 184 fois sur 191. Une erreur se répète ; seule la vérification à la source la révèle.
Sources
Transparence et méthode
Auteur
Evocia · Cabinet français de visibilité dans les IA
Evocia mesure et améliore la visibilité des entreprises sur Google et dans les réponses des IA. Les chiffres de cet article viennent de son étude EVO-2026-001, dont la méthode et les données agrégées sont publiées.
Comment cet article a été réalisé
- Étude EVO-2026-001 : 1 964 questions d'identité sur 500 entreprises françaises, posées le 9 novembre 2026 au modèle gpt-6.1-sol d'OpenAI par son API, recherche web obligatoire. 10 % des questions reposées dans une session neuve.
- Verdicts établis par un comparateur déterministe contre l'Annuaire des Entreprises et Wikidata, puis relus par Evocia sans modification. Précaution détectée par un lexique fermé, relevé à la lecture des réponses ; une tournure rare peut lui échapper : les taux de précaution sont des bornes basses.
- Détail des calculs et lexique complet dans la méthodologie de l'étude, publiée avec elle.
Historique des mises à jour
- 9 novembre 2026Le soir de la publication : méthodologie mise à jour après la relecture des verdicts par Evocia, qui n'en a modifié aucun. Aucun chiffre ne change.
- 9 novembre 2026Publication initiale : part des erreurs du modèle d'OpenAI affirmées sans précaution, formules de doute et leur valeur, stabilité entre deux sessions, hypothèse sur le format des réponses, grille de lecture.
Comment lire une réponse d'IA sur une entreprise ?
En bref
Comme une piste, à vérifier à la source dès que la réponse engage une décision : un contrat, un virement, une mise en relation. Trois signaux appellent une vérification immédiate : une mise en garde d'identité, plusieurs valeurs proposées, une source d'annuaire privé seule. Leur absence ne dispense pas de vérifier.
Grille Evocia, tirée des erreurs mesurées dans l'étude EVO-2026-001.
Pour tester ce que les assistants répondent sur votre propre entreprise, et repérer ces signaux, suivez la méthode de tester ce que ChatGPT dit de votre entreprise.
Evocia vérifie ce que les moteurs IA répondent sur votre entreprise, repère les confusions et établit d'où elles viennent.
Faire vérifier ce que les IA disent de mon entreprise