Mesurer si les IA citent un cabinet d'avocats : une méthode reproductible et ses limites

Mis à jour le 10 min de lecture

Pour savoir si ChatGPT, Claude, Perplexity ou Gemini citent un cabinet, il n'existe pas de rapport officiel, sauf chez Google pour ses Aperçus IA et son Mode IA (Microsoft en propose un pour Copilot). La seule méthode est de poser aux IA les questions que poseraient des justiciables, par ville et par domaine du droit, plusieurs fois chacune, puis de repérer le nom du cabinet et son domaine dans les réponses et dans les sources. Le résultat est une fréquence, avec une marge d'incertitude, pas un classement. Une capture d'écran isolée ne prouve rien, dans un sens comme dans l'autre.

Voici la méthode, étape par étape, et ce qu'elle ne permet pas de conclure.

Pourquoi une seule question ne suffit pas

Les éditeurs eux-mêmes documentent la variabilité de leurs réponses.

  • Le modèle varie. Anthropic écrit dans son glossaire que, même avec le réglage le plus conservateur, les résultats ne sont pas entièrement déterministes : des entrées identiques peuvent produire des sorties différentes d'un appel à l'autre.
  • La recherche varie. OpenAI explique que ChatGPT transforme la question en requêtes de recherche, en s'aidant de la zone géographique estimée de l'utilisateur et, si elle est activée, de sa mémoire (page d'aide d'OpenAI). Deux personnes, ou la même personne à deux moments, n'envoient pas forcément la même recherche.
  • Les fonctionnalités varient. Google indique que les Aperçus IA et le Mode IA peuvent utiliser des modèles et des techniques différents, et que les réponses et les liens affichés varient donc ; les Aperçus IA, eux, ne s'affichent pas pour toutes les recherches (page de Google sur les fonctionnalités d'IA).

Conséquence : on ne mesure pas « la » réponse d'une IA, on estime la probabilité qu'un cabinet apparaisse, sur un ensemble de questions et d'essais.

Étape 1 : construire le panel de questions

Le panel est la liste fixe des questions posées à chaque mesure. Sa qualité fait celle du résultat. Où trouver ces questions est expliqué dans trouver les questions que vos futurs clients posent aux IA.

Croiser domaines et villes. Pour chaque domaine d'activité du cabinet et chaque ville où il veut être trouvé, rédigez plusieurs formulations. Trois domaines, deux villes et quatre formulations donnent 24 questions.

Écrire comme un justiciable. Les questions reprennent les mots des clients, pas ceux des avocats : « mon employeur veut me licencier, quel avocat consulter à Dijon ? » plutôt que « avocat droit social Dijon ».

Mélanger trois types de questions :

  • Les demandes de recommandation : « quel avocat pour un divorce à Besançon ? ». Elles montrent si l'IA nomme le cabinet.
  • Les questions d'information : « peut-on contester une rupture conventionnelle ? ». Le cabinet n'y est pas nommé, mais une de ses pages peut être citée comme source.
  • Les questions sur le cabinet : « que sait-on du cabinet X à Dijon ? ». Elles servent à vérifier que l'IA décrit le cabinet correctement, pas à mesurer sa visibilité.

Rester neutre. Les deux premiers types ne contiennent jamais le nom du cabinet. Sinon, on mesure la capacité de l'IA à répéter la question.

Ne pas changer le panel d'un mois sur l'autre. Une évolution n'a de sens que si les questions sont les mêmes. On peut ajouter des questions ; on compare alors sur le socle commun.

Étape 2 : plusieurs tirages, plusieurs IA

Plusieurs tirages. Chaque question est posée plusieurs fois à chaque IA, dans une conversation neuve à chaque fois, pour que la réponse précédente n'influence pas la suivante. Trois à cinq tirages par question et par IA donnent un premier ordre de grandeur ; davantage réduit l'incertitude (voir l'étape 4).

Plusieurs IA. ChatGPT, Claude, Perplexity, Gemini et les Aperçus IA de Google n'utilisent ni les mêmes modèles ni les mêmes sources. Un cabinet peut être cité par l'une et ignoré par l'autre. On mesure chaque IA séparément.

Noter les conditions. Pour chaque mesure : la date, l'IA, le modèle quand il est affiché, le mode d'accès (application, compte connecté ou non, interface de programmation) et la localisation utilisée.

Fixer la localisation. L'application ChatGPT tient compte de la localisation et de la mémoire de l'utilisateur, d'après OpenAI. Une mesure faite depuis un autre compte ou une autre ville ne reproduit pas ces conditions. Par l'interface de programmation d'OpenAI, l'outil de recherche web accepte une localisation approximative (pays, ville, région) : pour des questions locales, la fixer sur la ville visée rend les tirages comparables.

Étape 3 : détecter le cabinet dans la réponse

Une citation peut se trouver à deux endroits, qu'il faut relever séparément.

Dans le texte de la réponse. On cherche le nom de l'avocat et celui du cabinet, avec leurs variantes : « Maître Dupont », « Me Dupont », « cabinet Dupont », avec et sans accents ni traits d'union, prénom compris ou non.

Dans les sources. On cherche le domaine du site du cabinet dans les liens cités, sous-domaines et variante « www » compris. La documentation de l'API d'OpenAI distingue les citations affichées, qui ne montrent que les références les plus pertinentes, de la liste complète des adresses consultées, qu'elle juge souvent plus longue. Quand l'outil donne accès à cette liste, elle indique si une page a été lue sans être citée.

On obtient trois cas : cité dans le texte, cité en source, ou les deux. Chacun se compte à part.

Relire un échantillon. La détection automatique se trompe. Un homonyme dans une autre ville, un confrère au nom proche, une citation du cabinet dans un contexte défavorable : seule une relecture humaine d'une partie des réponses permet de vérifier que les comptes sont justes. OpenAI rappelle d'ailleurs que les résultats et les citations peuvent être incomplets, obsolètes ou inexacts.

Étape 4 : lire les résultats

Le taux de citation se calcule ainsi : nombre de tirages où le cabinet apparaît, divisé par le nombre total de tirages. On le présente par IA, par domaine et par ville, avec le nombre de tirages.

L'incertitude dépend de ce nombre. Avec un intervalle de confiance à 95 % calculé par la méthode de Wilson :

Résultat observéIntervalle plausible
3 citations sur 10 tiragesde 11 % à 60 % environ
12 citations sur 40 tiragesde 18 % à 45 % environ
30 citations sur 100 tiragesde 22 % à 40 % environ
0 citation sur 30 tiragesde 0 % à 11 % environ

Ces intervalles sont des calculs statistiques classiques, pas des données publiées par les éditeurs. Ils montrent qu'un taux mesuré sur dix essais ne permet pas de distinguer 20 % de 50 %, et qu'une absence sur trente essais n'exclut pas des citations occasionnelles.

Les évolutions se lisent sur plusieurs mesures successives, avec le même panel. Un écart d'un mois à l'autre plus petit que l'incertitude n'est pas un signal. Les éditeurs changent aussi régulièrement de modèle : noter le modèle utilisé à chaque mesure permet de ne pas attribuer au cabinet un changement qui vient de l'outil.

Ce que Google et Microsoft mesurent pour vous

Pour les Aperçus IA et le Mode IA, la Search Console fournit un rapport dédié, ouvert à tous les sites depuis le 31 août 2026. D'après sa page d'aide, il compte les impressions, c'est-à-dire le nombre de fois où des liens vers le site ont été montrés dans ces fonctionnalités, et les regroupe par page, pays, date et appareil. Ces apparitions sont aussi incluses dans le rapport Performances général, type de recherche « Web ».

C'est une mesure tirée des affichages réels, et non d'un échantillon de questions. Elle ne concerne que Google.

Microsoft propose l'équivalent pour ses propres services. Depuis le 10 février 2026, le rapport AI Performance de Bing Webmaster Tools compte les citations du site dans Copilot, dans les résumés générés par Bing et chez certains partenaires, avec les pages citées et un échantillon des requêtes utilisées par l'IA pour les trouver (annonce de Bing). Pour ChatGPT, Claude, Perplexity et l'application Gemini, le panel de questions reste nécessaire. Dans son guide sur l'IA générative, Google conseille de se méfier des outils tiers qui garantissent un classement ou se réclament de ses données internes : aucun outil tiers n'a accès à ses systèmes.

Les limites à garder en tête

  • Un panel n'est pas la population. Les questions choisies orientent le résultat. Un panel construit pour faire apparaître le cabinet mesure surtout le choix des questions.
  • La personnalisation échappe à la mesure. La mémoire, l'historique et la localisation réelle des utilisateurs ne se reproduisent pas.
  • Être cité n'est pas être recommandé. Une réponse peut citer une page du cabinet comme source d'une règle de droit sans le recommander, ou le nommer dans un contexte défavorable. La lecture des réponses complète les chiffres.
  • Mesurer coûte. Chez OpenAI, par exemple, chaque appel à l'outil de recherche web de l'interface de programmation est facturé, en plus des jetons consommés (grille tarifaire d'OpenAI). Le nombre de questions, de tirages et d'IA se décide en fonction de ce coût.

Ces limites n'enlèvent pas son intérêt à la mesure. Elles imposent de la présenter honnêtement : une fréquence, un intervalle, des conditions notées, et des réponses relues. Les leviers pour améliorer ces chiffres sont présentés dans notre guide du référencement IA d'un cabinet d'avocats, et détaillés notamment dans comment ChatGPT choisit les cabinets qu'il cite et écrire une page qu'une IA peut reprendre.

webavocats applique cette méthode chaque mois pour mesurer et améliorer la présence des cabinets dans les réponses des IA.

Questions fréquentes

Combien de fois faut-il poser chaque question ?

Au moins trois à cinq fois par IA pour un premier ordre de grandeur, et davantage pour réduire l'incertitude. Avec dix tirages, un taux de 30 % peut correspondre à une réalité comprise entre 11 % et 60 % environ.

Pourquoi mes résultats diffèrent-ils de ceux d'un client qui a fait le test ?

Parce que les réponses varient d'un essai à l'autre, et que ChatGPT tient compte de la localisation et de la mémoire de chaque utilisateur, comme OpenAI l'indique. Un test isolé, d'un côté comme de l'autre, ne permet pas de conclure.

Existe-t-il un outil officiel pour savoir si ChatGPT cite mon cabinet ?

Pas à notre connaissance pour ChatGPT, Claude ou Perplexity. Deux éditeurs fournissent un rapport officiel : Google pour ses Aperçus IA et son Mode IA, dans la Search Console, et Microsoft pour Copilot et les résumés de Bing, dans Bing Webmaster Tools.

Un prestataire peut-il garantir que les IA citeront mon cabinet ?

Non. Aucun éditeur ne publie ses critères de classement, et les réponses varient d'un essai à l'autre. Google met en garde contre les outils qui promettent un classement. On peut mesurer, lever les obstacles et améliorer les pages ; on ne peut pas garantir le résultat.

Sources

Tous les articles