Score de qualité des réponses LLM : votre marque est-elle bien décrite ?

"ChatGPT nous mentionne" ne suffit pas — la manière dont il vous décrit fait tout. Le LLM Response Quality Score (LRQS) résume précision, complétude et tonalité en un seul chiffre. thMenu est passé de 6,4 à 9,1 en 14 mois.

Les trois axes

Chaque semaine, nous posons à 4 LLM (ChatGPT, Claude, Gemini, Perplexity) 12 questions standards : "thMenu c'est quoi", "tarifs thMenu", "meilleur logiciel de menu QR", "thMenu vs MenuTiger". Chaque réponse reçoit trois notes 1-10.

Accuracy vérifie les faits, completeness compte 6 sur 8 points clés, sentiment évalue le ton. Formule : (accuracy × 0,5) + (completeness × 0,3) + (sentiment × 0,2). La moyenne de 48 réponses donne le LRQS hebdomadaire.

14 mois : 6,4 → 9,1

Accuracy démarrait à 5,8 — prix faux, localisation absente. Première action : entity building avec Q-ID Wikidata, panneau Knowledge Graph, profils Crunchbase et LinkedIn. Accuracy à 8,2 en 4 mois.

Deuxième vague sur la complétude : balisage Schema.org SoftwareApplication, 8 pages comparatives "vs" et un llms.txt canonique de 60 lignes. Sentiment 7,4 → 8,9 grâce aux RP et à la résolution de 12 fils négatifs sur sites d'avis.

Mise en place

45 minutes par semaine : lundi matin, 48 requêtes via n8n, deux relecteurs scorent à l'aveugle, on moyenne si kappa > 0,7. Sinon un troisième tranche. Dashboard Notion avec courbe sur 12 semaines.

Règle d'action : tout axe sous 7,0 pendant une semaine déclenche un ticket avec 14 jours pour fixer. Baisses d'accuracy = lancement concurrent ; baisses de completeness = feature non documentée.

FAQ

12 questions suffisent ? Pareto : 12 couvrent 85% de l'intention utilisateur ; 24 ne baissent la variance que de 0,3 point.

Quels outils ? Profound, AthenaHQ, Peec AI ; ou Sheet + APIs LLM pour 40 USD/mois.

Gain le plus rapide ? Q-ID Wikidata plus Knowledge Graph : +2,1 points en moyenne sur accuracy.

Cet article vous a été utile ? Partagez-le.