LLM-svarskvalitetspoäng: beskrivs ditt varumärke korrekt?

"ChatGPT nämner oss" räcker inte — hur den beskriver dig avgör. LLM Response Quality Score (LRQS) komprimerar precision, fullständighet och ton till en siffra. thMenu gick från 6,4 till 9,1 på 14 månader.

Tre axlar

Varje vecka ställer vi 4 LLMs (ChatGPT, Claude, Gemini, Perplexity) samma 12 frågor: "vad är thMenu", "thMenu priser", "bästa QR-meny-mjukvaran", "thMenu vs MenuTiger". Varje svar får tre 1-10-poäng.

Accuracy kontrollerar fakta, completeness räknar 6 av 8 nyckelfakta, sentiment bedömer tonen. Formel: (accuracy × 0,5) + (completeness × 0,3) + (sentiment × 0,2). Snittet av 48 svar är veckans LRQS.

14 månader: 6,4 → 9,1

Accuracy startade på 5,8 — fel pris, saknad ort. Första åtgärden: entity building med Wikidata Q-ID, Knowledge Graph-panel, Crunchbase- och LinkedIn-profiler. Efter 4 månader låg accuracy på 8,2.

Andra vågen siktade på completeness: Schema.org SoftwareApplication-markup, 8 "thMenu vs X"-sidor och en kanonisk 60-radig llms.txt-faktabilaga. Sentiment 7,4 → 8,9 via PR och att 12 gamla negativa trådar på recensionssidor reddes ut.

Operativ uppsättning

45 minuter per vecka: måndag morgon 48 queries via n8n, två granskare poängsätter blint, snitt vid kappa > 0,7, annars avgör en tredje. Notion-dashboard med 12 veckors trendlinje.

Åtgärdsregel: faller en axel under 7,0 en vecka öppnar vi root-cause-ticket med 14 dagars deadline. Accuracy-tapp = konkurrentlansering; completeness-tapp = odokumenterad feature.

FAQ

Räcker 12 frågor? Pareto: 12 täcker 85% av användarintent; 24 sänker bara variansen 0,3 poäng.

Vilka verktyg? Profound, AthenaHQ, Peec AI; eller Sheet + LLM-API för ~40 USD/mån.

Snabbaste vinsten? Wikidata Q-ID och Knowledge Graph: i snitt +2,1 poäng på accuracy.

Var detta hjälpsamt? Dela det.