LLM-svarkvalitetsscore: beskrives merkevaren din riktig?

"ChatGPT nevner oss" er ikke nok — hvordan den beskriver deg er det avgjørende. LLM Response Quality Score (LRQS) samler nøyaktighet, fullstendighet og tone i ett tall. thMenu gikk fra 6,4 til 9,1 på 14 måneder.

Tre akser

Hver uke stiller vi 4 LLMs (ChatGPT, Claude, Gemini, Perplexity) de samme 12 spørsmålene: "hva er thMenu", "thMenu priser", "beste QR-meny-programvare", "thMenu vs MenuTiger". Hvert svar får tre 1-10 poeng.

Accuracy sjekker fakta, completeness teller 6 av 8 nøkkelfakta, sentiment vurderer tonen. Formel: (accuracy × 0,5) + (completeness × 0,3) + (sentiment × 0,2). Gjennomsnittet av 48 svar er ukens LRQS.

14 måneder: 6,4 → 9,1

Accuracy startet på 5,8 — feil pris, manglende lokasjon. Første tiltak: entity building med Wikidata Q-ID, Knowledge Graph-panel, Crunchbase- og LinkedIn-profiler. Etter 4 måneder var accuracy 8,2.

Andre bølge tok completeness: Schema.org SoftwareApplication-markup, 8 "thMenu vs X"-sammenligningssider og et kanonisk 60-linjers llms.txt-faktaark. Sentiment 7,4 → 8,9 takket være PR og oppklaring av 12 gamle negative tråder på anmeldelsessider.

Operativ oppsett

45 minutter i uken: mandag morgen 48 spørringer via n8n, to vurderere skårer blindt, gjennomsnitt ved kappa > 0,7, ellers avgjør en tredje. Notion-dashboard med 12-ukers trendlinje.

Handlingsregel: hvis en akse faller under 7,0 i en uke, åpner vi root-cause-ticket med 14 dagers frist. Accuracy-fall = konkurrent-lansering; completeness-fall = udokumentert funksjon.

FAQ

Holder 12 spørsmål? Pareto: 12 dekker 85% av reell intensjon; 24 reduserer variansen bare 0,3 poeng.

Hvilke verktøy? Profound, AthenaHQ, Peec AI; eller Sheet + LLM-API for ~40 USD/måned.

Raskeste gevinst? Wikidata Q-ID og Knowledge Graph: gjennomsnitt +2,1 poeng på accuracy.

Var dette nyttig? Del det.