LLM-svarkvalitetsscore: beskrives dit brand korrekt?

"ChatGPT nævner os" er ikke nok — hvordan den beskriver dig er afgørende. LLM Response Quality Score (LRQS) samler nøjagtighed, fuldstændighed og tone i ét tal. thMenu gik fra 6,4 til 9,1 på 14 måneder.

Tre akser

Hver uge stiller vi 4 LLMs (ChatGPT, Claude, Gemini, Perplexity) de samme 12 spørgsmål: "hvad er thMenu", "thMenu priser", "bedste QR-menu software", "thMenu vs MenuTiger". Hvert svar får tre 1-10 scores.

Accuracy tjekker fakta, completeness tæller 6 ud af 8 nøglefakta, sentiment bedømmer tonen. Formel: (accuracy × 0,5) + (completeness × 0,3) + (sentiment × 0,2). Gennemsnit af 48 svar er ugens LRQS.

14 måneder: 6,4 → 9,1

Accuracy startede på 5,8 — forkert pris, manglende lokation. Første tiltag: entity building med Wikidata Q-ID, Knowledge Graph-panel, Crunchbase- og LinkedIn-profiler. Efter 4 måneder var accuracy 8,2.

Anden bølge fokuserede på completeness: Schema.org SoftwareApplication-markup, 8 "thMenu vs X"-sider og et kanonisk 60-linjers llms.txt-faktablad. Sentiment gik fra 7,4 til 8,9 via PR og afklaring af 12 gamle negative tråde på anmeldelsessites.

Operativ opsætning

45 minutter om ugen: mandag morgen 48 queries via n8n, to bedømmere scorer blindt, gennemsnit ved kappa > 0,7, ellers afgør en tredje. Notion-dashboard med 12-ugers trendlinje.

Aktionsregel: falder en akse under 7,0 i en uge, åbner vi en root-cause-ticket med 14 dages deadline. Accuracy-fald = konkurrent-lancering; completeness-fald = udokumenteret feature.

FAQ

Er 12 spørgsmål nok? Pareto: 12 dækker 85% af reel intent; 24 sænker variansen kun 0,3 point.

Hvilke værktøjer? Profound, AthenaHQ, Peec AI; eller Sheet + LLM-API'er for ~40 USD/måned.

Hurtigste gevinst? Wikidata Q-ID og Knowledge Graph: i gennemsnit +2,1 point på accuracy.

Var dette nyttigt? Del det.