LLM-Antwortqualitäts-Score: Wird Ihre Marke korrekt beschrieben?

"ChatGPT erwähnt uns" reicht nicht — wie es Ihre Marke beschreibt, entscheidet. Der LLM Response Quality Score (LRQS) fasst Genauigkeit, Vollständigkeit und Tonalität in einer Zahl zusammen. thMenu kam in 14 Monaten von 6.4 auf 9.1.

Die drei Achsen

Wöchentlich stellen wir 4 LLMs (ChatGPT, Claude, Gemini, Perplexity) 12 Standardfragen: "Was ist thMenu", "thMenu Preise", "beste QR-Menü-Software", "thMenu vs MenuTiger". Jede Antwort erhält drei 1-10-Werte.

Accuracy prüft Fakten, Completeness zählt 6 von 8 Kernpunkten, Sentiment bewertet den Ton. Formel: (Accuracy × 0,5) + (Completeness × 0,3) + (Sentiment × 0,2). 48 Antworten ergeben den Wochen-LRQS.

14 Monate: 6.4 → 9.1

Accuracy startete bei 5.8 — falscher Preis, fehlende Region. Erste Maßnahme: Entity Building mit Wikidata-Q-ID, Knowledge-Graph-Panel, Crunchbase- und LinkedIn-Profil. Nach 4 Monaten lag Accuracy bei 8.2.

Die zweite Welle zielte auf Completeness: Schema.org-SoftwareApplication-Markup, 8 "vs"-Vergleichsseiten und eine 60-zeilige llms.txt-Faktenliste. Sentiment stieg durch PR und beantwortete Beschwerden von 7.4 auf 8.9.

Operativer Ablauf

Der Wochenlauf dauert 45 Minuten: Montag früh 48 Queries via n8n, zwei Reviewer bewerten unabhängig, ab Kappa > 0,7 wird gemittelt. Ergebnisse landen im Notion-Dashboard.

Aktionsregel: Fällt eine Achse eine Woche unter 7.0, öffnen wir ein Root-Cause-Ticket mit 14 Tagen Frist. Accuracy-Einbrüche sind meist Wettbewerber-Updates, Completeness-Einbrüche fehlende Doku.

FAQ

Reichen 12 Fragen? Pareto: 12 decken rund 85% der Nutzerintention; 24 senken die Varianz nur um 0,3 Punkte.

Welche Tools automatisieren das? Profound, AthenaHQ, Peec AI; in-house mit Sheet + APIs für rund 40 USD/Monat.

Schnellster Hebel? Wikidata-Q-ID plus Knowledge-Graph-Eintrag — im Schnitt +2,1 Punkte auf Accuracy.

Hilfreich? Teilen Sie es.