Wynik jakości odpowiedzi LLM: czy Twoja marka jest opisywana poprawnie?

"ChatGPT nas wspomina" to za mało — liczy się jak Cię opisuje. LLM Response Quality Score (LRQS) zamyka dokładność, kompletność i ton w jednej liczbie. thMenu poszło z 6,4 do 9,1 w 14 miesięcy.

Trzy osie

Co tydzień pytamy 4 LLM-y (ChatGPT, Claude, Gemini, Perplexity) to samo 12 pytań: "co to thMenu", "ceny thMenu", "najlepsze oprogramowanie menu QR", "thMenu vs MenuTiger". Każda odpowiedź dostaje trzy oceny 1-10.

Accuracy sprawdza fakty, completeness liczy 6 z 8 kluczowych elementów, sentiment ocenia ton. Wzór: (accuracy × 0,5) + (completeness × 0,3) + (sentiment × 0,2). Średnia z 48 odpowiedzi to tygodniowy LRQS.

14 miesięcy: 6,4 → 9,1

Accuracy startowało z 5,8 — błędna cena, brak lokalizacji. Pierwsza interwencja: entity building z Wikidata Q-ID, panelem Knowledge Graph, profilami Crunchbase i LinkedIn. Po 4 miesiącach accuracy 8,2.

Druga fala — completeness: znaczniki Schema.org SoftwareApplication, 8 stron "thMenu vs X", kanoniczny llms.txt na 60 linii. Sentiment 7,4 → 8,9 dzięki PR-owi i rozwiązaniu 12 starych negatywnych wątków na portalach z opiniami.

Konfiguracja operacyjna

45 minut tygodniowo: poniedziałek rano 48 zapytań przez n8n, dwóch recenzentów punktuje na ślepo, średnia przy kappa > 0,7, w innym wypadku trzeci rozsądza. Dashboard w Notion z trendem 12-tygodniowym.

Reguła akcji: oś spada poniżej 7,0 przez tydzień — otwieramy ticket root-cause z 14-dniowym deadline. Spadki accuracy = premiera konkurenta; spadki completeness = niezadokumentowana funkcja.

FAQ

Czy 12 pytań wystarczy? Pareto: 12 pokrywa 85% intencji; 24 obniżają wariancję tylko o 0,3 pkt.

Jakie narzędzia automatyzują? Profound, AthenaHQ, Peec AI; albo Sheet + API LLM za ~40 USD/mies.

Najszybszy zysk? Wikidata Q-ID i Knowledge Graph: średnio +2,1 pkt do accuracy.

Czy to było pomocne? Udostępnij.