LLM-válaszminőség pontszám: helyesen írják le a márkádat?

„A ChatGPT említ minket" nem elég — hogyan ír le, az dönt. Az LLM Response Quality Score (LRQS) a pontosságot, teljességet és hangnemet egy számba sűríti. A thMenu 6,4-ről 9,1-re jutott 14 hónap alatt.

Három tengely

Hetente 4 LLM-nek (ChatGPT, Claude, Gemini, Perplexity) tesszük fel ugyanazt a 12 kérdést: „mi a thMenu", „thMenu árak", „legjobb QR-menü szoftver", „thMenu vs MenuTiger". Minden válasz három 1-10 pontszámot kap.

Az accuracy tényeket ellenőriz, a completeness 6-ot számol a 8 kulcstényből, a sentiment a hangnemet értékeli. Képlet: (accuracy × 0,5) + (completeness × 0,3) + (sentiment × 0,2). 48 válasz átlaga adja a heti LRQS-t.

14 hónap: 6,4 → 9,1

Az accuracy 5,8-ról indult — rossz ár, hiányzó helyszín. Első lépés az entitásépítés: Wikidata Q-ID, Knowledge Graph panel, Crunchbase és LinkedIn cégprofil. 4 hónap alatt 8,2-re ugrott.

A második hullám a completeness-re fókuszált: Schema.org SoftwareApplication jelölés, 8 „thMenu vs X" összehasonlító oldal és egy kanonikus 60 soros llms.txt tényadatlap. A sentiment 7,4-ről 8,9-re emelkedett a PR-nek és 12 régi negatív szál megoldásának köszönhetően.

Operatív felépítés

Heti 45 perc: hétfő reggel n8n-nel 48 lekérdezés, két reviewer vakon pontoz, kappa > 0,7 esetén átlagolunk, egyébként harmadik dönt. Notion dashboard 12 hetes trendvonallal.

Akciószabály: ha egy tengely egy hétig 7,0 alatt van, root-cause ticket 14 napos határidővel. Accuracy-zuhanás = versenytárs launch; completeness-zuhanás = nem dokumentált funkció.

GYIK

Elég 12 kérdés? Pareto: 12 lefedi a felhasználói szándék 85%-át; 24-re duplázás csak 0,3 ponttal csökkenti a szórást.

Milyen eszközök? Profound, AthenaHQ, Peec AI; vagy Sheet + LLM API havi ~40 USD-ért.

Leggyorsabb nyereség? Wikidata Q-ID és Knowledge Graph: átlag +2,1 pont accuracy-n.

Hasznosnak találtad? Oszd meg.