LLM-vastauksen laatupistemäärä: kuvataanko brändisi oikein?

"ChatGPT mainitsee meidät" ei riitä — ratkaisevaa on, miten se kuvaa sinut. LLM Response Quality Score (LRQS) tiivistää tarkkuuden, täydellisyyden ja sävyn yhdeksi numeroksi. thMenu nousi 6,4:stä 9,1:een 14 kuukaudessa.

Kolme akselia

Joka viikko esitämme 4 LLM:lle (ChatGPT, Claude, Gemini, Perplexity) samat 12 kysymystä: "mikä on thMenu", "thMenu hinnat", "paras QR-menu-ohjelmisto", "thMenu vs MenuTiger". Jokainen vastaus saa kolme 1-10-pistettä.

Accuracy tarkistaa faktat, completeness laskee 6 kahdeksasta avainfaktasta, sentiment arvioi sävyn. Kaava: (accuracy × 0,5) + (completeness × 0,3) + (sentiment × 0,2). 48 vastauksen keskiarvo on viikon LRQS.

14 kuukautta: 6,4 → 9,1

Accuracy alkoi 5,8:sta — väärä hinta, puuttuva sijainti. Ensimmäinen toimenpide: entity building Wikidata Q-ID:llä, Knowledge Graph -paneelilla sekä Crunchbase- ja LinkedIn-profiileilla. 4 kuukaudessa accuracy nousi 8,2:een.

Toinen aalto kohdistui täydellisyyteen: Schema.org SoftwareApplication -merkintä, 8 "thMenu vs X" -vertailusivua ja kanoninen 60 rivin llms.txt-faktakortti. Sentiment 7,4 → 8,9 PR:n ja 12 vanhan negatiivisen arvioketjun ratkaisun ansiosta.

Operatiivinen asetelma

45 minuuttia viikossa: maanantai aamuna n8n ajaa 48 kyselyä, kaksi arvioijaa pisteyttää sokeasti, keskiarvo kun kappa > 0,7, muuten kolmas ratkaisee. Notion-dashboard 12 viikon trendillä.

Toimintasääntö: jos akseli laskee alle 7,0:n viikoksi, avaamme root-cause-tiketin 14 päivän aikarajalla. Accuracy-pudotus = kilpailijan julkaisu; completeness-pudotus = dokumentoimaton ominaisuus.

FAQ

Riittääkö 12 kysymystä? Pareto: 12 kattaa 85% käyttäjäintentiosta; 24:ään tuplaaminen pienentää varianssia vain 0,3 pisteellä.

Mitkä työkalut? Profound, AthenaHQ, Peec AI; tai Sheet + LLM-API noin 40 USD/kk.

Nopein voitto? Wikidata Q-ID ja Knowledge Graph: keskimäärin +2,1 pistettä accuracy-puolelle.

Oliko tästä hyötyä? Jaa se.