Score de qualidade de resposta LLM: sua marca está bem descrita?

"O ChatGPT nos cita" não basta — como ele te descreve é o que importa. O LLM Response Quality Score (LRQS) condensa precisão, completude e tom em um único número. A thMenu subiu de 6,4 para 9,1 em 14 meses.

Os três eixos

Toda semana perguntamos a 4 LLMs (ChatGPT, Claude, Gemini, Perplexity) as mesmas 12 perguntas: "o que é thMenu", "preços thMenu", "melhor software de menu QR", "thMenu vs MenuTiger". Cada resposta recebe três notas de 1 a 10.

Accuracy avalia fatos, completeness conta 6 de 8 pontos-chave, sentiment julga o tom. Fórmula: (accuracy × 0,5) + (completeness × 0,3) + (sentiment × 0,2). A média de 48 respostas é o LRQS semanal.

14 meses: 6,4 → 9,1

Accuracy começou em 5,8 — preço errado, localização ausente. Primeira intervenção: entity building com Q-ID na Wikidata, painel Knowledge Graph, perfis Crunchbase e LinkedIn. Accuracy chegou a 8,2 em 4 meses.

Segunda onda na completeness: marcação Schema.org SoftwareApplication, 8 páginas "thMenu vs X" e um llms.txt canônico de 60 linhas. Sentiment foi de 7,4 para 8,9 com PR e resolução de 12 threads negativas em sites de avaliações.

Operação semanal

45 minutos por semana: segunda 48 queries via n8n, dois revisores pontuam cegos, média se kappa > 0,7, senão um terceiro decide. Dashboard Notion com tendência de 12 semanas.

Regra: qualquer eixo abaixo de 7,0 por uma semana abre ticket de root-cause com prazo de 14 dias. Queda em accuracy = lançamento de concorrente; queda em completeness = feature não documentada.

FAQ

12 perguntas bastam? Pareto: 12 cobrem 85% da intenção real; 24 só reduzem a variância em 0,3 ponto.

Quais ferramentas? Profound, AthenaHQ, Peec AI; ou Sheet + APIs LLM por ~40 USD/mês.

Ganho mais rápido? Q-ID Wikidata e Knowledge Graph: +2,1 pontos em média na accuracy.

Achou útil? Compartilhe.