AI Search Lab:週次1時間のLLMクエリテスト・ワークフロー

AI検索でのブランド露出を測るのに高価なSaaSは要りません。thMenuは11か月にわたり毎週木曜に1時間の「AI Search Lab」を運用しています — 固定18クエリ、LLM4種、Google Sheetへ手作業ログ。結果:自動トラッカーより14%精度の高い引用検出と、ほぼゼロの誤検知。

18クエリ標準セット

毎週同じ18本のクエリを回します。固定セットがなければトレンド分析はできません。内訳はブランド3本、比較6本、情報系6本、音声スタイル3本。

音声クエリの重みはApple IntelligenceとGemini 2026以降ぐっと増し、会話型検索は38%を占めます。ここを外すと意図シグナルの3分の1が見えなくなります。

LLM 4種比較

各クエリをChatGPT (GPT-5)、Claude (Opus 4.7)、Gemini (2.5 Pro)、Perplexityで実行、合計72テスト/週。thMenu平均は32テストで引用獲得 — 露出率44%。AIリファラル流入の先行指標です。

各テストに4列を記録:引用の有無、引用されたページ、同時引用の競合、トーン。人間が読むことで皮肉や順位ニュアンスを拾えます。

手動+自動のハイブリッド

Profound、Otterlyなどは速いが盲目で、トーンや正しいURLを判定しません。47週の比較ログでは自動が11週で14件の誤検知、手動は1件。

理想構成は週中に自動でボリューム、木曜1時間で手動品質チェック。合算で94%のシグナル信頼度を低コストで実現します。

FAQ

1つのLLMで十分? いいえ — 引用の重なりはわずか31%です。

セットは変えるべき? コア18本は12か月以上固定、四半期ごとに音声クエリを2-3本だけ追加。

レポートは? 週次の露出率グラフ+トーンのヒートマップ、月次サマリーは1ページ。

お役に立ちましたか?シェアしてください。