AI Search Lab: Wöchentlicher 1-Stunden-LLM-Test-Workflow

Um Markenpräsenz in AI Search zu messen, braucht es kein teures SaaS. thMenu fährt seit 11 Monaten jeden Donnerstag ein einstündiges "AI Search Lab" — 18 feste Queries, 4 LLMs, manuelles Logging in Google Sheets. Ergebnis: 14% genauere Citation-Erkennung als automatisierte Tracker, kaum False-Positives.

Das 18-Query Set

Jede Woche laufen exakt dieselben 18 Anfragen — nur die Antworten ändern sich. Ohne fixes Set ist keine Trendanalyse möglich. Die Aufteilung: 3 Brand-Queries, 6 Vergleichs-Queries, 6 informationelle Queries und 3 Voice-Style Queries.

Voice-Queries sind seit Apple Intelligence und Gemini 2026 wichtiger geworden — konversationelle Suche hat einen Anteil von 38% erreicht. Wer diese Kategorie ignoriert, übersieht ein Drittel der Intent-Signale.

4-LLM Vergleich

Jede Query läuft auf vier Engines: ChatGPT (GPT-5), Claude (Opus 4.7), Gemini (2.5 Pro) und Perplexity. Macht 72 Tests pro Woche. thMenus Schnitt: Citation in 32 Tests, also 44% Visibility-Rate. Das ist der Frühindikator für künftigen AI-Referral-Traffic.

Pro Test werden vier Spalten geloggt: (1) Citation ja/nein, (2) welche Seite, (3) Konkurrenz-Citations, (4) Ton (positiv/neutral/negativ). Manuelles Lesen erfasst Ironie und Hedging — Dinge, die Scraper konsequent verpassen.

Manuell-Automatisiert Hybrid

SaaS-Tracker wie Profound oder Otterly sind schnell, aber blind. Sie markieren "Citation vorhanden", ohne Tonalität oder URL-Korrektheit zu prüfen. Unser 47-Wochen-Log zeigt: in 11 Wochen erzeugten Automatisierungstools 14 False-Positives, unsere manuelle Routine nur 1.

Ideal: Automatisierung mid-week für Volumen, 1 Stunde manuelle Validierung am Donnerstag für Qualität. Kombiniert ergibt das 94% Signaltreue bei moderaten Kosten.

FAQ

Reicht ein LLM? Nein — der Citation-Overlap liegt nur bei 31%.

Query-Set ändern? Core-Set 12+ Monate stabil halten, pro Quartal 2-3 Voice-Queries ergänzen.

Reporting? Wochengrafik plus Sentiment-Heatmap, Monatsreport auf einer Seite.

Hilfreich? Teilen Sie es.