A/B test poradi kategorii menu: dezerty nahore nebo dole

Sezonni rybi restaurace v Yalikavaku (Bodrum), otevrena jen ctyri mesice v roce a zaviraici asi 2400 uctu tydne, chtela empirickou odpoved: pokud presunu kategorii dezerty uplne nahoru QR menu, opravdu se zvedne prumerna utrata, nebo je to jen mytus z blogu o psychologii menu?

Navrh: 8 tydnu, 2 varianty, 4872 uctu

Varianta A umistila dezerty nahoru, B je nechala dole. Kazdy stul byl pri skenu prirazen pres deterministicky hash (table_id % 2), takze tentyz stul videl stejne menu celou noc. Vysledek: 2487 uctu v A, 2385 v B.

Prumerna utrata: 412 TL v A vs 387 TL v B, rozdil 25 TL (+6,5%). Welch t-test: p=0,021, vyznamny na 95%.

Rodinne stoly: trojnasobny efekt

U 612 uctu oznacenych jako rodina rozdil vyskocil na 478 TL vs 401 TL, asi 77 TL. Deti necitlive na cenu, zmrzlina na prvni obrazovce dela objednavku skoro reflexivni.

• Vsechny stoly: +6,5%
• Rodiny: +19,2%
• Pary: +2,1% (nevyznamne)

Bayesovsky nebo frekvencni?

Klasicky t-test rika "ano", ale tydenni nahlizeni vytvari peeking a falesna pozitiva. Bayesovska beta-binomicka aktualizace davala 94% v 6. tydnu, 98,3% v 8. Rozhodnuti jasne.

Pravidlo: pod 1000 uctu na rameno Bayes, nad to t-test. Pokud oba souhlasi se znamenkom, rolluj.

FAQ

Jak dlouho testovat? 4 tydny pri 50+ uctech denne; 6-8 pro sezonni provozy.

Jak A/B testovat QR menu? Deterministicky hash ID stolu, aby se nezneczistila data.

Poskozuje to znacku? Ne, jde o informacni architekturu, ne vizualni identitu.

Bylo to užitečné? Sdílejte to.