A/B testování

A/B testování je jednoduchý nástroj pro určení, zda je funkce preferována uživateli.

Uživatelé jsou rozděleni do dvou skupin. Jedna skupina vidí novou funkci. Druhá skupina vidí starou verzi. Pak zkontrolujete, zda se skupiny chovají odlišně, např. zda jedna skupina provádí více úprav než druhá.

Jak to nastavit

Instrumentace pro A/B test může být složitá, proto požádejte o pomoc.

Mnoho A/B testů na veřejných wikin je spouštěno pouze pro přihlášené uživatele. Testy mohou být omezeny na uživatele určitých wiki stránek nebo s určitou úrovní zkušeností (např. pouze nové editory Wikipedie). Pokud chcete spustit A/B test pro nepřihlášené uživatele (uživatele s IP adresou / uživatele, kteří nejsou přihlášeni), měli byste se pravděpodobně nejprve poradit s Experimentation Platform Team (který může zapojit osoby spojené s Wikimedia Performance Team ), kteří jsou správci Test Kitchen (AKA Experimentation Lab nebo "xLab").

Nejčastěji jsou tyto dvě skupiny identifikovány podle čísel uživatelských účtů. Tato čísla jsou v podstatě náhodná.

Na závěr

Toto je neúplný seznam minulých použití ve vývoji MediaWiki.

• Wikipedia.org Portal A/B testing
• Page Previews/2016 A/B Tests a Page Previews/2017-18 A/B Tests
• UK A/B Testing
• VisualEditor on mobile/Edit cards
• Reading/Web/Projects/Mobile Page Issues/AB tests
• Reading/Search Engine Optimization/sameAs test
• (Prosím, přidejte sem odkazy na další studie!)

Související odkazy

• wikitech:Metrics_Platform
• wikitech:A/B testing
• phab:T213315 "Output 3.2: Controlled experiment (A/B test) capabilities" (z Ročního plánu Wikimedia Foundation/2018-2019/Publikum#Lepší využití dat)