Menukar warna butang untuk separuh pelawat kedengaran seperti eksperimen. Tetapi jika blog hanya menerima sedikit lawatan setiap hari, perbezaan satu atau dua klik boleh mengubah “pemenang” minggu itu. Label A/B tidak menjadikan kesimpulan automatik kukuh.
Mulakan dengan hipotesis yang berkait masalah pengguna. Contohnya, “Label carian tidak jelas, sebab itu pembaca tidak menggunakannya.” Sebelum membahagi trafik, mungkin cukup uji dengan beberapa orang sebenar dan lihat sama ada mereka menemui kotak carian. Perubahan yang jelas dari segi kebolehgunaan tidak sentiasa memerlukan eksperimen statistik yang panjang.
Jika benar-benar menguji dua versi
Tentukan ukuran utama sebelum melihat hasil, jangan tukar sasaran setiap kali graf berubah. Pastikan kedua-dua kumpulan menerima pengalaman yang setara dan tempoh ujian meliputi corak lawatan biasa. Jangan hentikan ujian pada hari pertama hanya kerana satu versi nampak mendahului. Catat keputusan termasuk ketidakpastian dan kesan sampingan.
Contoh paling mudah ialah menguji label butang carian dengan lima pembaca yang belum pernah melihat laman. Minta mereka mencari artikel tertentu tanpa memberi petunjuk. Jika semuanya mencari di tempat yang salah, masalahnya cukup jelas untuk dibaiki walaupun jumlah trafik belum mampu menyokong eksperimen statistik.
Jika anda tetap menjalankan ujian, elakkan mengubah tajuk, susun atur dan butang serentak. Apabila hasil berubah, anda tidak tahu faktor mana menyumbang. Pada trafik kecil, kekeliruan ini semakin besar. Satu perubahan yang jelas dan boleh diundur lebih mudah dipelajari daripada eksperimen yang kelihatan canggih tetapi tidak boleh ditafsir.
Pada laman kecil, gabungan maklum balas pembaca, pemerhatian penggunaan dan perubahan yang boleh diundur mungkin lebih praktikal. Tujuan akhir bukan mempunyai dashboard eksperimen, tetapi membuat halaman yang lebih mudah digunakan.