Короткий ответ На маленькой выборке случайные колебания могут давать видимость разницы между вариантами там, где её на самом деле нет, поэтому нужен минимальный объём данных, чтобы отличить реальный эффект от шума. Как это работает подробнее С ростом числа наблюдений (показов, кликов, конверсий) случайные колебания сглаживаются, и наблюдаемая разница метрик точнее отражает истинную разницу между вариантами. Чем меньше ожидаемая разница между вариантами, тем больше конверсий требуется для её обнаружения — это стоит учитывать при выборе, что вообще имеет смысл тестировать при текущем трафике. Пример. При ожидаемой конверсии 2% и бюджете, дающем 500 кликов в неделю, для надёжного вывода может понадобиться 3-4 недели накопления данных — это нужно учитывать при планировании сроков теста. Что использовать на практике Практика. Перед запуском стоит прикинуть ожидаемое число конверсий за период теста (используя текущий CVR и бюджет) и убедиться, что за разумный срок накопится достаточно данных для значимого вывода. П
Загрузка…
