Сообщить об ошибкеКороткий ответ
На маленькой выборке случайные колебания могут давать видимость разницы между вариантами там, где её на самом деле нет, поэтому нужен минимальный объём данных, чтобы отличить реальный эффект от шума.
Как это работает подробнее
С ростом числа наблюдений (показов, кликов, конверсий) случайные колебания сглаживаются, и наблюдаемая разница метрик точнее отражает истинную разницу между вариантами. Чем меньше ожидаемая разница между вариантами, тем больше конверсий требуется для её обнаружения — это стоит учитывать при выборе, что вообще имеет смысл тестировать при текущем трафике.
Пример. При ожидаемой конверсии 2% и бюджете, дающем 500 кликов в неделю, для надёжного вывода может понадобиться 3-4 недели накопления данных — это нужно учитывать при планировании сроков теста.
Что использовать на практике
- Практика. Перед запуском стоит прикинуть ожидаемое число конверсий за период теста (используя текущий CVR и бюджет) и убедиться, что за разумный срок накопится достаточно данных для значимого вывода. Полезно использовать простой онлайн-калькулятор размера выборки на старте, подставляя туда базовую конверсию и ожидаемый трафик, чтобы заранее понимать реалистичные сроки теста.
Подводные камни
- Частые ошибки. Распространённая ошибка — завершать тест после первых 10-20 конверсий на вариант, потому что «уже видна разница», хотя доверительный интервал всё ещё очень широкий. Ошибкой будет и расширять срок теста «до бесконечности» в надежде на значимость — если за разумный срок данных не набралось, тест стоит признать неубедительным и пересмотреть гипотезу.