Сообщить об ошибкеКороткий ответ
Если отставание большое и устойчивое при достаточном объёме показов, тест можно завершить досрочно и откатиться на контрольный вариант, не дожидаясь формальной статистической значимости, чтобы не тратить бюджет впустую.
Как это работает подробнее
Решение о досрочной остановке «плохого» варианта асимметрично решению об объявлении «победителя»: защититься от явных убытков можно раньше, так как цена ошибки здесь — потерянный бюджет, а не ложный вывод о новом стандарте. Такая асимметрия логична с точки зрения управления риском: ошибочно остановленный хороший вариант можно перезапустить позже, а бюджет, потраченный на явно слабый вариант, уже не вернуть.
Пример. Вариант B за первые 2 дня получил 2000 показов, 5 кликов (CTR 0.25%) против CTR 2% у контроля при схожем объёме — явное и большое отставание, оправдывающее приостановку варианта B для проверки причин.
Что использовать на практике
- Практика. Перед остановкой стоит проверить, не связано ли отставание с технической проблемой (ошибка модерации, не загрузилось изображение, сломанная ссылка), а не с реальным качеством креатива. Полезно заранее определить порог «явного провала» (например, CTR ниже половины от контроля при сопоставимом объёме показов), чтобы решение принималось по правилу, а не интуитивно.
Подводные камни
- Частые ошибки. Ошибка — слишком рано делать вывод по буквально нескольким показам без кликов, принимая случайные колебания за устойчивое отставание. Ошибка — выключать вариант сразу при первом низком показателе без проверки модерации и корректности отображения объявления, хотя причина может быть чисто технической.