Сообщить об ошибкеКороткий ответ
Нужно сопоставить потенциальный эффект от найденного улучшения (например, разницу в CPA, умноженную на масштаб будущих кампаний, где это улучшение будет применяться) с затратами на проведение теста (дополнительный бюджет на вариант, время команды, задержка запуска основной кампании) — тест оправдан, если ожидаемая выгода от масштабирования находки существенно превышает эти затраты.
Как это работает подробнее
для разовой небольшой кампании с ограниченным бюджетом полноценный статистически значимый тест может стоить дороже (в бюджете и времени), чем потенциальная выгода от найденного улучшения, тогда как для регулярной кампании с крупным бюджетом даже небольшое улучшение CPA, повторяемое из месяца в месяц, окупает затраты на тестирование многократно.
Что использовать на практике
- На практике. решение зависит от масштаба будущего использования находки — если тест проводится для разового события, а не для регулярно повторяемого формата кампании, ценность инвестиций в полноценный тест снижается, и может быть достаточно более простого, менее строгого сравнения; для повторяющихся или крупнобюджетных кампаний инвестиции в тест обычно оправданы.
- Пример. Для разовой локальной акции с бюджетом 30 000 руб. полноценный A/B-тест с нужным объёмом данных обошёлся бы в дополнительные 15 000 руб. и 3 дня задержки — решено запустить с одним заранее проверенным креативом. Для регулярной федеральной кампании с бюджетом 2 млн руб. в месяц тест креативов на 100 000 руб. окупается уже в первый месяц за счёт снижения CPA. Проверка: решение о проведении теста зафиксировано с расчётом ожидаемой окупаемости в брифе кампании.
Подводные камни
- Частые ошибки. проведение полноценного дорогостоящего теста для разовой небольшой кампании без оценки, окупится ли это вложение; отказ от тестирования крупной регулярной кампании «чтобы сэкономить», что в долгосрочной перспективе обходится дороже из-за неоптимальных креативов.