Сообщить об ошибкеКороткий ответ
Нужно систематически проверить вероятные причины расхождения (исчерпание наиболее отзывчивого сегмента аудитории при увеличении охвата, эффект новизны, изменившиеся внешние условия, контаминация или техническая ошибка) прежде чем делать вывод, что тест был «неверным»; решение — частично свернуть масштабирование, провести более масштабный повторный тест или принять новый, более скромный ожидаемый эффект — зависит от критичности скорости ответа против стоимости дополнительной проверки.
Как это работает подробнее
Результат теста на ограниченном бюджете/аудитории часто отражает эффект на наиболее отзывчивой части аудитории (первой охваченной при небольшом охвате); при расширении до полного бюджета реклама неизбежно достигает более широкой и в среднем менее отзывчивой аудитории, из-за чего средний эффект закономерно оказывается скромнее — это не всегда означает ошибку теста. Полезно заранее закладывать в план тестирования постепенное увеличение охвата (а не резкий скачок от 10% до 100%), чтобы заранее увидеть момент, когда эффект начинает ослабевать, а не обнаружить это только на полном масштабе.
Компромисс. Быстрый полный откат до выяснения причины минимизирует дальнейшие потери, но лишает возможности отличить нормальное снижение эффекта от реальной проблемы и может преждевременно «похоронить» рабочую гипотезу; более медленный аналитический подход (частичное масштабирование, разбор по сегментам) даёт точный диагноз, но стоит дороже в период неопределённости — выбор зависит от допустимого бюджета на эту неопределённость. Решение о том, ограничивать ли охват наиболее отзывчивым сегментом или продолжать искать способ адаптировать гипотезу под широкую аудиторию, — это всегда компромисс между гарантированным, но меньшим результатом и потенциально большим, но более рискованным и медленным путём.
Пример. Тест (10% бюджета, узкий сегмент аудитории): CPA 350 руб., -30% к контролю Полный раскат (100% бюджета, вся аудитория): CPA 520 руб., -5% к контролю (эффект сильно скромнее) Разбор по сегментам: в исходном тестовом сегменте CPA остался на уровне 360 руб. - эффект сохранился именно там, а ухудшение произошло за счёт новых, менее отзывчивых сегментов, добавленных при расширении Гипотеза работает, но не линейно масштабируется на всю аудиторию - решение может быть в ограничении таргетинга наиболее отзывчивыми сегментами вместо полного охвата.
Что использовать на практике
- Практика. Стоит сравнить состав аудитории в тесте и при полном раскате (сегменты, гео, устройства) и проверить, не изменились ли за это время внешние условия (конкуренция, цены аукциона, сезон), прежде чем списывать расхождение на «плохую методологию теста». Если расхождение подтверждается на нескольких уровнях расширения, стоит задуматься не только об ограничении таргетинга, но и о доработке самого оффера/креатива под более широкую и менее «подогретую» аудиторию.
Подводные камни
- Частые ошибки. Ошибка — немедленно полностью откатывать успешную гипотезу при первых признаках более скромного результата на масштабе, не разобравшись, является ли это ожидаемым эффектом исчерпания аудитории или реальной проблемой; либо игнорировать существенное расхождение, ожидая, что «ещё выправится». Ошибка — объяснять любое ухудшение результата при масштабировании исключительно «исчерпанием аудитории», не проверив остальные версии причин, включая технические отличия в настройке кампании на полном масштабе.