Сообщить об ошибкеКороткий ответ
Гипотеза — это конкретное, проверяемое предположение вида «если мы изменим X, то метрика Y изменится в такую-то сторону, потому что...», а не общая идея «давайте попробуем что-то новое».
Как это работает подробнее
Хорошая гипотеза содержит изменение, ожидаемый эффект и метрику, по которой он будет измерен, что позволяет заранее понять, как интерпретировать результат теста. Явная формулировка также облегчает коммуникацию с командой и заказчиком теста, поскольку все стороны заранее понимают, что именно будет считаться успехом.
Пример. Плохо: «Попробуем новый креатив». Хорошо: «Если заменить изображение продукта на видео с демонстрацией использования, CTR вырастет за счёт большей вовлечённости, при этом CPA не должен увеличиться более чем на 10%».
Что использовать на практике
- Практика. Перед запуском гипотезу нужно письменно зафиксировать вместе с основной и вспомогательными метриками, чтобы не подгонять выводы под результат после того, как данные уже видны. Гипотезы стоит хранить в общем реестре/бэклоге тестов с указанием даты запуска, ожидаемого эффекта и фактического результата — это помогает не повторять уже проверенные идеи.
Подводные камни
- Частые ошибки. Расплывчатые гипотезы без указания метрики и направления эффекта делают тест неинтерпретируемым: любой результат можно задним числом «объяснить». Нередко гипотезу формулируют уже после просмотра данных («задним числом»), что превращает тест в подгонку объяснения под случайный результат. Другая типичная ошибка — формулировать гипотезу слишком широко («улучшить конверсию лендинга»), из-за чего неясно, какое именно изменение и в каком объёме будет считаться проверенным по итогам одного теста.