Сообщить об ошибкеКороткий ответ
Гипотеза — это предположение о причине и ожидаемом эффекте («если мы упростим форму оплаты, то конверсия в покупку вырастет, потому что снизится трение»), а метрика успеха — это конкретное измеримое число, по которому проверяют, подтвердилась ли гипотеза.
Как это работает подробнее
гипотеза задаёт направление и логику изменения, метрика превращает её в проверяемое утверждение с конкретным числом и порогом; без метрики гипотезу невозможно подтвердить или опровергнуть объективно.
Пример плохой практики: тест запущен с целью «посмотреть, как изменится поведение пользователей», без фиксированной метрики. После теста просматривают десятки метрик и находят одну значимую (например, время на странице), объявляя победу — хотя это могло быть случайным совпадением среди множества проверенных метрик.
Что использовать на практике
- хорошая гипотеза формулируется по схеме «если сделаем X, то метрика Y изменится на Z, потому что...»; метрику выбирают так, чтобы она была измерима, чувствительна к изменению и не считалась постфактум произвольно.
Подводные камни
- запуск теста без заранее сформулированной метрики и выбор «подходящей» метрики уже после того, как увидели данные — это даёт пространство для подгонки вывода под желаемый результат.