Сообщить об ошибкеКороткий ответ
Стоимость эксперимента включает не только прямые затраты (бюджет, потраченный на заведомо менее эффективный вариант в ходе теста), но и упущенную выгоду от более медленного масштабирования во время теста, а также время команды; сравнивать эту стоимость нужно с ожидаемой приведённой ценностью от правильного решения, умноженной на вероятность, что тест действительно изменит решение.
Как это работает подробнее
Если решение и так очевидно (разница в офферах тривиальна и интуитивно предсказуема) или бюджет, на который повлияет решение, мал, высокая стоимость строгого теста может не окупиться; при решении, затрагивающем значительную часть годового бюджета, даже дорогостоящий и длительный тест обычно окупается за счёт снижения риска масштабной ошибки. Ценность информации теста тем выше, чем больше неопределённость до теста и чем больше масштаб решения, на которое тест повлияет — поэтому для хорошо изученных, повторяющихся решений строгий тест часто избыточен.
Компромисс. Чрезмерное тестирование всего подряд замедляет работу и расходует ограниченные ресурсы аналитики на низкоценные вопросы; недостаточное тестирование важных решений повышает риск масштабной ошибки, цена которой может многократно превысить стоимость полноценного эксперимента — приоритизация зависит от масштаба бюджета и уровня неопределённости каждого решения. Чрезмерная экономия на экспериментах ради экономии времени аналитиков тоже является решением с риском — сэкономленное время может обернуться более дорогой ошибкой, если решение окажется неверным.
Пример. Решение A: выбор из двух похожих вариантов текста кнопки, влияет на бюджет 50 000 руб./мес -> полноценный строгий тест может быть экономически неоправдан Решение B: смена модели атрибуции, влияющей на распределение 10 млн руб./мес бюджета между каналами -> высокая цена ошибки оправдывает длительный и методологически строгий тест/пилот
Что использовать на практике
- Практика. Полезно явно прикидывать «ценность информации» теста — сколько будет стоить компании ошибочное решение без теста, и сравнивать это с затратами на проведение теста нужного качества. Полезно сравнивать стоимость эксперимента не только с ожидаемым выигрышем, но и с альтернативной стоимостью времени аналитиков, которое могло бы пойти на более ценные по информации тесты.
Подводные камни
- Частые ошибки. Ошибка — одинаково дотошно тестировать каждое микро-изменение независимо от масштаба бюджета, под который принимается решение, тратя время аналитиков на тесты, ценность информации от которых ниже стоимости самого теста. Ошибка — оценивать стоимость эксперимента только в деньгах бюджета, не учитывая стоимость времени команды и возможную задержку в принятии важного решения из-за ожидания результатов теста.