Сообщить об ошибкеКороткий ответ
MVT одновременно тестирует несколько элементов (например, заголовок и изображение) во всех возможных комбинациях, тогда как обычный A/B-тест сравнивает два полноценных варианта, различающихся обычно одним изменением.
Как это работает подробнее
MVT позволяет не только выбрать лучшую комбинацию, но и оценить вклад отдельных элементов, но для этого требуется кратно больше трафика, так как число комбинаций растёт с числом элементов и их вариантов. Помимо чистого MVT существует частичный факторный подход, когда тестируют не все возможные комбинации, а заранее отобранное подмножество — это требует меньше трафика, но даёт менее полную картину взаимодействий.
Пример. Тест 2 заголовков × 2 изображений даёт 4 комбинации лендинга; при 1000 визитов в неделю каждая комбинация получит лишь около 250 визитов — для надёжных выводов может понадобиться несколько месяцев.
Что использовать на практике
- Практика. MVT оправдан при большом объёме трафика (обычно это крупные кампании или сайты с высокой посещаемостью); при ограниченном трафике лучше последовательные простые A/B-тесты. Перед запуском MVT полезно оценить ожидаемое число посетителей на комбинацию так же, как для обычного A/B-теста, но умножив число комбинаций на необходимый минимум.
Подводные камни
- Частые ошибки. Частая ошибка — запускать MVT с 4-6 комбинациями при небольшом трафике, из-за чего ни одна комбинация не набирает достаточно данных для значимого вывода. Ошибка — включать в MVT элементы, которые заведомо слабо влияют на конверсию (например, оттенок цвета), расходуя на них трафик, который можно направить на более значимые гипотезы.