Как тестировать изменения на лендинге при небольшом объёме трафика, когда классический A/B-тест нецелесообразен?

Короткий ответ

При малом трафике можно использовать последовательное тестирование (сначала версия A некоторое время, затем версия B, с поправкой на внешние факторы периода), качественные методы (юзабилити-тесты, запись сессий, опросы) или ориентироваться на микроконверсии и поведенческие метрики вместо итоговой конверсии в покупку.

Как это работает подробнее

Микроконверсии (клики по кнопке, прокрутка до формы, время на странице) накапливаются быстрее, чем финальные конверсии, и могут раньше показать направление эффекта, хотя рост микроконверсии не всегда означает рост основной цели. Ещё один вариант — объединять данные за более длительный период или по нескольким похожим страницам/офферам, если это оправдано бизнес-логикой, чтобы быстрее накопить нужный объём.

Пример. Трафик: 80 визитов/неделю, конверсия ~3 лида/неделю - слишком мало для классического A/B за разумный срок Альтернатива: 2 недели версия A -> 2 недели версия B (с поправкой на сезонность) Запись сессий (Hotjar/Вебвизор) для качественного анализа поведения Отслеживание микроконверсий (клик по CTA, скролл до формы) как опережающего сигнала

Что использовать на практике

• Практика. Стоит явно признавать ограничения такого подхода перед стейкхолдерами: выводы будут менее строгими статистически, и решение принимается с оглядкой на качественные данные (записи сессий, обратная связь пользователей), а не только на цифры теста. При ограниченном трафике особенно важно заранее определить, какой минимальный эффект вообще имеет смысл ловить, чтобы не тратить недели на тест, технически не способный обнаружить практически значимую разницу.

Подводные камни

• Частые ошибки. Ошибка — пытаться проводить классический сплит-тест при трафике в 50-100 визитов в неделю и затем выдавать результат с «95% значимостью» там, где выборка объективно слишком мала для такого вывода. Ошибка — полностью отказываться от любого тестирования при малом трафике и принимать решения только по интуиции, хотя качественные методы всё же дают более обоснованную базу, чем её полное отсутствие.