Сообщить об ошибкеКороткий ответ
Единственно верного ответа нет, но стоит указать, что это наблюдательные/корреляционные данные, вероятно искажённые самоотбором (более вовлечённые пользователи и включают функцию, и удерживаются лучше по несвязанным причинам), и рекомендовать контролируемый эксперимент (A/B-тест) перед полным роллаутом, признавая, что давление сроков может оправдать осторожный поэтапный запуск с мониторингом.
Как это работает подробнее
Пользователи, самостоятельно включившие новую функцию, обычно не случайная выборка — они, как правило, уже более вовлечены (смещение самоотбора), поэтому наблюдаемый разрыв в удержании может объясняться в основном уже существующими различиями, а не причинным эффектом самой функции; одна корреляция на дашборде не позволяет разделить эти объяснения.
Что использовать на практике
- Применение. Предложите рандомизированный эксперимент (A/B-тест) для корректной оценки причинного эффекта X на удержание; если полноценный RCT невозможен быстро, предложите поэтапный запуск с holdout-группой и постоянным мониторингом, либо более строгий наблюдательный дизайн (например, матчинг по вовлечённости до включения функции), снижающий, но не устраняющий смещение; явно сообщите стейкхолдеру об уровне неопределённости и риске решения.
- Пример. Вместо немедленного полного включения — предложить A/B-тест на случайно разделённой 50/50 выборке новых пользователей в течение 4-6 недель, с предварительным расчётом необходимого размера выборки для обнаружения эффекта в 20 п.п. с заданной мощностью, прежде чем давать финальную рекомендацию. Проверка — сравнение результата рандомизированного теста с исходной наблюдательной корреляцией.
Подводные камни
- Частые ошибки. Трактовка корреляции на дашборде как доказательства причинного эффекта и немедленный полный роллаут; отказ дать какую-либо рекомендацию со ссылкой «корреляция не причинность» без предложения пути вперёд; проведение A/B-теста, но анализ его тем же искажённым сравнением самоотобранных групп вместо случайного распределения.