Стейкхолдер просит срочно подтвердить, что новая фича увеличила retention, при отсутствии A/B-теста и ограниченном времени — как подойти к анализу?

Короткий ответ

В условиях ограниченного времени и отсутствия эксперимента нужно быстро сравнить retention у пользователей, использовавших фичу, с пользователями, не использовавшими её (с поправкой на очевидные различия между группами), явно обозначить, что это корреляционное, а не причинное сравнение, и дать ответ с указанием допущений и уровня уверенности, а не выдать однозначное "да, увеличила".

Как это работает подробнее

быстрый анализ — это, по сути, наблюдательное (observational) сравнение, подверженное смещению отбора: пользователи, которые сами нашли и стали использовать фичу, скорее всего и так более вовлечены и имеют более высокий retention независимо от самой фичи (reverse causality/selection bias).

Ответ стейкхолдеру: "В быстром срезе пользователи фичи показывают retention выше на X п.п. даже внутри одинаковых сегментов активности — это обнадёживающий, но не причинный результат; для точного вывода рекомендуется ретроспективный квазиэксперимент или A/B-тест на новых пользователях."

Что использовать на практике

• Практика. чтобы снизить риск неверного вывода при нехватке времени, можно: сравнить только пользователей со схожей базовой активностью (например, matching по уровню активности до появления фичи), посмотреть, есть ли дозозависимость (чем больше использование фичи, тем выше retention — хотя это тоже не доказывает причинность), и явно указать в ответе ограничения метода.

Подводные камни

• Частая ошибка. поддаются давлению и дают категоричный ответ ("да, фича увеличила retention на X%") без оговорок о методологии, что приводит к решениям на основе ложной причинности; игнорируют очевидные смешивающие факторы (например, фича доступна только в новой версии приложения, а новая версия сама по себе привлекает более вовлечённых пользователей).