Короткий ответ
Рекомендация должна явно отделять наблюдение («пользователи с push имеют выше retention») от предлагаемого действия и его риска («нужно проверить это причинно через A/B-тест, а не включать push всем сразу, так как вовлечённые пользователи сами чаще включают push» — классический вариант обратной причинности).
Как это работает подробнее
наблюдательная корреляция между включённым push и retention может объясняться обратной причинностью (вовлечённые пользователи сами включают push) или общим фактором (интерес к продукту влияет и на включение push, и на retention), поэтому прямое действие «разослать push всем» не гарантирует того же эффекта.
Что использовать на практике
- Применение. формулирую рекомендацию в три части: наблюдение (что увидели в данных), гипотеза о механизме (как это может работать), и проверочное действие (как недорого проверить причинность перед масштабным внедрением — например, A/B-тест с рандомизированным включением push, а не наблюдение за тем, кто включил его сам).
- Проверка или пример. Наблюдение: пользователи с включёнными push имеют retention D30 = 35% против 18% у пользователей без push (наблюдательные данные, не эксперимент). Рекомендация: «Корреляция сильная, но вероятна обратная причинность — вовлечённые пользователи сами включают push. Предлагаю A/B-тест: случайной половине новых пользователей показываем promt на включение push при онбординге, сравниваем retention через 30 дней, прежде чем масштабировать на всю базу».
Подводные камни
- Частая ошибка. выдавать корреляцию за готовую причинную рекомендацию («надо всем включить push — это поднимет retention») без оговорки о возможной обратной причинности; давать рекомендацию без конкретного следующего шага, из-за чего бизнес не понимает, что делать с результатом анализа.