Какие типичные ошибки допускают при построении когортного анализа, которые искажают выводы?

Короткий ответ

Самые частые ошибки — неверный выбор «точки входа» в когорту, смешение когорт с разным определением, и отсутствие нормализации по размеру когорты при сравнении абсолютных чисел.

Как это работает подробнее

Если для одной когорты точкой входа берётся дата регистрации, а для другой — дата первой покупки, когорты формируются по разным логикам, и retention или LTV между ними будет не сопоставим; аналогично, сравнение абсолютного числа «вернувшихся пользователей» между когортами разного размера без перевода в проценты искажает картину. Похожая ошибка — не исключать из когорты пользователей, которые были получены за счёт разовой акции или сильной скидки, что может временно улучшить retention, но не отражает типичное поведение канала.

Что использовать на практике

• Практика. На практике перед построением когортного анализа явно фиксируют определение точки входа и приводят метрики к процентам от размера когорты, чтобы разные по объёму когорты были сравнимы. Полезно при публикации когортного отчёта явно подписывать, сколько пользователей в каждой когорте, чтобы читатель отчёта сразу видел, насколько надёжен вывод по небольшой по размеру когорте.
• Пример. Когорта «октябрь» на момент отчёта существует только 2 недели — сравнивать её 4-недельный retention с июльской когортой (у которой есть полные 4 недели данных) методологически неверно, нужно сравнивать только сопоставимые по «возрасту» периоды.

Подводные камни

• Риск. Частая ошибка — не учитывать неполные («не дозревшие») когорты, то есть сравнивать retention на неделе 4 для старой когорты и совсем новой, у которой неделя 4 ещё не наступила.