Что такое смещение выборки (selection bias) и как оно может исказить анализ?

Короткий ответ

Смещение выборки возникает, когда способ отбора данных систематически предпочитает определённые объекты, из-за чего выборка перестаёт отражать всю совокупность — выводы по ней могут быть неверны даже при большом объёме данных.

Как это работает подробнее

проблема не в размере выборки, а в её составе — если какая-то подгруппа систематически недо- или перепредставлена, оценки (средние, доли) будут смещены независимо от того, сколько строк собрано. Смещение особенно опасно тем, что оно может оставаться незамеченным долгое время, если никто специально не проверяет состав выборки.

Пример кода

Пример на PythonКопировать

# satisfied_active = 0.9, но это оценка только для активных пользователей,
# а не для всей базы, включая тех, кто разочаровался и ушёл

Что использовать на практике

• На практике: типичные источники смещения в продуктовой аналитике — опрос только активных пользователей (ушедшие недоступны), анализ только тех, кто прошёл регистрацию до конца (воронка уже отфильтровала «нетипичных»), сбор отзывов только от тех, кто сам написал. Перед выводами стоит спросить: кто мог не попасть в выборку и почему. Для оценки масштаба смещения полезно сравнить долю ответивших/наблюдаемых с общим размером целевой группы и явно указать эту долю в отчёте.
• Пример: Опрос удовлетворённости отправлен только пользователям, которые за последний месяц сделали покупку — ушедшие и неактивные в выборку не попали.
• Проверка: сравнить долю ответивших к общей базе пользователей и явно указать в отчёте, на какую подгруппу распространяется вывод.

Подводные камни

• Частые ошибки: считать, что большая выборка автоматически решает проблему смещения; делать вывод «пользователям нравится фича» по отзывам только тех, кто ей активно пользуется; не учитывать, что лог события мог не сработать у части пользователей (технический selection bias). Также распространённая ошибка — игнорировать смещение из-за self-selection, когда пользователи сами решают участвовать в опросе или тесте, что делает выборку систематически отличной от всей базы.