🐍 Python для анализа данных

Короткий ответ Скользящая средняя считается через df['col'].rolling(window=N).mean(), где N — размер окна в количестве периодов (или временной интервал при отсортированном datetime-индексе). Как это работает подробнее rolling(window=N) создаёт объект скользящего окна, который для каждой позиции берёт N последних значений (включая текущее) и применяет указанную агрегатную функцию; первые N-1 значений результата будут NaN, так как для них не хватает полного окна (если не задан min_periods). Пример кода Что использовать на практике Практика. перед расчётом важно убедиться, что данные отсортированы по времени и не содержат пропущенных дат внутри ряда (иначе окно из N "строк" не будет соответствовать N календарным дням); min_periods можно использовать, чтобы считать статистику даже по неполному окну в начале ряда. Проверка. для day=3 rolling_3 должен равняться среднему значений дней 1,2,3 — (10+12+9)/3 = 10.33, а для day=1 и day=2 значения будут NaN из-за неполного окна. Подводные камни Частая ошибка. применяют ro

Читать полностьюmoving-average

Короткий ответ Единственного правильного решения нет: при ограниченном времени стоит в первую очередь проверять корректность результата (дедупликация, типы merge, обработка пропусков) и только затем — стиль и производительность, так как ошибка в логике дороже неидиоматичного, но рабочего кода. Как это работает подробнее типичные анти-паттерны у джуниоров включают merge без проверки уникальности ключа, использование iterrows там, где можно векторизовать, цепочечную индексацию с риском SettingWithCopyWarning, фильтрацию без скобок вокруг условий, и заполнение пропусков без понимания, почему они возникли; при ограниченном времени ревью стоит выстраивать приоритет по цене ошибки — сначала то, что может незаметно исказить итоговые цифры, потом то, что влияет только на скорость или читаемость. Пример кода Что использовать на практике На практике. полезно сформировать короткий чек-лист (проверка числа строк до/после merge, проверка дубликатов по ключу, явный na= в str-методах, комментарий к причине заполнения пропус

Читать полностьюcode-review

Короткий ответ Для разных функций на разные столбцы используют df.groupby('key').agg({'col1': 'sum', 'col2': 'mean'}) или более явный синтаксис с pd.NamedAgg, который сразу задаёт понятные имена итоговых столбцов. Как это работает подробнее agg принимает словарь, где ключ — имя столбца, а значение — функция или список функций, применяемых именно к этому столбцу; синтаксис с NamedAgg (df.groupby('key').agg(total=pd.NamedAgg(column='col1', aggfunc='sum'), avg=pd.NamedAgg(column='col2', aggfunc='mean'))) даёт более читаемые названия результирующих столбцов, особенно если к одному столбцу применяется несколько функций. Пример кода Что использовать на практике Практика. такой подход удобен для построения комплексных сводных отчётов одним вызовом, например "сумма выручки, среднее время доставки и количество уникальных пользователей по региону"; при использовании nunique в качестве одной из функций стоит помнить, что это может быть заметно медленнее на больших данных, чем sum/mean. Проверка. для region=RU total_reve

Читать полностьюaggregation

Короткий ответ Перед анализом эффекта считают количество пользователей в каждой группе теста (value_counts по группе) и сравнивают полученное соотношение с ожидаемым (например, 50/50), а также проверяют, не отличается ли это соотношение по сегментам (платформа, страна, день входа в тест). Как это работает подробнее df.groupby('variant')['user_id'].nunique() дает фактическое число пользователей в каждой группе; при ожидаемом равном split сильное отклонение (например, 48% против 52% на большой выборке) — явный повод для более строгой статистической проверки SRM (sample ratio mismatch), а не просто "шум". Пример кода Что использовать на практике На практике. проверку стоит делать не только в целом, но и в разрезе по дате входа в тест и по платформе — рассинхрон может возникать не с самого начала теста (например, после правки трекинга в середине эксперимента) или только на одной платформе из-за бага в назначении группы; обнаруженный SRM обычно означает, что сравнивать метрики конверсии по группам до устранения пр

Читать полностьюab-testing

Короткий ответ Сохранение делается через df.to_csv('file.csv', index=False, encoding='utf-8'), где index=False убирает лишний столбец индекса, а encoding важен для корректного отображения не-латинских символов в других программах. Как это работает подробнее to_csv() по умолчанию записывает индекс DataFrame как первый столбец файла; если индекс не содержит содержательной информации (обычный диапазон 0,1,2...), этот столбец становится лишним "Unnamed: 0" при повторном чтении файла. Пример кода Что использовать на практике Практика. для файлов, которые будут открываться в Excel на компьютерах с кириллицей, иногда полезно указать encoding='utf-8-sig', чтобы Excel корректно распознал кодировку; также стоит явно задать sep, если в данных встречаются запятые внутри текстовых полей, которые могут конфликтовать со стандартным разделителем CSV. Проверка. при повторном чтении файла список столбцов должен быть ['category', 'total'] без добавленного 'Unnamed: 0'. Подводные камни Частая ошибка. забывают index=False и затем

Читать полностьюcsv

Короткий ответ Единственного правильного решения нет: идемпотентности можно добиться полной перезаписью результата за обрабатываемый период при каждом запуске, либо через upsert-логику по бизнес-ключу с удалением/заменой существующих записей перед вставкой новых — выбор зависит от объёма данных и возможностей хранилища, куда пишется результат. Как это работает подробнее неидемпотентный ETL (который просто "дописывает" новые строки при каждом запуске) при повторном запуске на тех же данных создаёт дубликаты; идемпотентный подход либо полностью удаляет и пересчитывает данные за целевой период (например, "удалить все строки за эту дату, затем вставить заново"), либо выполняет upsert по уникальному бизнес-ключу (обновить, если ключ уже существует, иначе вставить). Пример кода Что использовать на практике На практике. полная перезапись периода проще в реализации и легче для отладки (результат всегда детерминирован относительно входных данных), но может быть дороже по времени на больших объёмах; upsert эффективнее

Читать полностьюdeduplication

Короткий ответ Единственного правильного решения нет: pipeline можно сделать максимально универсальным (конфигурируемым набором шагов) или специфичным под конкретные данные — выбор зависит от разнообразия источников, частоты изменений схемы и готовности команды поддерживать абстракцию. Как это работает подробнее переиспользуемый pipeline обычно строится как последовательность независимых шагов (загрузка → валидация схемы → очистка типов → обработка пропусков/дубликатов → агрегация), каждый из которых можно включать, отключать или настраивать параметрами, а не как монолитная функция с зашитой логикой под один датасет. Пример кода Что использовать на практике На практике. полезно явно разделить "общие" шаги (приведение типов, проверка дубликатов по ключу, базовые инварианты) и "специфичные для проекта" шаги (бизнес-логика конкретной метрики), чтобы общая часть переиспользовалась, а специфичная — настраивалась отдельно; конфигурацию стоит выносить в читаемый формат (словарь/YAML), а не хардкодить внутри функций.

Читать полностьюdata-cleaning

Короткий ответ Единственного правильного решения нет: набор проверок можно выстроить вокруг нескольких уровней — структурные инварианты (схема, типы), статистические инварианты (диапазоны значений, доля пропусков) и бизнес-инварианты (сумма метрики не может упасть ниже определённого порога без алерта) — но чем больше проверок, тем выше стоимость их поддержки и риск ложных срабатываний. Как это работает подробнее структурные проверки (наличие и тип ожидаемых столбцов, отсутствие дублей по ключу) дёшевы и редко ложно срабатывают; статистические проверки (диапазон значений, резкое изменение доли пропусков день к дню) более информативны, но требуют настройки разумных порогов, которые со временем могут устаревать; бизнес-инварианты (например, "сумма выручки не должна отличаться от вчерашней более чем на X% без видимой причины") самые ценные для раннего обнаружения проблем, но и самые сложные в калибровке. Пример кода Что использовать на практике На практике. разумно начинать с дешёвых структурных проверок на каждо

Читать полностьюdata-quality

Короткий ответ Текстовые столбцы с небольшим числом уникальных значений переводят в тип category, а числовые столбцы уменьшают до минимально достаточной разрядности через pd.to_numeric(..., downcast=...), что в сумме может существенно снизить объём занимаемой памяти. Как это работает подробнее category хранит уникальные значения один раз в "словаре" и использует компактные целочисленные коды для самих строк вместо повторения полной строки в каждой ячейке; downcast подбирает наименьший подходящий числовой подтип (например, int8 вместо int64), если диапазон значений это позволяет. Пример кода Что использовать на практике Практика. category особенно эффективен для столбцов вроде страны, статуса заказа или категории товара, где уникальных значений в разы меньше числа строк; перед downcast числовых столбцов стоит убедиться, что в будущем в данные не попадут значения за пределами диапазона уменьшенного типа, иначе возможна потеря данных или переполнение. Проверка. значение after должно быть заметно меньше before, ч

Читать полностьюcategory