🐍 Python для анализа данных

Короткий ответ Единственного правильного решения нет: воспроизводимость окружения можно обеспечить через фиксацию версий в requirements/lock-файле, через контейнеризацию (Docker) или через более лёгкие практики вроде записи версий ключевых библиотек в сам отчёт — выбор зависит от критичности результата и ресурсов команды на поддержку инфраструктуры. Как это работает подробнее разные версии pandas/numpy могут менять поведение операций (например, copy-on-write, обработка пропусков в groupby, порядок сортировки) даже без изменений в коде проекта; фиксация версий (requirements.txt с точными версиями или lock-файл) гарантирует, что окружение, в котором код тестировался, воспроизводимо на другой машине или через время. Пример кода Что использовать на практике На практике. для разовых исследовательских расчётов может быть достаточно явно зафиксировать seed и записать версии библиотек в начале отчёта (pd.__version__, np.__version__); для регулярных продакшен-отчётов и моделей, влияющих на решения, обычно оправдано ис

Читать полностьюdependencies

Короткий ответ Сортировка по нескольким столбцам делается через df.sort_values(['col1', 'col2'], ascending=[True, False]), где списки столбцов и направлений должны соответствовать друг другу по порядку. Как это работает подробнее sort_values сначала сортирует по первому столбцу списка, а при совпадающих значениях — по следующему, и так далее; ascending принимает список той же длины, где каждый элемент относится к соответствующему столбцу. Пример кода Что использовать на практике На практике: такая сортировка часто нужна для отчётов вида "сначала по категории по алфавиту, внутри категории — по убыванию суммы"; после сортировки полезно вызвать reset_index(drop=True), если дальнейшая логика ожидает последовательный индекс. Проверка: внутри категории A строки должны идти в порядке 200, затем 100, а внутри категории B — 300, затем 50, при этом категория A идёт раньше B. Подводные камни Частые ошибки: передают одно значение ascending вместо списка, рассчитывая, что оно применится по-разному к разным столбцам, хотя

Читать полностьюdataframe

Короткий ответ Базовую статистику получают через df['col'].describe() или отдельные методы mean(), median(), std(), min(), max(), которые по умолчанию игнорируют пропуски. Как это работает подробнее describe() для числового столбца считает count, mean, std, min, 25/50/75 перцентили и max; count показывает число непустых значений, что сразу даёт понять, есть ли пропуски. Пример кода Что использовать на практике На практике: среднее чувствительно к выбросам, медиана — устойчивее; перед интерпретацией стоит сравнить mean и median, а также посмотреть на min/max, чтобы заметить аномальные значения (отрицательные суммы, нулевые возраста и так далее). Проверка: count покажет 4 (не 5, из-за пропуска), а резкий разрыв между 75-м перцентилем и max сигнализирует о потенциальном выбросе 100000. Подводные камни Частые ошибки: считают describe() достаточным анализом без визуализации распределения (гистограммы, boxplot), хотя одинаковые mean/median могут скрывать бимодальное распределение; забывают, что describe() по умолча

Читать полностьюdescriptive-statistics

Короткий ответ groupby('col') разбивает DataFrame на группы по значениям столбца, а последующий agg-метод (sum, mean и так далее) считает статистику внутри каждой группы отдельно. Как это работает подробнее groupby сам по себе не вычисляет ничего, а создаёт объект-группировку; вызов .sum(), .mean() или .agg(...) применяет функцию к каждой группе независимо и собирает результат в новый DataFrame или Series с группами в индексе. Пример кода Что использовать на практике На практике: для нескольких статистик сразу удобно использовать .agg(['sum', 'mean', 'count']); после группировки результат часто приводят обратно к обычному DataFrame через reset_index(), чтобы было удобнее работать с группировочным столбцом как с обычной колонкой. Проверка: для категории A сумма должна быть 300, среднее 150; для B сумма 200, среднее 100 — легко проверить вручную по исходным значениям. Подводные камни Частые ошибки: применяют groupby к столбцам с пропусками в группировочном ключе — такие строки по умолчанию исключаются из резуль

Читать полностьюaggregation

Короткий ответ Каждое условие нужно заключать в отдельные скобки перед объединением через & (и) или | (или), иначе Python попытается применить побитовый оператор раньше сравнения и выбросит ошибку или даст неверный результат. Как это работает подробнее операторы & и | в Python имеют более высокий приоритет, чем операторы сравнения (>, ==, 1 & df['b'] < 2 интерпретируется не так, как ожидает пользователь, и обычно вызывает ошибку. Пример кода Что использовать на практике На практике: правильная запись выглядит как df[(df['a'] > 1) & (df['b'] < 2)]; для булевых условий в pandas нельзя использовать обычные and/or, потому что они ожидают единственное булево значение, а не поэлементный Series. Проверка: результат должен содержать только строки, где одновременно a>1 и b<5, то есть строки с a=2,b=1 и a=3,b=4; строку a=1 исключает первое условие. Подводные камни Частые ошибки: пишут df[df['a'] > 1 and df['b'] < 2] и получают ValueError о неоднозначности истинности Series; забывают скобки вокруг отдельных условий при

Читать полностьюboolean-mask

Короткий ответ Текстовый столбец с датами приводят через pd.to_datetime(df['col'], format=..., errors='coerce'), после чего с ним можно работать как с датой: сравнивать, сортировать, извлекать компоненты. Как это работает подробнее pd.to_datetime парсит строки в объекты Timestamp; если формат дат заранее известен (например, 'DD.MM.YYYY'), явное указание format ускоряет парсинг и исключает неверную автоматическую интерпретацию (путаницу дня и месяца); errors='coerce' превращает непарсящиеся значения в NaT вместо падения с ошибкой. Пример кода Что использовать на практике На практике: после преобразования становится доступен df['col'].dt — аксессор для извлечения года, месяца, дня недели и выполнения арифметики с датами (разница в днях, фильтрация по диапазону); важно сразу проверить df['col'].isna().sum() после coerce, чтобы не потерять строки незаметно. Проверка: первые две строки получат корректные Timestamp (1 февраля и 15 марта 2024), а третья строка станет NaT, что видно по выводу и проверяется df['date']

Читать полностьюdata-cleaning

Короткий ответ Столбец приводят через pd.to_numeric(df['col'], errors='coerce') или df['col'].astype(float), предварительно убедившись, что в данных нет нечисловых артефактов вроде пробелов или нестандартных разделителей. Как это работает подробнее astype(float) напрямую пытается преобразовать все значения и выбрасывает ошибку, если хотя бы одно значение не парсится как число; pd.to_numeric с errors='coerce' вместо ошибки подставляет NaN для непарсящихся значений, позволяя продолжить анализ и отдельно посчитать, сколько строк не удалось преобразовать. Пример кода Что использовать на практике На практике: перед преобразованием стоит проверить уникальные "странные" значения в столбце (df['col'].unique()), чтобы понять источник проблемы — например, разделитель тысяч, запятая вместо точки или текстовые пометки типа "n/a"; после coerce обязательно считают df['col'].isna().sum(), чтобы не потерять данные незаметно. Проверка: после очистки от запятых успешно преобразуются 3 значения, а 'n/a' превращается в NaN, что

Читать полностьюdata-cleaning

Короткий ответ apply(func) применяет переданную функцию к каждому элементу Series (или к каждой строке/столбцу DataFrame), что удобно для простой очистки текста, например df['col'].apply(lambda x: x.strip().lower()). Как это работает подробнее для Series apply вызывает функцию поэлементно и собирает результаты в новый Series той же длины; для текстовых операций похожего эффекта часто можно достичь встроенными str-методами (str.strip(), str.lower()), которые работают быстрее за счёт векторизации внутри pandas. Пример кода Что использовать на практике Практика. apply с lambda удобен для нестандартной логики, которую нельзя выразить встроенными методами (например, сложное условное преобразование), но для простых операций (регистр, пробелы, замена) лучше использовать специализированные str-методы, если они покрывают задачу. Проверка. первые два значения должны стать 'alice' и 'bob' без пробелов, а пропуск останется пропуском, не вызвав ошибку. Подводные камни Частая ошибка. применяют apply к столбцу с пропусками

Читать полностьюapply

Короткий ответ По правилу IQR выброс считается значением ниже Q1 минус 1.5×IQR или выше Q3 плюс 1.5×IQR, где IQR — это разница между 75-м и 25-м перцентилем. Как это работает подробнее Q1 и Q3 — это 25-й и 75-й перцентили распределения, IQR = Q3 − Q1; границы Q1 − 1.5×IQR и Q3 + 1.5×IQR образуют "нормальный" диапазон, а значения за его пределами помечаются как потенциальные выбросы. Пример кода Что использовать на практике Практика. это простое и устойчивое к асимметрии правило удобно для быстрой разведочной проверки, но коэффициент 1.5 — условность, а не универсальный закон; для сильно скошенных распределений (например, доходы) правило может помечать как "выбросы" много законных значений. Проверка. значение 100 должно попасть в outliers, так как оно существенно превышает верхнюю границу, рассчитанную по основной массе значений вокруг 10–13. Подводные камни Частая ошибка. применяют правило IQR к явно нечисловому или категориальному распределению, где понятие выброса в принципе не применимо; автоматически удал

Читать полностьюdata-cleaning