🐍 Python для анализа данных

Короткий ответ .copy() создаёт независимую копию данных, чтобы изменения в новом объекте не затрагивали исходный DataFrame; без неё часть операций может вернуть view (вид) на те же данные, и изменения отразятся на оригинале неожиданным образом. Как это работает подробнее некоторые операции в pandas (например, простой срез по столбцам) могут возвращать view — объект, ссылающийся на ту же память, что и исходный DataFrame, а не на новую копию; изменение такого view способно изменить и исходные данные, что и вызывает печально известный SettingWithCopyWarning. Пример кода Что использовать на практике Практика. если планируется модифицировать производный DataFrame (добавлять столбцы, менять значения), а исходный должен остаться неизменным для дальнейших сравнений, стоит сразу явно вызвать .copy(); это особенно важно при создании "рабочих" версий таблицы для экспериментов с очисткой. Проверка. после изменения subset исходный df должен остаться [1, 2, 3], что подтверждает независимость копии от оригинала. Подводные к

Читать полностьюcopy

Короткий ответ resample('W') или resample('M') на DataFrame с datetime-индексом группирует данные по календарным периодам и применяет агрегатную функцию, но интерпретировать итог нужно с учётом неравной длины периодов и присутствия праздников/выходных, которые систематически меняют уровень метрики. Как это работает подробнее resample требует, чтобы индекс DataFrame был datetime, и разбивает временной ряд на бины фиксированной длительности (неделя, месяц), а затем применяет sum/mean/count и так далее к каждому бину; в отличие от groupby по произвольному столбцу, resample учитывает календарную природу дат, включая дни без единой записи (может потребоваться fillna(0) для таких дней). Пример кода Что использовать на практике Практика. при сравнении, например, выручки по месяцам нужно учитывать разное число дней и разное число рабочих/праздничных дней в месяце; для недельной агрегации важно явно выбрать день начала недели, иначе сравнение "такая же неделя прошлого года" может быть не вполне корректным при расхожде

Читать полностьюaggregation

Короткий ответ Сводку строят через (df.isna().mean() * 100).sort_values(ascending=False), что сразу даёт процент пропусков по каждому столбцу, упорядоченный от самого проблемного к наименее проблемному. Как это работает подробнее isna() даёт булев DataFrame, mean() по столбцам (axis=0 по умолчанию) считает долю True, так как True интерпретируется как 1, а False как 0; умножение на 100 переводит долю в проценты, а sort_values упорядочивает результат. Пример кода Что использовать на практике На практике: такую сводку обычно делают первым шагом при знакомстве с новой таблицей, чтобы сразу расставить приоритеты очистки данных; полезно также вывести её как DataFrame с двумя столбцами (имя столбца и процент), а не как Series, если планируется дальше использовать в отчёте. Проверка: для столбца 'a' ожидается 50.0, для 'b' — 25.0, для 'c' — 0.0, и порядок вывода должен быть именно a, b, c по убыванию доли пропусков. Подводные камни Частые ошибки: считают долю пропусков от неправильного знаменателя, например, от числа

Читать полностьюdata-quality

Короткий ответ Для фильтрации по условию используют булеву маску, а для одновременного выбора строк и столбцов по условию и названиям — df.loc[маска, список_столбцов]. Как это работает подробнее булева маска — это Series True/False той же длины, что и DataFrame; df[mask] оставляет строки с True, а df.loc[mask, cols] дополнительно ограничивает набор столбцов за один проход. Пример кода Что использовать на практике На практике: предпочтительно писать df.loc[df['amount'] > 0, ['id', 'amount']] одной операцией, а не выбирать сначала строки, а потом столбцы через df[mask][['id','amount']] — это избегает цепочечной индексации и связанных с ней предупреждений и неоднозначностей. Проверка: результат должен содержать только строки id=1 и id=3, что легко сверить по исходным значениям amount глазами. Подводные камни Частые ошибки: пытаются присвоить значения через df[mask]['col'] = x и получают SettingWithCopyWarning, потому что неясно, работает ли код с копией или с видом исходных данных; забывают скобки при объединени

Читать полностьюboolean-mask

Короткий ответ В pd.merge есть параметр validate (например, '1:1', '1:m', 'm:1', 'm:m'), который проверяет заявленный тип связи и выбрасывает понятную ошибку заранее, если реальные данные ему не соответствуют, вместо того чтобы молча вернуть неожиданный результат. Как это работает подробнее validate='one_to_one' проверяет, что ключ объединения уникален в обеих таблицах; validate='one_to_many' проверяет уникальность ключа только в левой таблице, допуская повторы в правой; при нарушении условия merge вместо выполнения операции выбрасывает MergeError с понятным сообщением. Пример кода Что использовать на практике Практика. добавление validate — это дешёвая и полезная защитная проверка перед продакшен-пайплайнами и регулярными отчётами, особенно когда данные могут со временем измениться (появятся дубликаты ключа, которых раньше не было); это особенно важно при автоматизированных регулярных джойнах, где никто не смотрит на результат построчно. Проверка. вызов должен выбросить MergeError, явно сообщающий, что ключ

Читать полностьюcardinality

Короткий ответ После преобразования столбца в datetime компоненты извлекают через аксессор .dt, например df['date'].dt.day_name() для дня недели и df['date'].dt.month для номера месяца. Как это работает подробнее аксессор .dt доступен только для столбцов с типом datetime64 и предоставляет свойства year, month, day, day_name(), weekday (номер дня недели, где 0 — понедельник) и другие производные от даты значения. Пример кода Что использовать на практике На практике: извлечение дня недели и месяца часто нужно для анализа сезонности или недельной цикличности (например, сравнить продажи по будням и выходным); при межнациональном анализе стоит учитывать, что day_name() возвращает название на английском по умолчанию, если не настроена локаль. Проверка: для 2024-01-01 (понедельник) weekday должен быть "Monday", а month — 1; для 2024-01-06 (суббота) weekday — "Saturday". Подводные камни Частые ошибки: пытаются вызвать .dt на столбце, который на самом деле остался object/строкой, и получают AttributeError; путают week

Читать полностьюdatetime

Короткий ответ Поиск по тексту делают через df['col'].str.contains(pattern) или str.extract(regex) для извлечения части строки по регулярному выражению, при этом параметр na=... нужно задать явно, чтобы контролировать поведение на пропущенных значениях. Как это работает подробнее str.contains возвращает булев Series, True если совпадение найдено; по умолчанию результат для NaN-значения в исходном столбце тоже становится NaN (не True и не False), что при использовании в качестве фильтра может привести к неожиданному исключению строк; str.extract с группами регулярного выражения возвращает DataFrame с извлечёнными частями или NaN, если совпадение не найдено. Пример кода Что использовать на практике Практика. для надёжной фильтрации обычно явно указывают na=False в str.contains, чтобы пропуски трактовались как "не найдено", а не терялись в промежуточном NaN; регулярные выражения стоит тестировать отдельно на выборке строк, прежде чем применять к полному столбцу, особенно если паттерн сложный. Проверка. результат

Читать полностьюmissing-data

Короткий ответ Нужно сравнить долю пропусков в разных сегментах (по платформе, стране, периоду регистрации и так далее); если пропуски сильно концентрируются в одном сегменте, это сигнал, что пропуск не случаен и напрямую связан с источником или природой данных этого сегмента. Как это работает подробнее строят сводную таблицу доли пропусков по каждому сегменту (df.groupby('segment')['col'].apply(lambda x: x.isna().mean())); если доля пропусков заметно различается между сегментами, а не распределена равномерно, пропуски скорее всего связаны с определённым процессом (например, новая версия приложения не отправляла поле, или пользователи одной страны не заполняли анкету). Пример кода Что использовать на практике Практика. такой анализ особенно важен перед принятием решения об удалении строк или заполнении пропусков — если пропуски систематически связаны с, например, менее активными пользователями, удаление строк занизит метрики активности; стоит также проверить, не совпадает ли момент появления пропусков с датой

Читать полностьюbias

Короткий ответ Дубликаты находят через df.duplicated(), которая возвращает True для повторяющихся строк, а удаляют через df.drop_duplicates(). Как это работает подробнее duplicated() по умолчанию сравнивает все столбцы и помечает True для всех повторных вхождений строки, кроме первого (keep='first'); drop_duplicates() использует ту же логику и возвращает DataFrame без повторов. Пример кода Что использовать на практике На практике: перед удалением полезно посчитать df.duplicated().sum(), чтобы понять масштаб проблемы, и посмотреть на сами дубликаты через df[df.duplicated()], чтобы убедиться, что это действительно ошибка, а не легитимные одинаковые записи (например, два одинаковых заказа в один день — если они действительно разные события). Проверка: duplicated().sum() равен 1, а итоговый DataFrame содержит 3 строки вместо исходных 4. Подводные камни Частые ошибки: удаляют дубликаты сразу без анализа причины их появления (повторная загрузка файла, джойн с размножением), из-за чего настоящая причина ошибки остаё

Читать полностьюdata-quality