🐍 Python для анализа данных

Короткий ответ Единственного правильного решения нет: можно считать метрику по изначальной полной когорте пользователей, включая тех, кто перестал быть активным (явно отражая их как "0" или "отток" в расчёте), либо явно разделять метрику "для оставшихся" и метрику "для исходной когорты" — важно не подменять одно другим незаметно для читателя отчёта. Как это работает подробнее смещение выжившего возникает, когда из расчёта метрики (например, среднего чека или вовлечённости) исключаются пользователи, переставшие быть "активными", из-за чего оставшаяся выборка систематически смещена в сторону более лояльных/успешных пользователей, и метрика выглядит лучше, чем есть на самом деле для всей исходной когорты. Пример кода Что использовать на практике На практике. при построении, например, "среднего дохода на пользователя" важно явно определить знаменатель — это все пользователи исходной когорты или только оставшиеся активные; для метрик удержания и роста обычно содержательнее считать от исходного размера когорты, даж

Читать полностьюcohort-analysis

Короткий ответ Единственного правильного решения нет: в условиях дефицита времени стоит быстро прогнать несколько самых дешёвых и информативных проверок (число строк, дубликаты по ключу, сверка с независимым контрольным агрегатом), а затем явно сообщить руководителю, что именно проверено, а что осталось за рамками быстрой проверки, вместо того чтобы либо слепо подтверждать цифру, либо требовать полного повторного анализа. Как это работает подробнее приоритетные быстрые проверки — это сверка итогового числа с независимым источником (например, грубая оценка через SQL напрямую к источнику данных, в обход всего pandas-пайплайна), проверка на дубликаты по ключевому полю и проверка, что фильтры периода/сегмента применены так же, как в исходном расчёте; такие проверки занимают минуты, но покрывают наиболее вероятные источники грубой ошибки. Пример кода Что использовать на практике На практике. важно явно разграничить для руководителя "быструю проверку на грубые ошибки" и "полный аудит расчёта" — это разные по надёжн

Читать полностьюcommunication

Короткий ответ NaN — это специальное число с плавающей точкой для обозначения отсутствующего числового значения, а None — обычный объект Python для отсутствующего значения; pandas обычно приводит оба к единообразному представлению пропуска в большинстве операций и методов вроде isna(). Как это работает подробнее в числовом столбце (float64) None автоматически преобразуется в NaN при создании Series; в столбце типа object (например, со строками) None может храниться как есть, но isna() и isnull() всё равно корректно распознают и NaN, и None, и NaT (пропуск в датах) как пропущенные значения. Пример кода Что использовать на практике На практике: для практических целей достаточно пользоваться isna()/notna(), которые унифицированно обрабатывают все виды пропусков, не разбираясь вручную в том, что именно хранится в ячейке; важно не путать пропуск с пустой строкой '' или текстовым "None" — это разные вещи, которые isna() не поймает без предварительной замены. Проверка: isna() вернёт True для второго и третьего элеме

Читать полностьюmissing-data

Короткий ответ value_counts() — это быстрый способ посчитать частоты значений одного Series с сортировкой по убыванию по умолчанию, а groupby(...).size() — более общий инструмент, который можно использовать при группировке по нескольким столбцам сразу. Как это работает подробнее df['col'].value_counts() считает, сколько раз встречается каждое уникальное значение в столбце, и по умолчанию исключает NaN (есть параметр dropna=False, чтобы включить); groupby(['col1','col2']).size() считает количество строк в каждой комбинации значений нескольких столбцов. Пример кода Что использовать на практике На практике: value_counts() удобен для быстрого взгляда на распределение одной категориальной переменной, а groupby+size — когда нужно посчитать количество по пересечению нескольких признаков (например, количество заказов по стране и статусу одновременно). Проверка: сумма value_counts() равна 3, хотя всего в таблице 4 строки — разница в 1 указывает на пропуск, который не попал в подсчёт. Подводные камни Частые ошибки: исп

Читать полностьюaggregation

Короткий ответ Единственного правильного решения нет: монолитный pipeline в памяти проще и быстрее для небольших и стабильных расчётов, а модульные шаги с промежуточным сохранением лучше подходят для больших, долго выполняющихся или часто отлаживаемых пайплайнов — выбор зависит от объёма данных, частоты сбоев и потребности в отладке отдельных этапов. Как это работает подробнее монолитный подход выполняет все преобразования от сырых данных до финального результата в одном скрипте без сохранения промежуточных состояний, что проще писать и быстрее исполнять за счёт отсутствия лишнего ввода-вывода; модульный подход сохраняет результат каждого значимого шага на диск (parquet/csv), что позволяет перезапускать только упавший или изменившийся шаг, не пересчитывая всё с начала, и облегчает отладку через инспекцию промежуточных файлов. Пример кода Что использовать на практике На практике. для небольших и быстрых расчётов (секунды-минуты) монолитный подход обычно предпочтительнее из-за простоты; для длительных расчётов

Читать полностьюcheckpointing

Короткий ответ subset указывает, по каким столбцам искать дубликаты, что критично, когда дубликатом нужно считать совпадение бизнес-ключа (например, order_id), а не полное совпадение всех столбцов. Как это работает подробнее без subset drop_duplicates сравнивает все столбцы, и строки, отличающиеся хотя бы в одном поле, не считаются дубликатами; с subset=['order_id'] сравнение идёт только по указанным столбцам, и строки с одинаковым order_id, но разными прочими полями, всё равно будут признаны дубликатами. Пример кода Что использовать на практике На практике: если order_id должен быть уникальным, но у одной записи обновилось, например, поле status, полное сравнение строк не найдёт дубликат — нужен subset по бизнес-ключу; важно явно решить, какую версию оставить (keep='last' для самой свежей, если есть временная метка). Проверка: итоговая таблица содержит по одной строке на order_id, причём для order_id=1 остаётся строка со статусом 'paid' как последняя по порядку в данных. Подводные камни Частые ошибки: провер

Читать полностьюbusiness-key

Короткий ответ pd.concat по умолчанию выравнивает таблицы по названиям столбцов, заполняя NaN там, где столбец присутствует только в одной из таблиц, а индексы объединяемых таблиц сохраняются как есть, если не передать ignore_index=True. Как это работает подробнее concat(axis=0) объединяет строки по объединению (union) множества столбцов обеих таблиц; столбцы, отсутствующие в одной из таблиц, получают NaN в соответствующих строках; исходные индексы каждой таблицы сохраняются без изменений, из-за чего при одинаковых исходных индексах в результате появляются повторяющиеся метки. Пример кода Что использовать на практике На практике. если таблицы должны иметь одинаковую структуру (например, данные за разные месяцы с одинаковой схемой), стоит заранее проверить набор столбцов (set(df1.columns) == set(df2.columns)), чтобы не получить неожиданные NaN из-за опечатки в названии столбца; ignore_index=True нужен почти всегда, если дальше планируется позиционный доступ или просто чистый диапазон индекса. Проверка. итогова

Читать полностьюconcat

Короткий ответ Broadcasting — это механизм NumPy, который позволяет выполнять поэлементные операции между массивами разной формы, автоматически «растягивая» меньший массив без физического копирования данных. Как это работает подробнее NumPy сравнивает формы массивов справа налево; если размерность равна 1 или отсутствует, она расширяется до нужного размера виртуально, без копирования памяти, и только затем выполняется поэлементная операция. Пример кода Что использовать на практике На практике: broadcasting удобен для операций вида "вычесть среднее по столбцу из каждой строки" или "умножить таблицу на вектор коэффициентов"; это избавляет от явных циклов и ускоряет вычисления на больших массивах. Проверка: col_mean имеет форму (3,), а вычитание из матрицы формы (2,3) работает благодаря broadcasting построчно; сумма centered по каждому столбцу должна быть близка к нулю. Подводные камни Частые ошибки: путают формы массивов и получают не ту ось broadcasting (например, вычитают построчно вместо постолбцового средне

Читать полностьюarrays

Короткий ответ NumPy-массив (ndarray) хранит однородные данные одного типа в непрерывном блоке памяти, что позволяет выполнять векторизованные операции быстрее и компактнее, чем над обычным списком Python. Как это работает подробнее список Python хранит ссылки на произвольные объекты, и операции над ним выполняются через интерпретируемый цикл; ndarray хранит значения одного dtype подряд в памяти, а операции (сложение, умножение) реализованы в скомпилированном C-коде и применяются сразу ко всему массиву. Пример кода Что использовать на практике На практике: для числовых расчётов на больших объёмах данных операции с массивами NumPy в разы быстрее, чем цикл for по списку; при этом смешивание типов в массиве (например, числа и строки) приводит к dtype=object и потере преимущества в скорости. Проверка: два вывода наглядно различаются — конкатенация списка против поэлементного сложения массива, что и объясняет разницу поведения. Подводные камни Частые ошибки: складывают списки оператором + и получают конкатенацию в

Читать полностьюdata-types