MiddleData Analyst > SQL и данные > SQL
Короткий ответ Нужно использовать оконную функцию с PARTITION BY category: SUM(revenue) OVER (PARTITION BY category) даёт сумму по всей категории в каждой строке товара, после чего легко посчитать долю revenue / category_total, не теряя детализацию по товарам. Как это работает подробнее PARTITION BY делит все строки на независимые группы (аналогично GROUP BY), но, в отличие от GROUP BY, оконная функция не сворачивает строки в одну — каждая исходная строка сохраняется, и к ней просто «пристёгивается» агрегат по её группе. Пример кода Что использовать на практике это ключевое отличие оконных функций от обычной агрегации — можно одновременно видеть детальный уровень (товар) и контекст уровня группы (категория) в одной строке, что удобно для отчётов типа «вклад каждого товара в выручку категории». Сумма pct_of_category внутри одной категории должна быть примерно равна 100%. Проверка: SELECT category, SUM(pct_of_category) FROM (...) GROUP BY category — для каждой категории около 100. Подводные камни пытаются решит
partition-byshare-of-total
JuniorData Analyst > SQL и данные > SQL
Короткий ответ В PostgreSQL выражение DATE_TRUNC('month', order_date) приводит все даты одного месяца к общей границе. Затем GROUP BY создаёт одну группу на месяц, а COUNT и SUM вычисляют метрики. Как это работает подробнее Группировка по полноценной границе месяца сохраняет год. В отличие от неё, EXTRACT(MONTH FROM order_date) объединит, например, январь 2024 и январь 2025 в одну группу. Диалекты отличаются: BigQuery использует DATE_TRUNC(order_date, MONTH), а ClickHouse — toStartOfMonth(order_date). Пример кода Что использовать на практике Группируйте по дате месяца. Это сохраняет хронологию и позволяет корректно сортировать несколько лет. Сверяйте итог. Сумма месячных продаж должна совпасть с общей суммой за тот же фильтрованный период. Подводные камни COUNT(*). Он считает строки заказов; если после соединения один заказ размножен, метрика будет завышена. Пропущенные месяцы. Агрегация не создаёт месяцы без заказов; для полного ряда нужен календарь дат.
aggregationsdate-trunc
MiddleData Analyst > SQL и данные > Продуктовые и бизнес-метрики
Короткий ответ Для таких воронок используют "любой порядок" (unordered/any-order funnel) — считают долю пользователей, совершивших все нужные события в заданном окне времени, независимо от последовательности, вместо строгой пошаговой (ordered) воронки, которая требует строгого соблюдения порядка шагов. Как это работает подробнее строгая (ordered) воронка требует, чтобы событие B произошло строго после события A для конкретного пользователя; any-order воронка просто проверяет наличие обоих событий в пределах окна, без требования к порядку — это ближе к реальному поведению, если у продукта нет жёстко навязанного сценария (например, пользователь может сначала добавить промокод, потом товар в корзину, или наоборот). Пример кода Что использовать на практике Практика. выбор между ordered и any-order воронкой должен определяться реальным продуктовым сценарием — для чётко последовательных процессов (checkout: адрес → оплата → подтверждение) строгий порядок важен и его нарушение может говорить об ошибке в данных; для
conversionevent-sequence
MiddleData Analyst > SQL и данные > SQL
Короткий ответ Нужно соединить таблицу назначений в эксперимент с таблицей целевых событий через LEFT JOIN, сгруппировать по варианту и посчитать и общее число пользователей, и число совершивших целевое действие, чтобы конверсия (converted / total) и размер выборки были видны вместе. Как это работает подробнее Как это работает: LEFT JOIN от назначений к событиям гарантирует, что пользователи без целевого действия тоже учтутся (с NULL в поле события), и COUNT(DISTINCT CASE WHEN event_user_id IS NOT NULL THEN assignment_user_id END) корректно посчитает только тех, у кого нашлось событие, деля на общее COUNT(DISTINCT assignment_user_id). Пример кода Что использовать на практике На практике: важно всегда показывать рядом с конверсией размер выборки каждой группы — без этого «разница в конверсии 2 п.п.» невозможно правильно интерпретировать: на малой выборке это может быть шумом, на большой — значимым эффектом. SQL может посчитать сырые цифры, но решение о статистической значимости обычно требует дополнительного т
ab-testingaggregation
MiddleData Analyst > SQL и данные > SQL
Короткий ответ В PostgreSQL можно использовать PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY amount) как агрегатную функцию с GROUP BY region; в BigQuery — аналог PERCENTILE_CONT(amount, 0.5) OVER (PARTITION BY region) как оконную функцию, в ClickHouse — quantile(0.5)(amount). Как это работает подробнее Как это работает: медиана — это 50-й перцентиль, значение, относительно которого ровно половина наблюдений меньше и половина больше (с интерполяцией для PERCENTILE_CONT при чётном количестве наблюдений). В отличие от среднего, медиана устойчива к выбросам — один аномально большой заказ не сдвинет медиану так, как сдвинет среднее. Пример кода Что использовать на практике На практике: медиану стоит приводить рядом со средним, когда в данных есть выбросы (крупные корпоративные заказы на фоне розничных) — иначе среднее может создать ложное впечатление о «типичном» заказе. Разные СУБД по-разному называют и реализуют функции перцентиля, и важно проверить, какая именно интерполяция используется (PERCENTILE_CONT интерпо
aggregationmedian
MiddleData Analyst > SQL и данные > SQL
Короткий ответ Нужно использовать оконную функцию SUM(daily_amount) OVER (ORDER BY day), которая по умолчанию считает сумму от первой строки окна до текущей, формируя накопительный итог. Как это работает подробнее при наличии ORDER BY внутри OVER(...) без явного указания рамки (ROWS BETWEEN) большинство СУБД по умолчанию применяют рамку RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW — то есть суммируют все строки от начала до текущей по порядку сортировки. Пример кода Что использовать на практике перед накопительной суммой по дням данные обычно сначала агрегируют до одной строки на день (через GROUP BY в CTE), а затем оконную функцию применяют уже к агрегированным дневным суммам — иначе при RANGE-рамке строки с одинаковой датой «сольются» в одну точку накопления, что может быть неожиданным. Последняя строка cumulative_amount должна совпадать с общей суммой за весь период. Проверка: сравнить это значение с SELECT SUM(amount) FROM orders. Подводные камни не агрегируют данные до одного дня предварительно и по
cumulative-sumsql
JuniorData Analyst > SQL и данные > SQL
Короткий ответ В PostgreSQL выражение first_order_date - registration_date для двух значений типа date возвращает целое число дней. Для timestamp вычитание возвращает интервал с днями, часами и минутами. Как это работает подробнее Приведение временных меток к date отбрасывает время суток и измеряет разницу календарных дат. Если нужны полные двадцатичетырёхчасовые интервалы, вычисляйте длительность из временных меток, а не просто вычитайте даты. Синтаксис зависит от платформы: BigQuery предлагает DATE_DIFF(first_order_date, registration_date, DAY), ClickHouse — dateDiff('day', registration_date, first_order_date). Пример кода Что использовать на практике Сначала найдите первую покупку. Если исходная таблица содержит все заказы, вычислите MIN(order_date) по клиенту. Контролируйте качество. Отдельно исследуйте отрицательные значения и клиентов без заказов. Подводные камни Часовые пояса. Разные зоны способны изменить календарную дату события. NULL. Клиент без первого заказа получит NULL в разнице, а не ноль.
data-qualitydate-arithmetic
JuniorData Analyst > SQL и данные > Продуктовые и бизнес-метрики
Короткий ответ Грубая оценка lifetime — среднее значение разницы между датой последнего и датой первого события пользователя, но для ещё активных пользователей это значение занижено (right-censoring), поэтому его нужно интерпретировать с оговоркой. Как это работает подробнее для каждого пользователя находим MIN(event_date) и MAX(event_date), разницу усредняем по всем пользователям. Пример кода Что использовать на практике Применение. такую оценку корректно применять только к пользователям, которые точно "ушли" (например, не было активности 60+ дней) — активные пользователи ещё не закончили свой lifetime, и включение их в расчёт как есть занижает среднее; для точной оценки нужны методы выживаемости (survival analysis). Проверка или пример. Проверка: сравнить результат с медианой (менее чувствительна к выбросам) — сильное расхождение среднего и медианы говорит о длинном хвосте распределения. Подводные камни Частая ошибка. включают в расчёт всех пользователей без разделения на "ушедших" и "ещё активных", получая
churnlifetime
JuniorData Analyst > SQL и данные > Python для анализа данных
Короткий ответ groupby('col') разбивает DataFrame на группы по значениям столбца, а последующий agg-метод (sum, mean и так далее) считает статистику внутри каждой группы отдельно. Как это работает подробнее groupby сам по себе не вычисляет ничего, а создаёт объект-группировку; вызов .sum(), .mean() или .agg(...) применяет функцию к каждой группе независимо и собирает результат в новый DataFrame или Series с группами в индексе. Пример кода Что использовать на практике На практике: для нескольких статистик сразу удобно использовать .agg(['sum', 'mean', 'count']); после группировки результат часто приводят обратно к обычному DataFrame через reset_index(), чтобы было удобнее работать с группировочным столбцом как с обычной колонкой. Проверка: для категории A сумма должна быть 300, среднее 150; для B сумма 200, среднее 100 — легко проверить вручную по исходным значениям. Подводные камни Частые ошибки: применяют groupby к столбцам с пропусками в группировочном ключе — такие строки по умолчанию исключаются из резуль
aggregationdescriptive-statistics
MiddlePerformance Marketer > Google Ads > Тестирование гипотез и запуск изменений
Короткий ответ Бюджет обычно увеличивают постепенно (например, не более чем на 20-30% за один шаг с интервалом в несколько дней), чтобы дать алгоритму площадки время адаптироваться к новому объёму показов и не выйти резко на менее релевантную часть аудитории. Как это работает подробнее Резкое увеличение бюджета может отправить кампанию в стадию переобучения алгоритма (learning phase), а также быстрее исчерпать наиболее отзывчивую часть аудитории, из-за чего CPA может вырасти не из-за качества креатива, а из-за масштаба. Разные платформы по-разному проходят фазу обучения: у кампаний с оптимизацией по конверсиям часто называют ориентир около 50 конверсий за 7 дней для выхода из нестабильного режима показов. Пример. Неделя 1 (тест): бюджет 5 000 руб./день, CPA 400 руб. Неделя 2: бюджет 7 000 руб./день (+40%), CPA 420 руб. - стабильно Неделя 3: бюджет 10 000 руб./день (+40%), CPA 460 руб. - рост в пределах нормы Такое поэтапное масштабирование позволяет вовремя заметить момент, когда CPA начинает расти быстрее пр
ab-testingad-creatives