🗄️ SQL

Короткий ответ Переведите спор из плоскости чья цифра правильнее в плоскость бизнес-цели. Продажам может быть нужна любая незакрытая возможность, а продукту — сделка с недавней активностью; одинаковое название скрывает разные вопросы. Как это работает подробнее Постройте два флага на одной базе и FULL OUTER или агрегированное сравнение четырёх множеств: только sales, только product, оба, ни одно. Для крупнейших расхождений покажите конкретные сделки и причину классификации. Если цель общая, согласуйте канонический SQL, зерно, временную зону, дату вступления и владельца. Если цели разные, переименуйте показатели так, чтобы различие было видно без чтения запроса. Пример кода Что использовать на практике Привяжите к решениям. Для чего показатель используется и какое действие вызывает. Назначьте совместное ревью. Аналитик фасилитирует, но не навязывает бизнес-смысл единолично. Запустите параллельный период. Покажите влияние новой версии до переключения отчётов. Подводные камни Унификация ради унификации. Разным п

Читать полностьюcrm

Короткий ответ Сначала перечислите семантические отличия систем: момент события, фильтры, дедупликацию, identity resolution и часовой пояс. Затем на overlap-периоде сравните не только общий коэффициент, но и его стабильность по дням и ключевым сегментам. Как это работает подробнее Если отношение новой метрики к старой меняется по времени или платформе, один коэффициент непригоден. Можно построить сегментные коэффициенты, но это увеличивает предположения и требует достаточной выборки. Храните исходное значение, скорректированное значение, версию метода и признак imputed. График должен отмечать дату смены, а сравнения через границу — ссылаться на методологию. Пример кода Что использовать на практике Сохраните raw. Реконструкция должна быть воспроизводимой и обратимой. Версионируйте метод. Укажите период оценки, сегменты, формулу и доверительный диапазон. Показывайте разрыв. Даже скорректированный ряд не должен скрывать смену источника. Подводные камни Коэффициент по одному дню. Он смешивает шум и систематическу

Читать полностьюbackfill

Короткий ответ При корректных условиях оба запроса дают одинаковый логический результат, но NOT EXISTS часто читается яснее по смыслу («не существует связанной записи») и в некоторых СУБД/версиях может эффективнее оптимизироваться, особенно при многостолбцовом условии соединения. Как это работает подробнее LEFT JOIN ... WHERE b.id IS NULL сначала строит полное соединение со всеми совпадениями и несовпадениями, а затем отфильтровывает только те строки, где совпадения не нашлось; NOT EXISTS (SELECT 1 FROM b WHERE b.a_id = a.id) для каждой строки a сразу проверяет наличие соответствия без необходимости материализовать полный JOIN. Пример кода Что использовать на практике Практика. современные оптимизаторы PostgreSQL часто превращают оба варианта в похожий физический план (Anti Join), поэтому разница в производительности не всегда значима — стоит сравнивать EXPLAIN ANALYZE на конкретных данных, а не полагаться на общее правило. Выбор между ними часто определяется читаемостью кода и условиями на множественные стол

Читать полностьюanti-join

Короткий ответ Основные причины — чтение ненужных столбцов и строк, отсутствие или неиспользование индексов на ключах соединения и фильтрации, а также джойны до фильтрации; базовые шаги — выбирать только нужные столбцы, фильтровать как можно раньше, проверять индексы на столбцах JOIN/WHERE и смотреть план выполнения через EXPLAIN. Как это работает подробнее Как это работает: SELECT * заставляет СУБД читать и передавать все столбцы, включая возможно крупные текстовые/JSON поля, которые не нужны для анализа — это увеличивает объём I/O и сетевого трафика. Если JOIN выполняется на столбце без индекса, СУБД может быть вынуждена делать полное сканирование одной из таблиц для каждой строки другой (вложенный цикл), что на больших объёмах крайне медленно. Пример кода Что использовать на практике На практике: полезная последовательность диагностики — (1) посмотреть EXPLAIN ANALYZE и найти самый дорогой шаг по времени/числу строк; (2) проверить, есть ли индекс на столбцах JOIN/WHERE; (3) перенести фильтры как можно рань

Читать полностьюexplain

Короткий ответ Простое среднее арифметическое долей по группам (AVG долей) игнорирует разный размер этих групп, поэтому правильный способ — считать взвешенную конверсию как SUM(converted) / SUM(total) по всем строкам сразу, а не усреднять уже готовые проценты. Как это работает подробнее если в регионе A было 10 визитов и 5 конверсий (50%), а в регионе B — 1000 визитов и 300 конверсий (30%), простое среднее долей даст (50%+30%)/2 = 40%, что никак не отражает реальную общую конверсию (5+300)/(10+1000) ≈ 29.4% — потому что простое среднее не учитывает, что регион B весит в данных гораздо больше. Пример кода Что использовать на практике Практика. эта разница становится особенно важной (и может приводить к парадоксу Симпсона), когда сравнивают агрегированные группы с сильно разным объёмом — например, конверсия по дням недели, по странам с разным трафиком или по когортам разного размера. Перед усреднением процентных метрик всегда стоит спросить: «веса групп одинаковы или сильно различаются?» Проверка. Проверка: сра

Читать полностьюaggregation

Короткий ответ Если одна таблица хранит время в UTC, а другая — в локальном часовом поясе, группировка «по дню» без приведения к единому часовому поясу сдвигает часть событий в соседние календарные сутки, из-за чего суммы по дням в двух системах расходятся даже на одинаковых исходных данных. Как это работает подробнее календарный день (DATE) зависит от часового пояса — событие, случившееся в 23:30 UTC, в часовом поясе UTC+3 уже относится к следующему дню. Если группировать по дате без явного приведения обеих таблиц к одному часовому поясу, границы «дня» в двух источниках будут отличаться. Пример кода Что использовать на практике перед объединением данных из разных систем важно явно узнать (не предполагать), в каком часовом поясе хранится каждая временная метка, и привести все значения к единому поясу (например, через AT TIME ZONE в PostgreSQL) прежде, чем группировать по дате. Проверка: для события на границе суток (например, 2024-05-01 23:50:00 UTC) результат local_day должен быть 2024-05-02 при пересчёте в

Читать полностьюdata-quality

Короткий ответ AVG(amount) игнорирует строки с NULL и делит сумму только на количество заказов с заполненной суммой, поэтому при наличии «битых» заказов с NULL вместо суммы средний чек окажется завышен или занижен по сравнению с ожиданием «сумма всех заказов / общее число заказов». Как это работает подробнее Как это работает: агрегатные функции в SQL по умолчанию пропускают NULL-значения при вычислении; то есть AVG фактически считает SUM(ненулевых значений) / COUNT(ненулевых значений), а не делит на общее количество строк в группе (COUNT(*)). Пример кода Что использовать на практике На практике: перед доверием к AVG важно явно проверить, сколько строк имеют NULL в этом поле (COUNT(*) - COUNT(amount)), и понять причину — технический сбой интеграции, легитимный «пустой» заказ (например, отменённый до оплаты) или что-то ещё. Если NULL на самом деле должен означать 0, нужно явно привести это через COALESCE(amount, 0) до агрегации, а не полагаться на поведение AVG по умолчанию. Проверка: Если total_orders = 1000,

Читать полностьюaggregation

Короткий ответ COUNT(*) считает строки независимо от их содержимого. COUNT(column_name) игнорирует строки, в которых выбранный столбец равен NULL. Как это работает подробнее Большинство агрегатных функций не учитывает NULL. Для COUNT(column_name) это означает подсчёт только известных значений, тогда как звёздочка обозначает саму строку. COUNT(DISTINCT column_name) делает ещё один шаг: исключает NULL и считает количество различных ненулевых значений. Пример кода Что использовать на практике Полнота данных. Сравните общее число строк с числом заполненных email; разность покажет пропуски. После LEFT JOIN. Для числа связанных записей считайте ненулевой ключ правой таблицы, а не COUNT(*). Подводные камни Нулевое значение. Число 0 и пустая строка учитываются; исключается только NULL. Дубликаты. Обычный COUNT(column_name) не устраняет повторяющиеся значения.

Читать полностьюaggregations

Короткий ответ Покажите руководству таблицу из двух частей: конверсию A и B внутри каждого сегмента и долю сегмента в каждой группе. Разворот общего эффекта создаёт не арифметическая ошибка, а смешение эффекта варианта с различием состава аудитории. Как это работает подробнее Если сегмент определён до эксперимента и дисбаланс случаен, можно оценить стандартизированный эффект с одинаковыми весами сегментов. Если дисбаланс указывает на ошибку назначения, результат нельзя спасать выбором выгодной агрегации: нужно расследовать рандомизацию. Не сегментируйте по переменной, появившейся после воздействия варианта: это может внести post-treatment bias. Решение должно опираться на дизайн эксперимента и целевую популяцию. Пример кода Что использовать на практике Покажите веса. Без них сегментированные проценты не объясняют общий итог. Проверьте баланс. Сравните распределение предэкспериментальных признаков и SRM в сегментах. Зафиксируйте estimand. Определите, для какой популяции и при каком составе трафика нужен эффект

Читать полностьюconversion