MiddleData Analyst > SQL и данные > SQL
Короткий ответ Нужно написать рекурсивный WITH RECURSIVE, где «якорная» часть задаёт стартовую дату, а рекурсивная часть добавляет по одному дню, пока не достигнута конечная дата; в BigQuery для той же задачи проще использовать встроенную функцию GENERATE_DATE_ARRAY. Как это работает подробнее рекурсивный CTE состоит из двух частей, объединённых UNION ALL: «базовый случай» (одна начальная строка) и «рекурсивный шаг», который ссылается на сам CTE и добавляет следующий день; СУБД выполняет рекурсивный шаг многократно, пока условие в WHERE не остановит рекурсию. Пример кода Что использовать на практике сгенерированный список дат обычно используют как «скелет» для LEFT JOIN к фактическим данным, чтобы явно увидеть дни без событий как 0, а не как отсутствующие строки — это важно для корректных графиков временных рядов и расчёта средних по дням. Результат — ровно 31 строка. Проверка: SELECT COUNT(*) FROM date_series должен совпасть с числом дней между начальной и конечной датой включительно. Подводные камни Не зада
datespostgresql
JuniorData Analyst > SQL и данные > SQL
Короткий ответ Нужно присоединить таблицу employees к самой себе по условию совпадения department_id, добавив условие e1.employee_id , чтобы не получить пары-дубликаты и пары сотрудника с самим собой. Как это работает подробнее self-join — это обычный JOIN, где обе стороны указывают на одну и ту же таблицу, но с разными алиасами (e1, e2); СУБД рассматривает это как соединение двух независимых копий данных по заданному условию. Пример кода Что использовать на практике На практике: условие e1.employee_id (а не !=) одновременно решает две проблемы: убирает пары вида «сотрудник сам с собой» и убирает зеркальные дубликаты вида (A, B) и (B, A), оставляя только одну версию каждой пары. Результат: Для отдела из 3 сотрудников результат — ровно 3 уникальные пары (а не 6). Проверка: для отдела с N сотрудниками количество пар должно равняться N*(N-1)/2. Подводные камни Частая ошибка: используют e1.employee_id != e2.employee_id без строгого неравенства порядка, из-за чего каждая пара сотрудников появляется в результате дв
combinationsjoins
MiddleDevOps Engineer > Контейнеры и доставка > Kubernetes и оркестрация
Короткий ответ podAntiAffinity с правилом по топологическому ключу (topologyKey: kubernetes.io/hostname или topology.kubernetes.io/zone) запрещает или не предпочитает планировать несколько реплик одного приложения на один и тот же узел/зону, снижая риск одновременной потери всех реплик при сбое одного узла или зоны. Как это работает подробнее requiredDuringSchedulingIgnoredDuringExecution — жёсткое правило, под которое не удовлетворяющее условие вообще не будет запланировано; preferredDuringSchedulingIgnoredDuringExecution — мягкое предпочтение с весом, которое планировщик учитывает, но может нарушить, если нет другого выбора. "IgnoredDuringExecution" означает, что правило проверяется только при планировании и не приводит к выселению уже запущенного Pod при последующем изменении условий. Пример кода Что использовать на практике Практика. жёсткая anti-affinity гарантирует распределение, но может привести к тому, что часть реплик останется в Pending, если подходящих узлов/зон физически не хватает (например, 5 р
affinitykubernetes
MiddlePython Developer > Основы Python > Миграции и эволюция схемы
Короткий ответ Нельзя просто добавить колонку с NOT NULL без DEFAULT в таблицу с существующими строками — PostgreSQL попытается применить ограничение ко всем текущим строкам и упадёт, так как для них значения не определены; правильный путь — добавить колонку nullable, заполнить существующие строки значениями, затем отдельным шагом добавить ограничение NOT NULL. Как это работает подробнее ALTER TABLE ... ADD COLUMN col TYPE NOT NULL без DEFAULT требует значения для каждой существующей строки — его взять неоткуда, поэтому PostgreSQL отклоняет миграцию; добавление с DEFAULT в PostgreSQL 11+ для большинства типов быстро, но столбец всё ещё нужно сначала сделать nullable, прежде чем включать NOT NULL. Пример кода Что использовать на практике Практика. Безопасная последовательность: (1) добавить колонку nullable; (2) выполнить backfill существующих строк батчами; (3) добавить ограничение NOT NULL отдельной миграцией после подтверждения завершения backfill — это минимизирует блокировки на большой таблице. Подводные
alembicdatabase-migrations
JuniorData Analyst > SQL и данные > SQL
Короткий ответ Конструкция CASE последовательно проверяет условия WHEN и возвращает значение для первого истинного условия. Если ни одно условие не подошло, используется ELSE или возвращается NULL. Как это работает подробнее Порядок ветвей важен: после первого совпадения остальные не рассматриваются. Поэтому диапазоны лучше задавать от частного к общему или как ясные непересекающиеся интервалы. Полученный псевдоним можно использовать как категорию в последующем запросе. Для агрегации без повторения выражения удобно сначала вычислить группу в CTE, а затем выполнить GROUP BY age_group. Пример кода Что использовать на практике Явно обработайте NULL. Выделите неизвестный возраст в отдельную группу, а не смешивайте его с группой старшего возраста. Проверьте границы. Все допустимые значения должны попадать ровно в один интервал. Подводные камни Перекрытия. Более широкое условие, записанное раньше, сделает следующую ветвь недостижимой. Аномалии. Отрицательный возраст или слишком большое значение не должны автоматиче
case-whendata-quality
JuniorDevOps Engineer > Контейнеры и доставка > Облачные платформы
Короткий ответ У каждого провайдера есть CLI-команда для листинга инстансов с фильтрами и выбором полей (например, aws ec2 describe-instances, gcloud compute instances list, az vm list); важно уметь не просто запустить команду, а прочитать из вывода состояние, тип и сеть инстанса. Как это работает подробнее CLI обращается к API провайдера и возвращает структурированные данные (обычно JSON), которые можно отфильтровать по тегам, региону, состоянию и отформатировать через встроенные флаги. Пример кода Что использовать на практике Рекомендация. такие команды используют для быстрой диагностики и в скриптах автоматизации, а также в CI для проверки состояния окружения перед деплоем. Проверка. команда выводит таблицу с ID, типом и приватным IP только для инстансов в состоянии running в текущем регионе CLI-профиля. Подводные камни Риск. не указывать регион и получать пустой/неожиданный результат Риск. парсить «человеческий» текстовый вывод вместо структурированного JSON в скриптах Риск. не фильтровать по состоянию и
aws-cliazure-cli
JuniorData Analyst > SQL и данные > SQL
Короткий ответ Нужно сгруппировать заказы по клиенту, посчитать количество уникальных месяцев через COUNT(DISTINCT DATE_TRUNC('month', order_date)) и отфильтровать группы, где это число больше или равно 3, через HAVING. Как это работает подробнее COUNT(DISTINCT ...) внутри группы считает не общее количество заказов, а число уникальных значений выражения — в данном случае уникальных «месяцев» заказа у этого клиента. HAVING затем сравнивает это число с порогом. Пример кода Что использовать на практике На практике: такой запрос — простой способ отличить «активного» клиента, который возвращается в разные месяцы, от клиента, сделавшего много заказов за один день. Важно использовать именно DATE_TRUNC (или аналог), а не просто order_date, иначе каждая отдельная дата будет считаться отдельным «месяцем». Результат: Результат — только клиенты с заказами в 3+ разных месяцах. Проверка: для одного найденного клиента вывести SELECT DISTINCT DATE_TRUNC('month', order_date) FROM orders WHERE customer_id = ... и убедиться, чт
count-distinctdate-trunc
MiddleData Analyst > SQL и данные > Python для анализа данных
Короткий ответ Для разных функций на разные столбцы используют df.groupby('key').agg({'col1': 'sum', 'col2': 'mean'}) или более явный синтаксис с pd.NamedAgg, который сразу задаёт понятные имена итоговых столбцов. Как это работает подробнее agg принимает словарь, где ключ — имя столбца, а значение — функция или список функций, применяемых именно к этому столбцу; синтаксис с NamedAgg (df.groupby('key').agg(total=pd.NamedAgg(column='col1', aggfunc='sum'), avg=pd.NamedAgg(column='col2', aggfunc='mean'))) даёт более читаемые названия результирующих столбцов, особенно если к одному столбцу применяется несколько функций. Пример кода Что использовать на практике Практика. такой подход удобен для построения комплексных сводных отчётов одним вызовом, например "сумма выручки, среднее время доставки и количество уникальных пользователей по региону"; при использовании nunique в качестве одной из функций стоит помнить, что это может быть заметно медленнее на больших данных, чем sum/mean. Проверка. для region=RU total_reve
aggregationgroupby
MiddleData Analyst > SQL и данные > SQL
Короткий ответ Нужно использовать GROUP BY ROLLUP(region, category) (или явный GROUPING SETS ((region, category), (region), ())), который за один проход выдаёт и детальные группы, и промежуточные подытоги, и общий итог, помечая «свёрнутые» измерения значением NULL. Как это работает подробнее Как это работает: ROLLUP(a, b) строит иерархию подытогов: сначала группы по (a, b), затем по (a) с агрегацией по всем b, затем общий итог без разбивки вообще — причём на местах «свёрнутых» столбцов в результате появляется NULL. GROUPING SETS даёт более гибкий контроль, позволяя явно указать произвольный набор нужных комбинаций группировки, не ограничиваясь строгой иерархией. Пример кода Что использовать на практике На практике: такой подход заменяет несколько отдельных запросов (детальный + подытог по региону + общий итог) одним, что удобно для построения сводных таблиц в отчётах, но требует аккуратной функции GROUPING() для различения «настоящего» NULL в данных от NULL, означающего «эта строка — подытог». Проверка: Прове
aggregationgrouping-sets
MiddleData Analyst > SQL и данные > SQL
Короткий ответ Нужно получить значение предыдущего месяца функцией LAG(revenue) OVER (ORDER BY month) и вычислить (revenue - prev_revenue) / prev_revenue * 100, аккуратно обработав случай, когда предыдущего месяца нет или его выручка равна нулю. Как это работает подробнее LAG(column, n) возвращает значение этого столбца из строки, которая находится на n позиций раньше в заданном порядке окна (по умолчанию n = 1); для первой строки окна результат LAG — NULL, так как «предыдущей» строки не существует. Пример кода Что использовать на практике перед делением обязательно нужно защититься от деления на ноль или на NULL — например, через NULLIF(prev_revenue, 0), иначе запрос либо упадёт с ошибкой деления на ноль, либо (при NULL в знаменателе) просто тихо вернёт NULL. Также важно убедиться, что ряд месяцев не содержит пропущенных месяцев — иначе LAG «перепрыгнет» через отсутствующий месяц, не заметив разрыва. Проверка: для второго месяца в выборке вручную вычислить (revenue2 - revenue1) / revenue1 * 100 и сравнить с
growth-ratelag