MiddlePython Developer > Основы Python > Транзакции и конкурентность
Короткий ответ Optimistic locking добавляет в таблицу колонку версии (version/updated_at), и при обновлении запрос проверяет, что версия в БД совпадает с версией, прочитанной приложением ранее (UPDATE ... WHERE id = ? AND version = ?); если ни одна строка не обновилась — данные изменились параллельно, и приложение должно повторить операцию или сообщить о конфликте. Как это работает подробнее В отличие от пессимистичной блокировки (SELECT ... FOR UPDATE), здесь не удерживается блокировка строки на время «размышления» приложения — конфликт обнаруживается только в момент самой записи по несовпадению версии. Пример кода Что использовать на практике Практика. Подходит для сценариев с низкой частотой конкурентных изменений одной строки (например, редактирование профиля); при обнаружении конфликта обычно показывают пользователю актуальные данные и просят повторить изменение. Подводные камни Ошибка. Забывают увеличивать version при каждом обновлении; не проверяют количество затронутых строк после UPDATE, из-за чего «
concurrencyoptimistic-locking
MiddlePython Developer > Основы Python > Надёжность сервисов
Короткий ответ Экспоненциальная задержка увеличивает паузу между попытками, снижая нагрузку на восстанавливающуюся зависимость; джиттер добавляет случайный разброс, чтобы множество клиентов, начавших ретраить одновременно, не синхронизировались и не создавали повторные волновые всплески нагрузки. Как это работает подробнее Базовая задержка умножается на 2 в степени номера попытки и ограничивается максимумом (cap); джиттер — случайное значение, добавляемое или умножаемое к этой задержке (full jitter, equal jitter). Пример кода Что использовать на практике Практика. Без джиттера сотни клиентов, получивших ошибку в один момент, будут ретраить синхронно по одному графику, создавая повторяющиеся пики нагрузки (thundering herd); с джиттером повторные попытки размазываются по времени. Подводные камни Риск. Ставить фиксированное количество ретраев без ограничения общего времени ожидания; забывать ограничить максимальную задержку (cap), получая неоправданно долгие паузы на поздних попытках.
fault-tolerancereliability
SeniorData Analyst > SQL и данные > Python для анализа данных
Короткий ответ Единственного правильного решения нет: при ограниченном времени стоит в первую очередь проверять корректность результата (дедупликация, типы merge, обработка пропусков) и только затем — стиль и производительность, так как ошибка в логике дороже неидиоматичного, но рабочего кода. Как это работает подробнее типичные анти-паттерны у джуниоров включают merge без проверки уникальности ключа, использование iterrows там, где можно векторизовать, цепочечную индексацию с риском SettingWithCopyWarning, фильтрацию без скобок вокруг условий, и заполнение пропусков без понимания, почему они возникли; при ограниченном времени ревью стоит выстраивать приоритет по цене ошибки — сначала то, что может незаметно исказить итоговые цифры, потом то, что влияет только на скорость или читаемость. Пример кода Что использовать на практике На практике. полезно сформировать короткий чек-лист (проверка числа строк до/после merge, проверка дубликатов по ключу, явный na= в str-методах, комментарий к причине заполнения пропус
code-reviewdata-quality
MiddlePerformance Marketer > Google Ads > Рекламные платформы и форматы
Короткий ответ Регулярно проверяй фактические поисковые запросы, находи нерелевантные темы и запросы с достаточными расходами без ценных конверсий, затем добавляй минус-слова на нужном уровне. Убедись, что исключение не блокирует полезные запросы других кампаний. Как это работает подробнее Тип соответствия минус-слова определяет ширину исключения. Помимо явной нерелевантности оценивай расходы, клики и конверсии и учитывай цикл сделки. Уровень. Общий список используй для терминов, нерелевантных всему аккаунту. Проверка. Убедись, что исключение не перекрывает нужное намерение другой кампании. Что использовать на практике Назначь еженедельную или двухнедельную проверку Search Terms Report и фиксируй причины важных исключений. Подводные камни Не откладывай проверку до значительной потери бюджета и не добавляй общее минус-слово без проверки других кампаний.
google-adsnegative-keywords
SeniorPerformance Marketer > Google Ads > Тестирование гипотез и запуск изменений
Короткий ответ Встроенные инструменты площадок (Google Ads Experiments, Meta A/B Test) просты и бесплатны, но ограничены рамками одной платформы и не дают единой картины по кросс-канальным гипотезам; собственная платформа или enterprise SaaS даёт гибкость и сквозную аналитику, но требует значимых инвестиций в разработку/лицензии и поддержку. Как это работает подробнее Нативные инструменты площадок оптимизированы под конкретную платформу (корректно управляют аукционом и сплитом внутри неё), но не умеют сравнивать, например, эффект изменения одновременно в поисковой и социальной рекламе в единой системе координат; собственная инфраструктура требует интеграции данных из разных источников и своей статистической логики. Даже при выборе «buy» стоит сохранять возможность экспорта сырых данных из используемого SaaS, чтобы не оказаться полностью зависимым от конкретного поставщика при смене инструмента в будущем. Компромисс. Собственная платформа даёт полный контроль и кросс-канальную согласованность, но отвлекает инж
ab-testingbudget-allocation
MiddleData Analyst > SQL и данные > SQL
Короткий ответ Нужно с помощью LAG посчитать разницу во времени с предыдущим событием того же пользователя, отметить начало новой сессии там, где разница больше 30 минут, а затем накопительной суммой этих отметок (через SUM(...) OVER) получить номер сессии для каждого события — это классический паттерн «gaps and islands». Как это работает подробнее Как это работает: на первом шаге LAG(event_time) OVER (PARTITION BY user_id ORDER BY event_time) даёт время предыдущего события; на втором шаге условие event_time - prev_event_time > interval '30 minutes' (или prev_event_time IS NULL для самого первого события) помечается как 1 — начало новой сессии, иначе 0; на третьем шаге SUM(is_new_session) OVER (PARTITION BY user_id ORDER BY event_time) превращает эти отметки в растущий номер сессии. Пример кода Что использовать на практике На практике: порог в 30 минут — это условность, принятая во многих продуктовых аналитических системах по умолчанию, но не универсальный стандарт; для конкретного продукта имеет смысл подбир
gaps-and-islandslag
JuniorData Analyst > SQL и данные > Инструменты и инженерные практики
Короткий ответ grep ищет строки, соответствующие шаблону (в том числе регулярному выражению), и выводит только их, что позволяет находить нужные ошибки в файле любого размера без его полной загрузки в память редактора. Как это работает подробнее Как это работает: grep построчно читает файл (или поток) и печатает строки, совпавшие с шаблоном; флаг -i делает поиск регистронезависимым, -c считает число совпадений, -n добавляет номер строки, а -E включает расширенные регулярные выражения. Пример кода Что использовать на практике На практике: для файла в несколько гигабайт grep 'ERROR' работает быстрее и экономнее по памяти, чем открытие файла в Excel или текстовом редакторе; удобно комбинировать с wc -l, чтобы сначала оценить количество ошибок каждого типа, прежде чем смотреть сами строки. Пример и проверка. Первая команда покажет общее число строк с ERROR, вторая — первые 20 строк с упоминанием таймаутов с номерами строк. Проверка: сумма количества строк по всем искомым типам ошибок (ERROR, WARNING, TIMEOUT) не
bashgrep
MiddleDevOps Engineer > Контейнеры и доставка > Мониторинг, логирование и observability
Короткий ответ histogram_quantile(phi, rate(..._bucket[5m])) оценивает процентиль latency (например, p95) на основе накопленных бакетов histogram за окно; важно учитывать, что результат — это приближение, зависящее от границ бакетов (le), и точность будет низкой, если реальное значение попадает между далеко расположенными границами бакетов. Как это работает подробнее histogram хранит несколько counter'ов-бакетов с кумулятивным количеством наблюдений, не превышающих заданную границу (le). histogram_quantile() линейно интерполирует внутри бакета, в который попадает искомый процентиль, поэтому точность оценки прямо зависит от того, насколько плотно расставлены границы бакетов вокруг реальных значений latency. Пример кода Что использовать на практике Практика. при диагностике роста latency сначала смотрят общий p95/p99 по сервису, затем разбивают запрос по дополнительным labels (by (route), by (instance)), чтобы понять, растёт latency везде равномерно (возможно, инфраструктурная причина — сеть, диск) или только н
histogramslatency
MiddleData Analyst > SQL и данные > SQL
Короткий ответ Нужно пронумеровать все касания (визиты/клики) каждого пользователя функцией ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY touch_time) и оставить только строки с номером 1 — это и будет первое касание (first touch) для атрибуции. Как это работает подробнее Как это работает: PARTITION BY user_id группирует все касания одного пользователя, ORDER BY touch_time сортирует их по времени внутри группы, и ROW_NUMBER() = 1 однозначно выбирает самое раннее касание, даже если у пользователя их были десятки. Пример кода Что использовать на практике На практике: first-touch — одна из множества моделей атрибуции (есть также last-touch, линейная, с затухающим весом и т.д.), и выбор модели — не технический, а методологический вопрос: разные модели по-разному распределяют «вклад» каждого канала и могут давать очень разные выводы о том, какой канал эффективнее. Перед тем как использовать first-touch, стоит явно обозначить, что это осознанный выбор модели, а не единственно верный способ атрибуции. Проверка: Пр
attributionfirst-touch
JuniorData Analyst > SQL и данные > SQL
Короткий ответ CTE объявляется перед основным запросом конструкцией WITH имя AS (...). Именованный результат доступен ниже как таблица и помогает представить обработку данных последовательностью понятных шагов. Как это работает подробнее Несколько CTE перечисляются через запятую, причём следующий шаг может ссылаться на предыдущий. Это удобно для схемы: отфильтровать строки, агрегировать, добавить бизнес-правило, сформировать финальный вывод. CTE — часть одного SQL-запроса, а не постоянная или автоматически индексируемая таблица. Современный оптимизатор может встроить его в план либо материализовать в зависимости от диалекта и настроек. Пример кода Что использовать на практике Давайте смысловые имена. Название вроде monthly_sales лучше технического cte1. Один шаг — одна задача. Не разбивайте простой запрос на множество CTE без выигрыша в читаемости. Подводные камни Не гарантированный кэш. Повторная ссылка на CTE не всегда означает однократное вычисление. Граница оптимизации. В некоторых версиях и диалектах мат
aggregationscte