⚡ Многопоточность и асинхронность

Короткий ответ GIL (Global Interpreter Lock) — блокировка в эталонной реализации CPython, которая позволяет только одному потоку исполнять байткод Python в любой момент времени. Она появилась из-за непотокобезопасного подсчёта ссылок, ограничивает вычислительные задачи, а вот задачи ввода-вывода от потоков по-прежнему выигрывают. Как это работает подробнее Многопоточность в Python существует, но из-за GIL реально параллельно по байткоду исполняется только один поток. Суть механизма. GIL — мьютекс, удерживаемый единственным потоком: даже в многоядерной системе два потока одного процесса не выполняют Python-байткод одновременно. Причина появления. Управление памятью в CPython, в частности подсчёт ссылок, не потокобезопасно; GIL упрощает его и избавляет разработчиков от множества ошибок с общими объектами. Что страдает. CPU-bound программы не ускоряются от добавления потоков, тогда как I/O-bound задачи дают выигрыш благодаря ожиданиям ввода-вывода. Обходные пути. Настоящий параллелизм дают отдельные процессы чер

Читать полностьюcpython

Короткий ответ async и await применяются для неблокирующего кода там, где много ожидания: внешние API, файловые операции, сетевые запросы. Их не стоит использовать для вычислительных задач и простых программ без длительных ожиданий — выигрыша не будет. Как это работает подробнее В отличие от синхронного кода, где программа стоит на каждом ожидании, асинхронная программа работает в одном потоке и кооперативно переключает задачи в точках await. Кооперативность. Переключение происходит только в точках await, поэтому нет блокировок и гонок за общие данные, характерных для потоков. Масштаб. Один поток обслуживает тысячи одновременных соединений, пока корутины ждут внешние ресурсы. CPU-bound задачи. asyncio их не ускоряет: вычисления выполняются тем же процессором, поэтому нужны multiprocessing или потоки. Архитектура. Внутри обычной синхронной функции корутину не запустить: нужен await или asyncio.run(), поэтому асинхронность продумывают заранее. Пример кода Что использовать на практике Выбор механизма. Для I/O-bo

Читать полностьюasync

Короткий ответ Модуль threading предоставляет класс Thread: поток создаётся вокруг callable-объекта, запускается методом start() и ожидается через join(). Из-за GIL в каждый момент исполняется один поток, поэтому многопоточность эффективна прежде всего для задач ввода-вывода. Как это работает подробнее Потоками управляет операционная система, но CPython через GIL ограничивает одновременное исполнение Python-байткода одним потоком. Глобальная блокировка. Для CPU-bound задач потоки не дают ускорения: остальные потоки ждут освобождения GIL. Ожидание ввода-вывода. Пока поток ждёт ответа от сети, диска или базы данных, GIL свободен, и другие потоки выполняют код. Синхронизация. При изменении общих данных возникают состояния гонки, поэтому используют блокировки Lock и семафоры Semaphore. Безопасная передача данных. Для обмена данными между потоками удобно использовать queue.Queue. Настоящий параллелизм. Чтобы задействовать несколько ядер процессора, применяют multiprocessing или библиотеки вроде joblib, запускающие

Читать полностьюconcurrency

Короткий ответ Модуль asyncio даёт инструменты асинхронного программирования: он позволяет выполнять I/O-bound задачи, не блокируя основной поток. Программа регистрирует корутины и продолжает работать, пока идёт ожидание сети, диска или базы данных. Как это работает подробнее В основе asyncio лежит цикл событий, который следит за готовностью корутин и переключает выполнение в точках await. Цикл событий. Управляет корутинами: когда корутина делает await, цикл переключается на другие готовые задачи. Корутины. Создаются ключевым словом async def, а запускаются через await внутри другой корутины либо через asyncio.run(). Ожидание. asyncio.sleep() приостанавливает корутину и возвращает управление циклу, поэтому десятки и сотни таких корутин работают за одно и то же время. Назначение. Асинхронность выгодна приложениям со множеством одновременных соединений: веб-серверам и клиентам внешних API. Пример кода Что использовать на практике Серверы и API. Используй asyncio там, где нужны тысячи одновременных соединений. I

Читать полностьюasyncio

Короткий ответ Потоки выбирают, когда программа в основном ожидает ввода-вывода: чтение файлов, сетевые запросы, работа с базой данных. Multiprocessing выбирают для задач, нагружающих процессор, так как каждый процесс имеет собственный интерпретатор и собственный GIL. Как это работает подробнее Ключ к выбору — где находится узкое место: в ожидании внешних ресурсов или в вычислениях. I/O-bound сценарии. Поток почти всё время ждёт ответа от сети, диска или базы; из-за GIL параллельно исполняется лишь один поток, но остальные успевают работать в паузах ожидания, поэтому суммарная пропускная способность растёт. CPU-bound сценарии. Для сложных вычислений и обработки больших данных GIL мешает потокам одного процесса исполняться параллельно, поэтому создают несколько процессов. Изоляция. У каждого процесса свой интерпретатор и свой GIL, поэтому они реально работают на разных ядрах, а ошибка в одном процессе не остановит остальные. Комбинирование. В крупных приложениях оба подхода часто сочетают под разные части сист

Читать полностьюcpu-bound

Короткий ответ Процесс — независимая единица выполнения с собственным адресным пространством и своим интерпретатором Python. Поток — лёгкая единица внутри процесса: все потоки разделяют его память и данные. Как это работает подробнее Главные отличия лежат в модели памяти, стоимости создания и способности к параллельному исполнению. Память. Процессы изолированы и общаются через очереди, каналы и разделяемую память, а потоки напрямую читают и меняют общие объекты. Параллелизм. У каждого процесса свой GIL, поэтому они действительно выполняются на нескольких ядрах; потоки одного процесса для вычислений ограничены GIL. Стоимость. Процессы тяжелее: их создание и переключение дороже, а потоки создаются дёшево и быстро обмениваются данными. Синхронизация. Из-за общей памяти в потоках нужны блокировки против гонок данных, процессы в такой защите не нуждаются. Что использовать на практике Процессы. Бери, когда нужны изоляция и настоящий параллелизм для вычислительных задач. Потоки. Бери для лёгких задач с интенсивным о

Читать полностьюconcurrency

Короткий ответ Корутина — функция, которая умеет приостанавливать выполнение в точке ожидания и возобновлять его позже. Объявляется через async def, а запускается через await из другой корутины или через asyncio.run(). Как это работает подробнее Современные корутины развились из генераторов с yield, а синтаксис async/await появился в Python 3.5. Приостановка. await «замораживает» корутину до готовности ожидаемой операции, а управление в это время получает цикл событий. Запуск. При вызове корутина возвращает объект корутины, поэтому выполнить её код можно только через цикл событий. Происхождение. Исторически корутины выросли из генераторов, поддерживающих yield. Применение. Корутины уместны там, где много ожидания ввода-вывода: сетевые запросы, чтение файлов, обращения к базам данных и API. Пример кода Что использовать на практике Конкурентный запуск. Объединяй несколько корутин через asyncio.gather() для параллельных запросов. Структура. Дроби асинхронную логику на небольшие корутины с понятными именами. Ожид

Читать полностьюasyncio

Короткий ответ Ключевые слова async и await позволяют писать асинхронный код: функция async def становится корутиной, а await приостанавливает её до готовности ожидаемого объекта, возвращая управление циклу событий. Как это работает подробнее При вызове корутина не исполняет тело, а возвращает объект корутины, который должен работать внутри цикла событий asyncio. Корутина. Функция, объявленная через async def; без await или asyncio.run() её код не выполнится. Ожидание. await приостанавливает корутину до завершения другой корутины, asyncio-задачи или Future. Конкурентность. Пока одна корутина ждёт сеть или диск, цикл событий выполняет другие корутины. Запуск. Стандартный вход в асинхронную программу — asyncio.run(), либо await из другой корутины. Пример кода Что использовать на практике Точка входа. Запускай верхнеуровневую корутину через asyncio.run(). Группировка задач. Запускай несколько корутин конкурентно через asyncio.gather(). Тайм-ауты. Ограничивай долгие ожидания через asyncio.wait_for(). Подводные ка

Читать полностьюasync