#interview, #python, #asyncio, #multiprocessing, #multithreading

Совсем недавно я собеседовал трех джунов и, конечно, спрашивал про асинхронность. Спойлер: никто не смог преодолеть этот вопрос, хотя, ребята толковые, и явно что-то читали. Я понял, что у многих людей нет стройной картины, и возникает много проблем, которые даже не касаются асинхронности напрямую. Вот список проблемных тем:

- разница между потоком и процессом
- что такое io-bound и cpu-boud задачи
- разница между многопоточность и асинхронностью
- Да кто этот ваш GIL? И где он тут?
- Ну и напоследок, что же это за асинхронность такая? С реальными примерами!

Все это мы с вами разберем в ближайшее время, так, чтобы вы поняли, как устроено конкурентное программирование в python. Ну и конечно, все темы я разбираю с позиции человека, который проходит интервью, чтобы вы, смогли извлечь максимум пользы!

#interview, #multiprocessing, #multithreading

Про процессы и потоки

Важно: ☝️ Эти понятия — общие и применимые не только к Python. Понятия "процесс" и "поток" в операционных системах почти не отличаются от тех, что используются в Python.

Когда вы запускаете любую программу на своем компьютере, например, Word, создается процесс. Операционная система выделяет ресурсы для этой программы, определяя, сколько оперативной памяти и времени процессора ей нужно. Если вы запустите еще одну программу, например, Zoom, то ваш Word не будет знать об этом, да ему и не надо! У каждого процесса есть свои ресурсы, и у Zoom'а тоже появляются свои.

Здесь важны две вещи. Во-первых, процесс просто представляет собой программу на вашем компьютере (кстати, программа, которую вы написали на Python и запустили, тоже является процессом). Во-вторых, процесс не знает о существовании других процессов рядом с ним и не делит с ними свою область памяти.

Когда мы запускаем процесс Word, внутри него сразу создается поток, который выполняет всю работу. Однако Word — это сложная программа, и внутри нее создается множество потоков. Например, один поток может следить за правописанием, а другой может отправлять ваши личные данные Microsoft 😮️️️️️️. И интересно то, что эти потоки знают о существовании друг друга. Например, поток, отправляющий ваши личные данные, знает от другого, что в школе вы учились не очень и у вас куча орфографических ошибок. Потоки делят между собой одну область памяти, поэтому знают о существовании друг друга!

Обратите внимание на иллюстрацию (личного производства 😎)! Процессы — это большие стрелочки, которые не делятся со своими соседями памятью. А потоки — это маленькие стрелочки внутри процесса, которые выполняют всю работу и могут обмениваться информацией в одной области памяти.

На интервью этих тезисов хватит с головой, да и вообще полезно знать как работает штука, которую вы используете каждый день

#interview, #multiprocessing, #multithreading

Поехали дальше! Нужно запомнить вот такой факт: существует 2 типа задач в программировании:

- задачи ввода-вывода: io-bound
- задачи вычисления: cpu-bound

Почему это важно 🤨?
С помощью этой нехитрой информации появляется возможность ускорить ваш код в разы😲! И я, конечно, расскажу потом как это сделать, но сперва теория!

cpu-bound задачи нагружают процессор вашего компьютера, они пыхтят-работают, чтобы что-то посчитать. Ну и логично, если ресурсы вашего компьютера ограниченны, то и запустить таких задач единовременно можно не бесконечное количество.

А вот io-bound задачи ничего не делают… Они просто ждут, пока кто-то другой даст им какую-то информацию. Например, они могут ждать ответа от базы данных, ждать пока что-то скачается из интернета, неважно! просто ждать пока кто-то другой что-то сделает 😴🌴

А вот и все. Для нас важно то, что для ускорения cpu-bound задач в python нам нужно применять многопроцессность, а для io-bound задач - многопоточность (смотрите предыдущий пост). В следующий раз, покажу как это делать на практике 😉

#multithreading #multiprocessing

Про GIL

Возникает закономерный вопрос, а чего бы не применить потоки ко второй задаче? можете попробовать, ничего не сломается, но работать быстрее не будет 🥲. Почему? Ведь мы запустили также 2 задачи параллельно, почему код не исполняется в 2 раза быстрее?!

Это особенность именно питона, тут не могут работать несколько потоков одновременно! Это происходит потому что в интерпретаторе есть код, который называется GIL(global interpreter lock). Он делает так, чтобы в один момент времени, только один поток мог иметь контроль над интерпретатором.

Вообще, GIL придуман не для того, что портить нам жизнь и не давать использовать потоки во всю их силу. Он помогает нам с вами не думать об освобождении памяти, да и вообще, он даже может ускорять программы, если они работают только в один поток!

Погоди, шеф, а почему же запросы тогда ускорялись 🧐? Мы использовали потоки, чтобы ускорять http-запросы, помните? Дело в том, что в этом случае работает также, только один поток в один момент времени, просто это io-bound задачи, они большую часть времени ждут! И пока один поток ждет, включается другой, делает запрос и также ждет, передавая управление другому и так далее. Поэтому такого рода задачи действительно эффективно решаются с помощью многопоточности.

Я разобрал основные темы, которые вас могут спросить на собесах про потоки/процессы в python. Посты можно читать отдельно, а можно по порядку, там даже прослеживается сюжет 😅

Тут будет небольшое оглавление, для удобства:

1. Потоки и процессы. Что это такое и в чем отличие.
2. Виды задач. io-bound и cpu-bound
3. Как применять многопоточность
4. Как применять многопрцессность
5. Почему в python не работает многопоточность для cpu-bound задач. GIL

Вообще, зарядившись этими знаниями, можно не только ответить на собесе, а еще и начинать понимать асинхронность, о которой будет следующая серия постов.

А пока можете поставить мне класс 👍 за иллюстрации собственного производства 😎 Дальше больше!