Пост-знакомство
Привет! Меня зовут Игорь Павлов и мне 22 года. Сейчас я заканчиваю бакалавриат ПМИ в Бауманке и готовлюсь к поступлению в магистратуру. В школе участвовал в олимпиадах по DS и хотел учить модельки и вот уже почти 4 года я работаю ML инженером в Sber AI. Помимо работы пишу статьи (раз, два), иногда участвую в хакатонах и еще пытаюсь в опенсорс, мои проекты можно посмотреть тут.
О чём канал?
Буду писать про computer science, нейронные сети, MLOps, а также про интересные события из жизни. Канал не только о технологиях, но и о моём пути к work-life balance. Если получится достигнуть, обязательно расскажу!
Где ещё меня найти
github
telegram
#WHOIS
Привет! Меня зовут Игорь Павлов и мне 22 года. Сейчас я заканчиваю бакалавриат ПМИ в Бауманке и готовлюсь к поступлению в магистратуру. В школе участвовал в олимпиадах по DS и хотел учить модельки и вот уже почти 4 года я работаю ML инженером в Sber AI. Помимо работы пишу статьи (раз, два), иногда участвую в хакатонах и еще пытаюсь в опенсорс, мои проекты можно посмотреть тут.
О чём канал?
Буду писать про computer science, нейронные сети, MLOps, а также про интересные события из жизни. Канал не только о технологиях, но и о моём пути к work-life balance. Если получится достигнуть, обязательно расскажу!
Где ещё меня найти
github
telegram
#WHOIS
🔥7❤1
Сейчас заметил, что у постов выше отключены комментарии( Поэтому этот пост будет для комментариев и обсуждения
Сегодня вышла моя первая статья на Хабр про использование процессов в python!
⚙️Как работает multiprocessing в Python под капотом🔧
Многим разработчикам на python, в том числе DS/ML/DE специалистам, нужно ускорять обработку данных или распараллеливать CPU-bound вычисления. Потоки для этой задачи не подходят, так как в питоне есть GIL, поэтому часто используют процессы. Но чтобы мастерски овладеть каким-то инструментом, необходимо понимать как он устроен. Поэтому я подробно разобрал детали реализации пакета multiprocessing.
В статье вы узнаете:
- Как создаются процессы в ОС
- Как устроен внутри пакет multiprocessing
- Как работает пул процессов
P.S. Если получится дать обратную связь или поставить upvote на хабре - буду рад))
P.P.S. Перезалил пост, чтобы были доступны комментарии
⚙️Как работает multiprocessing в Python под капотом🔧
Многим разработчикам на python, в том числе DS/ML/DE специалистам, нужно ускорять обработку данных или распараллеливать CPU-bound вычисления. Потоки для этой задачи не подходят, так как в питоне есть GIL, поэтому часто используют процессы. Но чтобы мастерски овладеть каким-то инструментом, необходимо понимать как он устроен. Поэтому я подробно разобрал детали реализации пакета multiprocessing.
В статье вы узнаете:
- Как создаются процессы в ОС
- Как устроен внутри пакет multiprocessing
- Как работает пул процессов
P.S. Если получится дать обратную связь или поставить upvote на хабре - буду рад))
P.P.S. Перезалил пост, чтобы были доступны комментарии
Хабр
Как работает multiprocessing в Python под капотом
Я довольно давно пишу на Python и во многих проектах использовал multiprocessing — пакет стандартной библиотеки языка Python, который предоставляет интерфейс для работы с процессами, очередями, пулами...
❤10👍6🍾4
Всем привет!
Пропал на два месяца, потому что закрывал сессию и писал диплом😵💫 Но сейчас возвращаюсь с отличной новостью:
Пропал на два месяца, потому что закрывал сессию и писал диплом😵💫 Но сейчас возвращаюсь с отличной новостью:
🔥10
⚡️Сегодня мы выложили наш фреймворк для обработки и фильтрации изображений и видео
DPF - это наш внутренний фреймворк, с помощью которого мы обрабатывали и чистили датасет для обучения моделей Kandinsky и Kandinsky Video. Репозиторий содержит фильтры для видео, изображений, различных комбинаций этих модальностей, а также удобный интерфейс к ним. Надеемся, что открытие кода ускорит развитие библиотеки и даст возможность ресерчам сосредоточиться на ресерче, а не на чистке данных❤️🔥
А ещё мы написали статью на habr, в которой подробно рассказали про то, как собирали датасет для обучения Kandinsky 3.0 & 3.1 и Kandinsky Video. В ней также рассказали про DPF и процесс обработки датасетов у нас в Sber AI.
💻 github DPF
📖 Статья на Хабр
DPF - это наш внутренний фреймворк, с помощью которого мы обрабатывали и чистили датасет для обучения моделей Kandinsky и Kandinsky Video. Репозиторий содержит фильтры для видео, изображений, различных комбинаций этих модальностей, а также удобный интерфейс к ним. Надеемся, что открытие кода ускорит развитие библиотеки и даст возможность ресерчам сосредоточиться на ресерче, а не на чистке данных
А ещё мы написали статью на habr, в которой подробно рассказали про то, как собирали датасет для обучения Kandinsky 3.0 & 3.1 и Kandinsky Video. В ней также рассказали про DPF и процесс обработки датасетов у нас в Sber AI.
💻 github DPF
📖 Статья на Хабр
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19👍8❤4❤🔥1
Часто сталкиваюсь с проблемой, что нужно удалять большое количество файлов и папок, а
Вчера всё-таки дошли руки сделать либу специально для быстрого удаления папок, прикрутить к ней нормальную установку через pip и cli.
https://github.com/boomb0om/parallel-rm-rf
rm -rf слишком медленный для этого, удаление одного датасета может занимать несколько часов. Вчера всё-таки дошли руки сделать либу специально для быстрого удаления папок, прикрутить к ней нормальную установку через pip и cli.
https://github.com/boomb0om/parallel-rm-rf
🔥14
Всем привет!
На этой неделе я официально стал студентом магистратуры AI Talent Hub! Изначально я выбирал между тремя институтами: сколтех, вышка и итмо. После долгого изучения и опросов знакомых, выбрал именно AI Talent Hub в ИТМО, чему я очень рад.
Если кто-то из подписчиков там учится или тоже поступает, то буду рад познакомиться)
На этой неделе я официально стал студентом магистратуры AI Talent Hub! Изначально я выбирал между тремя институтами: сколтех, вышка и итмо. После долгого изучения и опросов знакомых, выбрал именно AI Talent Hub в ИТМО, чему я очень рад.
Если кто-то из подписчиков там учится или тоже поступает, то буду рад познакомиться)
🔥24🤩4❤1👏1