Forwarded from Igrek.log
Сегодня вышла моя первая статья на Хабр про использование процессов в python!
⚙️Как работает multiprocessing в Python под капотом🔧
Многим разработчикам на python, в том числе DS/ML/DE специалистам, нужно ускорять обработку данных или распараллеливать CPU-bound вычисления. Потоки для этой задачи не подходят, так как в питоне есть GIL, поэтому часто используют процессы. Но чтобы мастерски овладеть каким-то инструментом, необходимо понимать как он устроен. Поэтому я подробно разобрал детали реализации пакета multiprocessing.
В статье вы узнаете:
- Как создаются процессы в ОС
- Как устроен внутри пакет multiprocessing
- Как работает пул процессов
P.S. Если получится дать обратную связь или поставить upvote на хабре - буду рад))
P.P.S. Перезалил пост, чтобы были доступны комментарии
⚙️Как работает multiprocessing в Python под капотом🔧
Многим разработчикам на python, в том числе DS/ML/DE специалистам, нужно ускорять обработку данных или распараллеливать CPU-bound вычисления. Потоки для этой задачи не подходят, так как в питоне есть GIL, поэтому часто используют процессы. Но чтобы мастерски овладеть каким-то инструментом, необходимо понимать как он устроен. Поэтому я подробно разобрал детали реализации пакета multiprocessing.
В статье вы узнаете:
- Как создаются процессы в ОС
- Как устроен внутри пакет multiprocessing
- Как работает пул процессов
P.S. Если получится дать обратную связь или поставить upvote на хабре - буду рад))
P.P.S. Перезалил пост, чтобы были доступны комментарии
Хабр
Как работает multiprocessing в Python под капотом
Я довольно давно пишу на Python и во многих проектах использовал multiprocessing — пакет стандартной библиотеки языка Python, который предоставляет интерфейс для работы с процессами, очередями, пулами...
Forwarded from AbstractDL
Сегодня день рождения Kandinsky (самая популярная его версия вышла 4 апреля 2023 года, и с этого началась настоящая история линейки Kandinsky)🎉🎉🎉
И в этот день мы выпустили обновление модели Kandinsky 3.1, в котором:
📍добавили существенное увеличение скорости генерации за счёт дистилляции модели
📍затащили обратно режимы смешивания и вариации изображений вкупе с ControlNet
📍добавили возможность повышения разрешения генераций до 4K
Подробнее можно почитать на Хабре, ну а для всех мы покажем обновление на всех платформах чуть позже. Пишите вопросы в комментариях, буду рад ответить😉
С Днём Рождения, Kandinsky! С праздником всю нашу команду и всех почитателей творчества Generative AI🥂
🍰Ссылка на Хабр
@complete_ai
И в этот день мы выпустили обновление модели Kandinsky 3.1, в котором:
📍добавили существенное увеличение скорости генерации за счёт дистилляции модели
📍затащили обратно режимы смешивания и вариации изображений вкупе с ControlNet
📍добавили возможность повышения разрешения генераций до 4K
Подробнее можно почитать на Хабре, ну а для всех мы покажем обновление на всех платформах чуть позже. Пишите вопросы в комментариях, буду рад ответить😉
С Днём Рождения, Kandinsky! С праздником всю нашу команду и всех почитателей творчества Generative AI🥂
🍰Ссылка на Хабр
@complete_ai
Forwarded from Институт AIRI
This media is not supported in your browser
VIEW IN TELEGRAM
Отметили 3 года Института!
Сегодня все сердца поста — команде AIRI ❤️
Сегодня все сердца поста — команде AIRI ❤️
Forwarded from HighLoad++
Всем привет! Сегодня знакомим вас с первыми спикерами секции «Нейронные сети, искусственный интеллект»
⠀
1) Андрей Кузнецов (AIRI) «Как научить фундаментальные модели читать, видеть, слышать и анализировать всё одновременно»
⠀
Моделью, которая умеет общаться текстом, сейчас уже никого не удивишь. Андрей расскажет, из чего собрать модель, которая в дополнение к этому умеет смотреть картинки и слушать речь. Очередной шаг на пути к General AI!
⠀
2) Алексей Воропаев (SberAutoTech) «Архитектура беспилотного транспорта нового поколения»
⠀
Доклад позволит узнать, как NeRF нейросети позволяют организовать End2End обучение и тестирование современного беспилотного транспорта.
⠀
3) Евгений Кокуйкин (Raft) «Новые атаки на LLM и методы защиты для прикладных приложений»
⠀
Чем больше LLM проникает в нашу жизнь, тем острее встают вопросы безопасности. Вариативность атак меняется не просто быстро, а очень быстро. Из доклада вы получите полное представление о текущем состоянии атак на LLM и научитесь идентифицировать потенциальные уязвимости в своих приложениях.
⠀
Присоединяйтесь к нам 24 и 25 июня на Saint HighLoad++ 2024 🙌
⠀
✅ Ознакомиться со всеми принятыми докладами и купить билет можно на сайте
⠀
1) Андрей Кузнецов (AIRI) «Как научить фундаментальные модели читать, видеть, слышать и анализировать всё одновременно»
⠀
Моделью, которая умеет общаться текстом, сейчас уже никого не удивишь. Андрей расскажет, из чего собрать модель, которая в дополнение к этому умеет смотреть картинки и слушать речь. Очередной шаг на пути к General AI!
⠀
2) Алексей Воропаев (SberAutoTech) «Архитектура беспилотного транспорта нового поколения»
⠀
Доклад позволит узнать, как NeRF нейросети позволяют организовать End2End обучение и тестирование современного беспилотного транспорта.
⠀
3) Евгений Кокуйкин (Raft) «Новые атаки на LLM и методы защиты для прикладных приложений»
⠀
Чем больше LLM проникает в нашу жизнь, тем острее встают вопросы безопасности. Вариативность атак меняется не просто быстро, а очень быстро. Из доклада вы получите полное представление о текущем состоянии атак на LLM и научитесь идентифицировать потенциальные уязвимости в своих приложениях.
⠀
Присоединяйтесь к нам 24 и 25 июня на Saint HighLoad++ 2024 🙌
⠀
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️Сегодня выпустили обновление нашей мультимодальной модели OmniFusion 1.1
Модель умеет понимать изображения, описывать сцены и отвечать на вопросы по картинкам. В основе open-source модели лежит языковая модель Mistral-7B.
В остальном было проделано большое число экспериментов,в числе которых:
- сравнили различные визуальные энкодеры
- научились смешивать несколько энкодеров для усиления визуального контекста
- проверили влияние механики нарезки картинки на фрагменты с последующим их энкодингом
В итоге побили 7B аналогичные решения на ряде бенчмарков, побили также 13B модели на некоторых бенчах. Исследования продолжаются, чтобы выбить однозначную SoTA на всех задачах и приблизиться к GPT4-Vision.
Сегодня выпустили technical report на arXiv, который попал в Daily Papers на Hugging Face и уже занимает там сейчас первое место🏆
📍Project page
📍Статья на Хабре
📍GitHub
Буду крайне признателен, если поддержите лайками, звёздами и upvote по ссылкам выше - всей команде будет супер приятно🙏
@complete_ai
Модель умеет понимать изображения, описывать сцены и отвечать на вопросы по картинкам. В основе open-source модели лежит языковая модель Mistral-7B.
В остальном было проделано большое число экспериментов,в числе которых:
- сравнили различные визуальные энкодеры
- научились смешивать несколько энкодеров для усиления визуального контекста
- проверили влияние механики нарезки картинки на фрагменты с последующим их энкодингом
В итоге побили 7B аналогичные решения на ряде бенчмарков, побили также 13B модели на некоторых бенчах. Исследования продолжаются, чтобы выбить однозначную SoTA на всех задачах и приблизиться к GPT4-Vision.
Сегодня выпустили technical report на arXiv, который попал в Daily Papers на Hugging Face и уже занимает там сейчас первое место🏆
📍Project page
📍Статья на Хабре
📍GitHub
Буду крайне признателен, если поддержите лайками, звёздами и upvote по ссылкам выше - всей команде будет супер приятно🙏
@complete_ai
🚀Мы с Kandinsky поздравляем всех с Днём Космонавтики!
Достигайте самых амбициозных высот!
За арты спасибо @kutsgelya
@complete_ai
Достигайте самых амбициозных высот!
За арты спасибо @kutsgelya
@complete_ai
Сегодня выступаю и модерирую секцию про мультимодальный и генеративный ИИ на конференции по анализу данных и технологиям DataFusion (начало в 15.50 мск). Поговорим про современное состояние исследований в этих областях и интересные решения и технологии, которые нас ждут в недалёком будущем.
Мероприятие проходит оффлайн в Кластере Ломоносов на Раменском бульваре д.1, а также будет онлайн трансляция ( зарегистрироваться можно тут ).
Мероприятие проходит оффлайн в Кластере Ломоносов на Раменском бульваре д.1, а также будет онлайн трансляция ( зарегистрироваться можно тут ).
Forwarded from эйай ньюз
Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие.
Зарелизили в опенсорс LLaMa-3 8B и 70B:
C новыми моделями можно початиться на meta.ai
Блог
Подробности
Скачать веса модели
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️Вот и тех репорт по языковой модели Phi-3 пожаловал
На известном MMLU 7B версия уверенно обходит и Llama 3, и Gemma, и Mistral. Ждём доученной версии, разрывающей GPT-4😉
https://arxiv.org/abs/2404.14219
На известном MMLU 7B версия уверенно обходит и Llama 3, и Gemma, и Mistral. Ждём доученной версии, разрывающей GPT-4😉
https://arxiv.org/abs/2404.14219
Дизайнеры vs AI. The winner is…
В этом году наш институт AIRI решил поддержать IV Конкурс-биеннале предметного дизайна «Придумано и сделано в России» впервые появилась номинация «AI‑технологии».
В рамках конкурса я буду выступать в роли куратора номинации «AI-технологии в дизайне», а мой коллега Денис @dendimitrov - членом экспертного жюри.
Эксперты оценят как дизайнеры «общаются»с генеративными моделями и насколько точно им удается воплотить задуманное. Это интересный опыт как для дизайнеров, креаторов, так и для экспертов, ведь надо быть непредвзятым между человеком и ИИ😉
Знаю, что среди моих подписчиков много промпт-инженеров, дизайнеров и представителей других творческих профессий - этот ивент для вас🖼️
🍿 Все подробности на официальном сайте конкурса. Подать заявку можно до 12 августа 2024 года. Участвуйте и побеждайте!
В этом году наш институт AIRI решил поддержать IV Конкурс-биеннале предметного дизайна «Придумано и сделано в России» впервые появилась номинация «AI‑технологии».
В рамках конкурса я буду выступать в роли куратора номинации «AI-технологии в дизайне», а мой коллега Денис @dendimitrov - членом экспертного жюри.
Эксперты оценят как дизайнеры «общаются»с генеративными моделями и насколько точно им удается воплотить задуманное. Это интересный опыт как для дизайнеров, креаторов, так и для экспертов, ведь надо быть непредвзятым между человеком и ИИ😉
Знаю, что среди моих подписчиков много промпт-инженеров, дизайнеров и представителей других творческих профессий - этот ивент для вас🖼️
🍿 Все подробности на официальном сайте конкурса. Подать заявку можно до 12 августа 2024 года. Участвуйте и побеждайте!
Не прошло и дня, как MS выложили веса Phi-3 Mini.
Дали доступ к инструктивным версиям с контекстом 4k и 128k токенов, а также onnx и gguf адаптации модели
Мы забрали пощупать модель в возникающий уже зоопарк реализаций OmniFusion — расскажу по итогу, что получится
Дали доступ к инструктивным версиям с контекстом 4k и 128k токенов, а также onnx и gguf адаптации модели
Мы забрали пощупать модель в возникающий уже зоопарк реализаций OmniFusion — расскажу по итогу, что получится
huggingface.co
Phi-3 - a microsoft Collection
Phi-3 family of small language and multi-modal models. Language models are available in short- and long-context lengths.
Forwarded from Институт AIRI
Запускаем Большой Семинар AIRI — пространство для знакомства исследователей из разных областей и всех, кто интересуется наукой 💡
21 мая в 17:30 российский химик, академик РАН, заведующий лабораторией Института органической химии им. Н. Д. Зелинского РАН Валентин Анаников выступит с докладом «Искусственный интеллект в химии».
Модератор Большого Семинара AIRI — доктор физико-математических наук, профессор РАН, CEO Института AIRI, профессор Сколтеха Иван Оселедец.
Приглашаем вас разделить с нами запуск проекта, послушать лекцию и поучаствовать в дискуссии.
📌 Регистрируйтесь по ссылке и делитесь постом с друзьями и коллегами!
21 мая в 17:30 российский химик, академик РАН, заведующий лабораторией Института органической химии им. Н. Д. Зелинского РАН Валентин Анаников выступит с докладом «Искусственный интеллект в химии».
Модератор Большого Семинара AIRI — доктор физико-математических наук, профессор РАН, CEO Института AIRI, профессор Сколтеха Иван Оселедец.
Приглашаем вас разделить с нами запуск проекта, послушать лекцию и поучаствовать в дискуссии.
Please open Telegram to view this post
VIEW IN TELEGRAM