Forwarded from Институт AIRI
Открываем прием заявок на Лето с AIRI! ☀️
2 недели науки об искусственном интеллекте для молодых исследователей. В этом году мероприятие пройдет в Татарстане.
🗓 Заявки принимаются до 4 июня 2023 года.
Программа включает в себя лекции, семинары и практическую работу по направлениям:
– обучение с подкреплением
– робототехника
– 3D компьютерное зрение
– генеративное и вероятностное моделирование
– моделирование данных на многообразиях машинного обучения
– графовые нейронные сети
– детектирование и диагностика аномалий по сенсорным данным
📍Питание, обучение и проживание бесплатное, оплатить самим нужно будет только проезд.
Прочитать все подробности и подать заявку можно по ссылке 🚀
2 недели науки об искусственном интеллекте для молодых исследователей. В этом году мероприятие пройдет в Татарстане.
🗓 Заявки принимаются до 4 июня 2023 года.
Программа включает в себя лекции, семинары и практическую работу по направлениям:
– обучение с подкреплением
– робототехника
– 3D компьютерное зрение
– генеративное и вероятностное моделирование
– моделирование данных на многообразиях машинного обучения
– графовые нейронные сети
– детектирование и диагностика аномалий по сенсорным данным
📍Питание, обучение и проживание бесплатное, оплатить самим нужно будет только проезд.
Прочитать все подробности и подать заявку можно по ссылке 🚀
👍15❤🔥5
⚡️⚡️⚡️Generating Images with Multimodal Language Models
(от создателей FROMAGe)
Команда Carnegie Mellon University представила новое мультимодальное решение, которое позволяет использовать изображения в контексте языковой модели не только в качестве input’а, но и для генерации output’а. Другими словами, генерация изображений доступна теперь нативно. Всего обучается несколько небольших линейных мапперов и GILL трансформер, а остальные части архитектуры заморожены.
🔥Понимание изображений - обычный линейный маппинг на эмбеддингах замороженных картиночном энкодере и LLM (обучение на парах данных для задачи image captioning)
🔥Генерация спецтокенов - добавляется r [IMG] токенов для обогащения словаря LLM и учится небольшой трансформер - маппер, который позволяет модели понимать изображения. Учится отдельная матрица весов E, а LLM остаётся замороженной
🔥Генерация изображений - обучается GILLMapper - энкодер-декодерный трансформер из 4х слоёв, который использует в качестве condition - скрытые состояния токенов IMG из языковой модели. На выходе он позволяет получать L обучаемых эмбеддингов языковой модели для входа генеративной text2image модели (StableDiffusion) - принцип похож на DETR и BLIP-2. То есть по сути учится маппить hidden state спецтокенов в пространство текстового энтодерма text2image модели
🔥Image retrieval - добавляются еще два линейных маппинга t2i и i2t и соответствующий InfoNCELoss для задачи retrieval.
Все 4 режима объединяются в одной функции потерь и учатся на датасете ConceptualCaptions3M
📌Языковая модель - OPT-6.7B
📌Визуальный энкодер - CLIP ViT-L
📌Генератор изображений - SD 1.5
📌Обучаемых параметров - 50M
📌Обучение - 20k итераций с bs=200, 2 дня на 2xA6000
Статья
GitHub
@complete_ai
(от создателей FROMAGe)
Команда Carnegie Mellon University представила новое мультимодальное решение, которое позволяет использовать изображения в контексте языковой модели не только в качестве input’а, но и для генерации output’а. Другими словами, генерация изображений доступна теперь нативно. Всего обучается несколько небольших линейных мапперов и GILL трансформер, а остальные части архитектуры заморожены.
🔥Понимание изображений - обычный линейный маппинг на эмбеддингах замороженных картиночном энкодере и LLM (обучение на парах данных для задачи image captioning)
🔥Генерация спецтокенов - добавляется r [IMG] токенов для обогащения словаря LLM и учится небольшой трансформер - маппер, который позволяет модели понимать изображения. Учится отдельная матрица весов E, а LLM остаётся замороженной
🔥Генерация изображений - обучается GILLMapper - энкодер-декодерный трансформер из 4х слоёв, который использует в качестве condition - скрытые состояния токенов IMG из языковой модели. На выходе он позволяет получать L обучаемых эмбеддингов языковой модели для входа генеративной text2image модели (StableDiffusion) - принцип похож на DETR и BLIP-2. То есть по сути учится маппить hidden state спецтокенов в пространство текстового энтодерма text2image модели
🔥Image retrieval - добавляются еще два линейных маппинга t2i и i2t и соответствующий InfoNCELoss для задачи retrieval.
Все 4 режима объединяются в одной функции потерь и учатся на датасете ConceptualCaptions3M
📌Языковая модель - OPT-6.7B
📌Визуальный энкодер - CLIP ViT-L
📌Генератор изображений - SD 1.5
📌Обучаемых параметров - 50M
📌Обучение - 20k итераций с bs=200, 2 дня на 2xA6000
Статья
GitHub
@complete_ai
👍21🔥9❤🔥3👏1🎉1🏆1
Forwarded from South HUB
Пригласили Андрея Кузнецова — Исполнительного директора по исследованию данных Sber AI — рассказать об одном из самых популярных направлений в сфере искусственного интеллекта — генеративных моделях. И не просто рассказать, как Андрей это делает у себя в телеграм-канале, а провести целый Workshop!
Сначала поговорим про историю задачи и её актуальность, далее погрузимся в существующие решения и детали Kandinsky 2.1, а также в прикладные кейсы. Будем собственноручно наращивать долю генеративного ИИ в современной прикладной науке, качество генераций и оценим возможные бизнес-кейсы из различных отраслей.
Записываться заранее не нужно, а вот билет на кэмп приобрести — определенно! Смотрите, на сайте.
#спикер #создатели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥32🎉7👏4❤🔥3⚡2
Forwarded from South HUB
Назвали эфир «ИИ и всё, что из него генерится».
Модерировать встречу будет уже знакомый по посту выше — Андрей Кузнецов.
В гости к Андрею придут:
Официальные тезисы встречи такие:
1. Профессии: какие исчезнут, а какие появятся?
2. Этика: как избежать токсичности от ГИИ, если он учится на нашей токсичности?
3. Возможности: что уже сегодня вы отдали на откуп ИИ в своих рабочих процессах? Что рассматривайте?
4. Полярность: если ИИ будут отдельно развиваться в России, Китае, США, смогут ли они делать это также быстро, как если бы между ит-специалистами был интенсивный обмен?
#эфир #ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥11
Крутая интерпретация как работают LLM и все окружающие их адаптеры и фичи!
Спасибо @isamsonov за эту картинку🔥
Спасибо @isamsonov за эту картинку🔥
🔥28👏1