Forwarded from Институт AIRI
Открываем прием заявок на Лето с AIRI! ☀️
2 недели науки об искусственном интеллекте для молодых исследователей. В этом году мероприятие пройдет в Татарстане.
🗓 Заявки принимаются до 4 июня 2023 года.
Программа включает в себя лекции, семинары и практическую работу по направлениям:
– обучение с подкреплением
– робототехника
– 3D компьютерное зрение
– генеративное и вероятностное моделирование
– моделирование данных на многообразиях машинного обучения
– графовые нейронные сети
– детектирование и диагностика аномалий по сенсорным данным
📍Питание, обучение и проживание бесплатное, оплатить самим нужно будет только проезд.
Прочитать все подробности и подать заявку можно по ссылке 🚀
2 недели науки об искусственном интеллекте для молодых исследователей. В этом году мероприятие пройдет в Татарстане.
🗓 Заявки принимаются до 4 июня 2023 года.
Программа включает в себя лекции, семинары и практическую работу по направлениям:
– обучение с подкреплением
– робототехника
– 3D компьютерное зрение
– генеративное и вероятностное моделирование
– моделирование данных на многообразиях машинного обучения
– графовые нейронные сети
– детектирование и диагностика аномалий по сенсорным данным
📍Питание, обучение и проживание бесплатное, оплатить самим нужно будет только проезд.
Прочитать все подробности и подать заявку можно по ссылке 🚀
👍15❤🔥5
⚡️⚡️⚡️Generating Images with Multimodal Language Models
(от создателей FROMAGe)
Команда Carnegie Mellon University представила новое мультимодальное решение, которое позволяет использовать изображения в контексте языковой модели не только в качестве input’а, но и для генерации output’а. Другими словами, генерация изображений доступна теперь нативно. Всего обучается несколько небольших линейных мапперов и GILL трансформер, а остальные части архитектуры заморожены.
🔥Понимание изображений - обычный линейный маппинг на эмбеддингах замороженных картиночном энкодере и LLM (обучение на парах данных для задачи image captioning)
🔥Генерация спецтокенов - добавляется r [IMG] токенов для обогащения словаря LLM и учится небольшой трансформер - маппер, который позволяет модели понимать изображения. Учится отдельная матрица весов E, а LLM остаётся замороженной
🔥Генерация изображений - обучается GILLMapper - энкодер-декодерный трансформер из 4х слоёв, который использует в качестве condition - скрытые состояния токенов IMG из языковой модели. На выходе он позволяет получать L обучаемых эмбеддингов языковой модели для входа генеративной text2image модели (StableDiffusion) - принцип похож на DETR и BLIP-2. То есть по сути учится маппить hidden state спецтокенов в пространство текстового энтодерма text2image модели
🔥Image retrieval - добавляются еще два линейных маппинга t2i и i2t и соответствующий InfoNCELoss для задачи retrieval.
Все 4 режима объединяются в одной функции потерь и учатся на датасете ConceptualCaptions3M
📌Языковая модель - OPT-6.7B
📌Визуальный энкодер - CLIP ViT-L
📌Генератор изображений - SD 1.5
📌Обучаемых параметров - 50M
📌Обучение - 20k итераций с bs=200, 2 дня на 2xA6000
Статья
GitHub
@complete_ai
(от создателей FROMAGe)
Команда Carnegie Mellon University представила новое мультимодальное решение, которое позволяет использовать изображения в контексте языковой модели не только в качестве input’а, но и для генерации output’а. Другими словами, генерация изображений доступна теперь нативно. Всего обучается несколько небольших линейных мапперов и GILL трансформер, а остальные части архитектуры заморожены.
🔥Понимание изображений - обычный линейный маппинг на эмбеддингах замороженных картиночном энкодере и LLM (обучение на парах данных для задачи image captioning)
🔥Генерация спецтокенов - добавляется r [IMG] токенов для обогащения словаря LLM и учится небольшой трансформер - маппер, который позволяет модели понимать изображения. Учится отдельная матрица весов E, а LLM остаётся замороженной
🔥Генерация изображений - обучается GILLMapper - энкодер-декодерный трансформер из 4х слоёв, который использует в качестве condition - скрытые состояния токенов IMG из языковой модели. На выходе он позволяет получать L обучаемых эмбеддингов языковой модели для входа генеративной text2image модели (StableDiffusion) - принцип похож на DETR и BLIP-2. То есть по сути учится маппить hidden state спецтокенов в пространство текстового энтодерма text2image модели
🔥Image retrieval - добавляются еще два линейных маппинга t2i и i2t и соответствующий InfoNCELoss для задачи retrieval.
Все 4 режима объединяются в одной функции потерь и учатся на датасете ConceptualCaptions3M
📌Языковая модель - OPT-6.7B
📌Визуальный энкодер - CLIP ViT-L
📌Генератор изображений - SD 1.5
📌Обучаемых параметров - 50M
📌Обучение - 20k итераций с bs=200, 2 дня на 2xA6000
Статья
GitHub
@complete_ai
👍21🔥9❤🔥3👏1🎉1🏆1
Forwarded from South HUB
Пригласили Андрея Кузнецова — Исполнительного директора по исследованию данных Sber AI — рассказать об одном из самых популярных направлений в сфере искусственного интеллекта — генеративных моделях. И не просто рассказать, как Андрей это делает у себя в телеграм-канале, а провести целый Workshop!
Сначала поговорим про историю задачи и её актуальность, далее погрузимся в существующие решения и детали Kandinsky 2.1, а также в прикладные кейсы. Будем собственноручно наращивать долю генеративного ИИ в современной прикладной науке, качество генераций и оценим возможные бизнес-кейсы из различных отраслей.
Записываться заранее не нужно, а вот билет на кэмп приобрести — определенно! Смотрите, на сайте.
#спикер #создатели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥32🎉7👏4❤🔥3⚡2
Forwarded from South HUB
Назвали эфир «ИИ и всё, что из него генерится».
Модерировать встречу будет уже знакомый по посту выше — Андрей Кузнецов.
В гости к Андрею придут:
Официальные тезисы встречи такие:
1. Профессии: какие исчезнут, а какие появятся?
2. Этика: как избежать токсичности от ГИИ, если он учится на нашей токсичности?
3. Возможности: что уже сегодня вы отдали на откуп ИИ в своих рабочих процессах? Что рассматривайте?
4. Полярность: если ИИ будут отдельно развиваться в России, Китае, США, смогут ли они делать это также быстро, как если бы между ит-специалистами был интенсивный обмен?
#эфир #ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥11
Крутая интерпретация как работают LLM и все окружающие их адаптеры и фичи!
Спасибо @isamsonov за эту картинку🔥
Спасибо @isamsonov за эту картинку🔥
🔥28👏1
В программе курсы по вычислительной линейной алгебре, оптимизации, машинному и глубинному обучению, обучению с подкреплением, обработке текстов, компьютерному зрению, и другие дисциплины, необходимые для карьеры в сфере AI. Обучение будет идти в связке с индустриальными задачами и проектами, что позволит применять знания сразу на практике.
Среди лекторов Иван Оселедец, Евгений Бурнаев, Александр Панченко, Сергей Загоруйко и многие другие. Все имеют большой список высокорейтинговых публикаций на A/A* конференциях и в топ журналах, внушительный индекс Хирша, а также занимаются прикладными проектами в сфере AI.
Не упустите шанс учиться у лучших!
Срок подачи заявок - до 10 июля
📌Подайте заявку на участие в программе Data Science
📌Подробнее о программе
📌Подробнее о магистратуре Сколтеха
Please open Telegram to view this post
VIEW IN TELEGRAM
msc.skoltech.ru
Науки о данных
👍14🔥4
⚡Важная информация для всех, кто интересуется эффективным векторным представлением изображений для text2image моделей!
Если вы хотите компактно хранить картинки и восстанавливать их после декодера с минимальными потерями, то это решение для вас😉
Сегодня мы выложили в опенсурс и выпустили статью на Хабре про наш новый энкодер, который используется в генеративной модели Kandinsky 2.1 - Sber-MoVQGAN, который базируется на статье MoVQ: Modulating Quantized Vectors for High-Fidelity Image Generation. В статье приведены примеры работы обученного энкодера для разных сложных доменов (лица, текст, и др.), результаты экспериментов с архитектурой и её размерами (выкладываем целых 3 версии энкодера: 67M, 102M и 270M параметров), а сама модель по классике выложена в опенсурс. Пользуйтесь🎉
💥Хабр
💥GitHub
@complete_ai
Если вы хотите компактно хранить картинки и восстанавливать их после декодера с минимальными потерями, то это решение для вас😉
Сегодня мы выложили в опенсурс и выпустили статью на Хабре про наш новый энкодер, который используется в генеративной модели Kandinsky 2.1 - Sber-MoVQGAN, который базируется на статье MoVQ: Modulating Quantized Vectors for High-Fidelity Image Generation. В статье приведены примеры работы обученного энкодера для разных сложных доменов (лица, текст, и др.), результаты экспериментов с архитектурой и её размерами (выкладываем целых 3 версии энкодера: 67M, 102M и 270M параметров), а сама модель по классике выложена в опенсурс. Пользуйтесь🎉
💥Хабр
💥GitHub
@complete_ai
❤🔥37👍10👏1
🚀MI-Modal In-Context Instruction Tuning (MIMIC-IT): в рамках проекта Otter 🦦 Microsoft делится самым большим инструктивным визуально-текстовым датасетом
Otter - это одна из свежих визуально-текстовых моделей (visual language model, VLM), построенная на OpenFlamingo. Для обучения Otter использовался собранный датасет MIMIC-IT, содержащий 2.8М пар связанных мультиязычных (без русского🙁) мультимодальных инструкций с ответами, среди которых 2.2М инструкций получены для визуальных данных (изображения и видео). При создании сета использовались разные сценарии, симулирующие естественные диалоги: описание изображений/видео, сравнение изображений, ответы на вопросы, понимание сцены и возможных действий в помещении (в качестве изображений тут использовался сет из снятых в помещении фотографий) и др. Инструкции и ответы генерировались с помощью API ChatGPT-0301, на использование которого было потрачено около 20к $. Визуальные данные «поставлялись» в ChatGPT через алгоритмы аннотирования (описание, детекция объектов и тд.)
Итого: большой инструктивный сет с различными мультимодальными контекстами для обучения модели пониманию сцен на фото и видео (perception), а также логическим выводам (reasoning).
📌Paper
📌Проект
📌GitHub
📌Youtube
@complete_ai
Otter - это одна из свежих визуально-текстовых моделей (visual language model, VLM), построенная на OpenFlamingo. Для обучения Otter использовался собранный датасет MIMIC-IT, содержащий 2.8М пар связанных мультиязычных (без русского🙁) мультимодальных инструкций с ответами, среди которых 2.2М инструкций получены для визуальных данных (изображения и видео). При создании сета использовались разные сценарии, симулирующие естественные диалоги: описание изображений/видео, сравнение изображений, ответы на вопросы, понимание сцены и возможных действий в помещении (в качестве изображений тут использовался сет из снятых в помещении фотографий) и др. Инструкции и ответы генерировались с помощью API ChatGPT-0301, на использование которого было потрачено около 20к $. Визуальные данные «поставлялись» в ChatGPT через алгоритмы аннотирования (описание, детекция объектов и тд.)
Итого: большой инструктивный сет с различными мультимодальными контекстами для обучения модели пониманию сцен на фото и видео (perception), а также логическим выводам (reasoning).
📌Paper
📌Проект
📌GitHub
📌Youtube
@complete_ai
🔥21👏1
✅Использовать Q-Former, чтобы добавить в LLaMA возможность работать с видео и аудио модальностями
🔥Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding
1) Video Q-Former для кодирования темпоральных связей между кадрами. Учим модель решать задачу описания видео (video-to-text)
2) Подход ImageBind (by FAIR) для совместного использования согласованных эмбеддингов различных модальностей (энкодеры Video Q-Former и Audio Q-Former согласованы во времени) - напомню, идея снова в использовании линейных маппингов над энкодерами и симметричной функции потерь InfoNCE для того, чтобы сблизить эмбеддинги в одном векторном пространстве
3) Файнтюнинг: инструктивный + пары «видео/картинка-описание»
📌Статья
📌GitHub
@complete_ai
🔥Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding
1) Video Q-Former для кодирования темпоральных связей между кадрами. Учим модель решать задачу описания видео (video-to-text)
2) Подход ImageBind (by FAIR) для совместного использования согласованных эмбеддингов различных модальностей (энкодеры Video Q-Former и Audio Q-Former согласованы во времени) - напомню, идея снова в использовании линейных маппингов над энкодерами и симметричной функции потерь InfoNCE для того, чтобы сблизить эмбеддинги в одном векторном пространстве
3) Файнтюнинг: инструктивный + пары «видео/картинка-описание»
📌Статья
📌GitHub
@complete_ai
🔥14
🔥25❤🔥8⚡3