Проверим, добавились ли комментарии!

Хоть это и не относится к теме канала, но тем не менее хочется всех мам поздравить с Днём Матери!

Мама - вечный символ добра, прощения и защиты от всего плохого, а еще самое понятное слово в мире🙏

С праздником! Всем добра🌹

Хорошая новость для тех, кто не попал на NeurIPS. Скоро стартует курс по диффузионным моделям от Hugging Face 🔥.

А 30 ноября (завтра) его откроют докладами от крутых чуваков - создателей Stable Diffusion (Stability + Runwayml) и Make-a-Video (Meta AI).

Зарегаться можно тут.

@ai_newz

Всем привет!

3 декабря в 18.50 (мск) на YaTalks дискутирую с ребятами из Яндекса (Сергей Овчаренко и Валентин Хрульков) на тему:
«Генерация изображений нейросетями: как работают нейросети и изменят ли они мир создания контента».

Обсудим современные архитектуры для генерации изображений, проблемные области генерации, обязательно поговорим, как страшно жить в последние годы дизайнерам от всех этих AI-штучек, да и в целом прикинем, как жить дальше в этом динамично меняющемся мире искусственного интеллекта.

Приходите послушать, вопросы можно оставлять в комментариях к посту или в ходе конференции на платформе.
До встречи на YaTalks!

Описание дискуссии можно найти по ссылке

@complete_ai

Совсем недавно вышла бета версия библиотеки TorchMultimodal (ссылка), в которой авторы постарались собрать все лучшие техники и фичи обучения SoTA мультизадачных мультимодальных (М2) архитектур:
• слои, обработчики для разных модальностей, лосс функции (Contrastive Loss, Codebook слои, Shifted-window Attention, Components for CLIP, Multimodal GPT, Multi Head Attention)
• SoTA архитектуры (FLAVA, DETR, …)
• скрипты обучения и инференса
• примеры использования

Всё это позволит ставить быстрые и удобные эксперименты для обучения М2 моделей.

В довесок авторы сделали интересный пост о распределённом обучении (ссылка), где на примере модели FLAVA (мультимодальный late fusion трансформер) показали, как можно её масштабировать с 350M параметров до 10B. Рассмотрели два ключевых подхода:
1. Distributed Data Parallel - нарезка датасета по воркерам, градиенты синхронизируются ДО обновления весов, по сути вся модель «реплицируется»
2. Fully Sharded Data Parallel - параметры, градиенты и состояния оптимизатора нарезаются (шардируются) по воркерам (а-ля ZeRO-3), перед forward и backward propagation шарды объединяются.

Сравнение производительности (среднее число сэмплов в секунду за исключением первых 100 на warmup) можно оценить на графике.


github
статья про TorchMultimodal
статья про Scaling Multimodal Foundation Models

@complete_ai

Не смог пройти мимо залипательной штуки, превращающей тебя в героев анимэ (хотя я и не фанат).
UI весь на китайском, но интуитивно понятно (пробуйте на смартфоне, либо окно браузера вытяните в портретный вид).

Кто ты из «Унесённых призраками» можно сгенерить тут.

Кидайте себя крашей в комментах😀