Grounding Dino

Мультимодальность сегодня — одна из самых популярных вещей в глубоком обучении. В новой статье мы рассмотрим, как на основе Grounding Dino можно добавить язык к задаче детекции объектов на изображениях. А ещё узнаем, что включение дополнительной модальности позволяет не только создавать запросы вида “самая правая кошечка”, но и находить объекты классов, которых нет в обучающей выборке.

Из этой статьи вы также узнаете:
- зачем нужна “дружба” между языком и картинками и какие у неё бонусы
- какая архитектура Grounding Dino
- как соединить модальности
- каким образом можно запустить и потрогать Grounding Dino
- как запустить и потрогать модель сегментации на основе Grounding Dino
- и как с помощью сегментации и диффузии заменить объект на картинке

Читайте нашу статью по ссылке: https://www.notion.so/deepschool-pro/Grounding-DINO-054a72d301d840ec99611cd76acba169?pvs=4

Дайджест статей за март

Встречайте первый дайджест статей на канале!
Мы собрали вместе все статьи за последний месяц и получилось очень разнообразно — от обучения сетей до 3D, от разбора трансформера для детекции до составления ансамбля моделей. Надеемся, что вы не упустите то, что вам интересно 🤗

Negative learning
Рассказываем, как обучиться с хорошими результатами на неидеальных датасетах с ошибками и противоречивыми данными:
- в чём ключевая идея подхода
- его плюсы и минусы
- и как добиться очень хороших результатов на шумных данных

3D Gaussian Splatting
Разбираемся, как обеспечить высокое качество сгенерированных 3D сцен вместе с быстротой обучения и отрисовки:
- как Gaussian Splatting использует гауссианы для представления трёхмерного пространства
- как позволяет эффективно отрисовать новые изображения для сцены
- как обучается создавать детализированное представление сцены

ModelSoups: варим суп из моделей
Изучаем, как усреднение весов моделей может улучшить точность итогового ансамбля:
- Model Soups подход к усреднению весов модели и его результаты
- теория подхода, а также границы применимости и сопутствующие требования
- применение подхода в СV и NLP направлениях

Как применяют CV в сейсморазведке
Познакомимся с применением DL в прикладной науке — сейсморазведке:
- что такое сейсморазведка
- как в ней применить подходы на основе глубоких нейронных сетей
- примеры открытых сейсмических данных
- как можно решить задачу их интерпретации с помощью CV
- и какие есть известные соревнования по МО на базе сейсмических датасетов

DETR
Препарируем пионера CV детекции на базе архитектуры трансформер:
- как решать задачу детекции напрямую — без дополнительных методов по типу NMS (non-maximum suppression) или генерации анкоров
- детальный разбор архитектуры DETR
- результаты её применения в downstream задачах

Grounding Dino
Выясняем, как мультимодальность улучшает детекцию объектов с помощью Grounding Dino:
- зачем нужна “дружба” между языком и картинками и какие у неё бонусы
- какая архитектура у Grounding Dino
- как соединить модальности
- каким образом можно запустить и потрогать Grounding Dino

✌️Что вам было интересно в этом месяце? О чём вы бы хотели прочитать на канале? Пишите в комментарии!

Diffusion Models

Сегодня поговорим о моделях диффузии и их превосходстве над Generative Adversarial Networks (GANs) при создании высококачественных синтетических изображений. Познакомимся со статьёй “Diffusion Models Beat GANs on Image Synthesis”, авторы которой доказали: диффузионные модели помогают обеспечить наилучшее качество генерации изображений.

В статье также рассмотрим:
- процесс диффузии (forward и reverse)
- Denoising Diffusion Probabilistic Models (DDPM)
- большое количество ablation study
- обучение
- математику в первом приближении
- и ещё много чего :)

Читайте нашу новую статью по ссылке: https://www.notion.so/deepschool-pro/Diffusion-Models-Beat-GANs-on-Image-Synthesis-b178e701e6d44cac9df11a501067d666?pvs=4

Полезные Linux-команды

Linux — неотъемлемая часть инструментария каждого Data Scientist'а.

В этой статье мы рассмотрим полезные команды, которые позволят:
- создавать виртуальные сессии
- профилировать ресурсы
- добавлять переменные окружения

А в конце вы найдёте шпаргалку с основными Linux-командами 😊

Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/Linux-715cb84e836f402a911f28fa3c4e753a?pvs=4

Прекрасное далёко. Где мы на пути к Метавёрсу

Сегодня построение Метавёрса — приоритетное направление для многих крупных компаний, таких как Epic Games. В статье мы рассмотрим, на каком этапе развития он находится, и какие задачи стоят перед разработчиками. А ещё представим обзор 3DCV алгоритмов и инструментов. Сейчас они уже широко применяются как для строительства Метавёрса, так и для решения более прикладных задач.

Из статьи вы узнаете:
- какие недостатки и преимущества NeRF
- почему учёные создали 3D Gaussian Splatting и зачем объединили его с NeRF
- какие бывают аватары людей и чем они отличаются
- какие инструменты позволяют использовать NeRF и 3D Gaussian Splatting в ваших проектах
- и какие актуальные задачи стоят перед 3DCV исследователями

Читайте статью по ссылке: https://deepschool-pro.notion.site/c181878b1532401a801fb995ab44d4f5

Диффузия на трансформерах

До недавнего времени самые популярные диффузионные модели имели архитектуру UNet (например, всеми любимый Stable Diffusion). В феврале 2024 года OpenAI написали про свою видео-диффузию SORA, а затем и Stability анонсировали StableDiffusion3, где основной архитектурой уже выступил трансформер. Оказывается, это совсем не первый случай работы диффузионной модели на трансформере.

В нашем обзоре мы:
- вспомним, что такое Vision Transformer
- разберём несколько статей, где применили эту архитектуру для диффузионной генерации
- рассмотрим результаты улучшения качества генерации с помощью такого подхода

Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/187d749559ae4717a13f0cc8c708ced2?pvs=4

Подборка статей 3DCV от DeepSchool

Собрали коллекцию постов по теме 3D Computer Vision, опубликованных в нашем канале. Теперь в них проще ориентироваться и перечитывать интересующие 🔥

Основы
🔹 Знакомство с 3D CV: обзор основных задач и способов их решения.
🔹 Геометрия формирования изображения: обсуждение модели камеры и матриц, нужных для превращения 3D-объекта в изображение.
🔹 Калибровка камеры: анализ краеугольного камня всего CV, который играет важную роль в 3D-задачах.

Научные статьи
🔹 SIGGRAPH: обзор интересных статей по случаю самой известной конференции по 3D.
🔹 NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis: обсуждение возможности изменять освещение сцены в NeRF-представлениях.
🔹 3D Gaussian Splatting: Revolutionizing Real-Time Radiance Filed Rendering: разбор недавно нашумевшего Gaussian Splatting’а.

LiDAR
🔹 Виды представления лидарных данных. Часть 1: анализ работы лидара и видов данных, в которых мы можем их представлять.
🔹 Виды представления лидарных данных. Часть 2: разбор трансформации данных в многоканальные изображения и Bag-of-Points представление.
🔹 Виды представления лидарных данных. Часть 3: обзор представления в виде вокселей.

Решаемые задачи
🔹 Сегментация поверхности земли: туториал по тому, как определять плоскость земли с помощью лидарных данных (чтобы уверенно стоять на ногах в области 3D 😉).
🔹 Как применяют CV в сейсморазведке: изучение 3D не только вдаль, но и вглубь.
🔹 Особенности 3D медецинских данных: обзор задачи анализа 3D-данных в медицине.
🔹 Прекрасное далёко. Где мы на пути к Метавёрсу: обсуждение вызовов, которые стоят перед инженерами 3D CV при строительстве Метавёрса.

Адаптация SAM под 3D медицинские данные

В компьютерном зрении уже давно активно используются трансформеры, такие как Segment Anything Model. Однако при работе с 3D медицинскими данными применение обученного на 2D изображениях SAM не всегда эффективно.

В статье вы узнаете:
- Как с помощью low-rank адаптации настроить SAM для работы с медицинскими снимками
- Как заставить SAM учитывать связи между срезами 3D изображений
- Где найти таймлайн статей по SAM в медицине

Читайте статью по ссылке: https://www.notion.so/deepschool-pro/SAM-3D-f21f005dcd734b35a8ac80303c82a483?pvs=4

Лекция "Погружение в 3D CV"

Если вы тоже стали чаще замечать термины, задачи и инструменты из мира 3D, вам интересно узнать, что они значат и что происходит в индустрии, приходите на открытую лекцию "Погружение в 3D CV".

На лекции вы узнаете:
- какие задачи решают в 3D
- почему таких задач становится больше
- с чего начать погружение в эту область
- почему CV-инженеру важно знакомиться с 3D
- что такое SLAM, SfM, SMPL, NeRF, 3D Gaussian Splatting и другие баззворды🐝

А также мы представим программу курса "3D Computer Vision" и подарим скидки участникам🎁

📌 Лекция пройдет в четверг, 25 апреля, 18:00 МСК

💡 Всем, кто зарегистрируется на встречу, мы отправим miro-схему с описанием направлений и инструментов в 3D — поможет быстро сориентироваться и погрузиться.

Регистрируйтесь по ссылке!

Под Капотом. Игорь Ильин. Про будущее, карьеру и нетворкинг. Часть 2/2

Встречайте вторую часть подкаста с Игорем Ильиным! Игорь — Senior SLAM разработчика в Kudan io и спикер курса 3D CV от DeepSchool. В первой части мы говорили про технологии: 3D, лидары, SLAM. А сейчас больше углубились в карьеру, нетворкинг и немного пофантазировали о том, когда появятся разные технологии. А именно:

— Попробовали предсказать, когда появятся андроиды
— Обсудили, как совмещать работу, учёбу, преподавание и личную жизнь (да-да и всё сразу)
— Что могут спросить на собеседовании по SLAM
— Хватает ли онлайна для нетворкинга

Смотрите выпуск по ссылке: https://youtu.be/7G3SffDyK4Q

Ответ на вопрос с собеседования 💼

❶ Матрица весов для B:

    [1, 0, 0, 0, 1],

вместе с паддингом (0, 2) свертка дает желаемую картинку. Ещё можно использовать свертку 5х5, заполнив все строчки нулями, кроме центральной.

❷ Матрица весов для D:

    [[1, 0, 0, 0, 1],
    [0, 0, 0, 0, 0],
    [0, 0, 0, 0, 0],
    [0, 0, 0, 0, 0],
    [1, 0, 0, 0, 1]]

❸ Изображение C оказалось самым сложным. Тут мы добавили небольшой секрет 🤫 Его можно получить из D применением следующей свертки:

weight = torch.tensor([
    [1, 0, 1],
    [0, 0, 0],
    [1, 0, 1],
], dtype=torch.float32)[None, None, ...]
result = torch.nn.functional.conv2d(image_d, weight, padding=3, dilation=3)

Изображения B и D легко поддались и вы нашли правильные ответы быстрее, чем за час! Изображение C было тяжелее, но зато получило самое необычное решение.

Итак, победители, к которым отправляются пиццы:
🍕 @Storks89 — первым нашел решение для изображения B
🍕 @science_boy — первым нашел решение для изображения D
🍕 @vdjakov — 2 пиццы за правильное решение для изображения С и за интересный подход с использованием СЛАУ для подбора весов свёрточного слоя!

Введение в генеративный Computer Vision

Зрение — естественный, но крайне сложный процесс для человека. Мы не просто наблюдаем за каким-то объектом, мы смотрим на него сквозь призму наших знаний. Как научить компьютер воспринимать наш мир также? Один из способов — обучить его генеративному компьютерному зрению.

В статье рассказали:
- почему генеративный СV — один из путей к тому, чтобы компьютер понимал окружающий мир так же, как человек
- как генеративный Computer Vision применяется в разных областях
- какие задачи предстоит решить DL-инженерам и как в этом помогут генеративные модели

Читайте статью по ссылке: https://deepschool-pro.notion.site/Computer-Vision-452ba8f085e6477aa17123848e28b1f3