Как научиться решать 3D CV задачи

Вчера прошла открытая лекция «Погружение в 3D CV», на которой мы рассказали о терминах, инструментах и задачах 3D CV, обсудили, почему эта область становится популярнее и почему CV-инженеру важно с ней знакомиться.

Также представили обновлённый курс 3D Computer Vision!

3D CV — это программа, на которой вы научитесь решать 3D задачи: сегментировать лидарные облака, писать SLAM алгоритмы, строить 3D-модели объектов, создавать аватаров, синтезировать данные в Blender, обучать NeRF, 3D Gaussian Splatting и другое.

Кратко о курсе:
🔹все лекции проходят онлайн (записи выкладываем в тот же вечер)
🔹8 спикеров из индустрии и ресерча
🔹13 лекций, 12 заданий
🔹4 месяца поддержки в чате и на онлайн-семинарах

Если вы не планируете переходить в области AR/VR, self-driving, GameDev, геосервисы, медтех и другие направления с активным применением 3D, то освоите работу с новыми сенсорами, научитесь решать 2D задачи новыми способами и расширите знания в CV.

🎁 До 29 апреля вы можете присоединиться к сильной команде инженеров (и тут мы не только про спикеров, но и про студентов) со скидкой!
Старт потока 30 апреля.

Подробнее о программе, спикерах и скидках на сайте программы — присоединяйтесь к обучению!
До встречи на лекциях!🎓

💼 Рубрика «Вопрос с собеседования»

Очень короткий: подберите веса для одного или нескольких сверточных слоев так, чтобы из изображения А получить B, C или D.

⚠️Важно: обучать модель нельзя, такое решение мы не засчитаем.
Советуем: отключить баес и не использовать активации между свертками.

🍕Авторам верных ответов отправим пиццу! По одной на каждую картинку.
🍕И бонусом подарим пиццу за самое подробное и интересное рассуждение!

Итого можно выиграть 4 пиццы и не готовить 2 дня🤩

В комментариях напишите код или псевдокод для получения одной из заданных картинок.

Результаты подведем завтра вечером!

# Исходная картинка
img = torch.tensor([
    [0, 0, 0, 0, 0, 0],
    [0, 1, 1, 1, 1, 0],
    [0, 1, 2, 2, 1, 0],
    [0, 1, 2, 2, 1, 0],
    [0, 1, 1, 1, 1, 0],
    [0, 0, 0, 0, 0, 0],
])[None, None,...]

Основные термины и инструменты в Generative Computer Vision

Последние 2 года самая обсуждаемая и быстро развивающаяся тема в DL — генеративные модели. В CV это DALL-E, Midjourney, Stable Diffusion и прочие.

Но на волне хайпа многие забывают, что помимо генерации авокадо-кресел, генеративки используют для реконструкции и генерации снимков в медицине, восстановления невидимой части объектов в робототехнике, в онлайн-примерочных в фешн-индустрии, в рекламе, дизайне и других областях.

Мы тоже видим популярность и развитие генеративных моделей и хотим помочь вам разобраться в этом направлении. Поэтому вместе с инженерами и исследователями из области создаём курс Generative Computer Vision, а также готовим серию материалов.

Наша программа позволит вам разобраться в теории генеративных моделей и, разумеется, отточить все навыки на практике. Мы хотим учесть ваши пожелания и поэтому предлагаем поучаствовать в небольшом опросе.

Если вам интересно направление Генеративного Computer Vision, заполните, пожалуйста, короткую форму. Это займёт 3-5 минут.
Вы можете пройти опрос вне зависимости от вашего грейда или направления в DL, нам важно мнение каждого, кому интересна область Gen CV.
Для всех заполнивших мы подготовили zoom-лекцию по основным терминам и инструментам в Gen CV, на которой ответим на ваши вопросы и подарим скидки на обучение!🎓

Переходите по ссылке и заполняйте анкету.

Задачка по генеративному CV

У вас есть обученный свёрточный декодер, генерирующий текстурные изображения на основе вектора случайного шума. Архитектура декодера состоит из свёрточных слоев и upsample блоков. Все свёрточные слои имеют стандартные параметры: kernel 3х3, padding 1 и stride 1.

Необходимо внести изменения в уже обученный декодер, чтобы генерировать бесшовные текстурные изображения, которые можно периодически замостить на бесконечной плоскости без видимых стыков.

На рисунке ниже изображены два варианта генерации текстур в виде железных труб. В первом варианте декодер без изменений генерирует текстуру, которая мостит бесконечную плоскость со стыками. Во втором — декодер с изменением генерирует текстуру, которая мостит без видимых стыков.

Ваша задача — предложить модификацию операции свёртки, которая позволит декодеру генерировать бесшовные текстурные изображения.
Пишите свои варианты в комментариях, а правильный ответ мы расскажем через несколько дней.

Автору первого правильного решения мы подарим пиццу 🍕

Ждём ваши варианты в комментариях!👇

Решение задачки по генеративному CV ✌️

Спасибо, что поучаствовали в нашем интерактиве! Пришло время подвести итоги.

Решение задачи:
Если сделать паддинг в свёртке циклическим по двум осям, то ядро свертки достигая границ как бы «оборачивается» вокруг тензора с другой стороны. Это позволяет обрабатывать элементы на границах так же, как и внутренние элементы, обеспечивая бесшовную периодическую текстуру.
Прикладываем картинку, иллюстрирующую циклический паддинг.

Победители, к которым отправляются пиццы:
🍕@cypic — за первый правильный ответ
🍕@MalchuL — за ещё один правильный ответ, о котором мы даже не подозревали!

Оказывается, если рассматривать двухмерный шум, можно задать все паддинги в свёртках нулевыми, а сам шум на входе дополнить циклическим паддингом. При этом, нужно учесть совпадения всех шейпов внутри сети при пробрасывании residual и skip connections — сделать это можно центрированным кропом.

Подкаст «Под капотом». Generative CV ✌️

В подкасте мы говорим с экспертами из различных областей, чтобы понять, как работают сложные системы изнутри. В этом выпуске мы поговорили с Кирамом Аль-Харба, Research-инженером в области GenCV.

В выпуске обсудили:
- что такое генеративный CV, чем он отличается от «обычного» и где применяется
- какие проблемы есть у GAN'ов, а какие у диффузионок. Почему последние выстрелили
- есть ли в GenCV хорошие метрики или нужно на глаз ловить чекпоинты
- какое будущее нас ждёт и как защищаться от дипфейков
- что классного можно запустить у себя из open source

Смотрите подкаст на youtube!

🔥Начинаем через 2 часа

Успевайте зарегистрироваться!

На лекции разберём:
1️⃣ почему генеративные модели стали так популярны
2️⃣ какие задачи решают в Generative CV и какие там есть направления
3️⃣ с чего начать погружение в эту область
4️⃣ почему CV-инженеру важно знакомиться с GenCV
5️⃣ как связаны друг с другом диффузионные модели, вариационные автоэнкодеры и генеративно-состязательные сети

И представим программу курса GenCV!

Присоединяйтесь к лекции!

Последняя возможность присоединиться к курсу GenCV со скидкой

Завтра, 6 июня, пройдёт первая лекция, на которой мы начнём изучать VAE.
А сегодня вы ещё успеваете присоединиться к обучению со скидкой до 15%!

На курсе вы научитесь:
🔹решать различные генеративные задачи: Super-Resolution, Text2Image, Image inpainting, Virtual try-on
🔹решать более комплексные задачи: генерацию видео и виртуальную примерку
🔹обучать и тюнить собственные модели
🔹работать со Stable Diffusion и экосистемой вокруг
🔹а также разберётесь в теории генеративных моделей и SOTA решениях

Ждём вас на курсе, если вы хотите освоить теорию генеративных моделей и их обучение на практике!

Обучаясь у нас, вы попадаете в сообщество практикующих инженеров и исследователей, где всегда можно спросить совет и перенять опыт🎓

Переходите на сайт, выбирайте подходящий тариф и присоединяйтесь к обучению

До встречи на лекциях!

Edge Inference. Лекция

Мы завершили первый поток «Ускорения нейросетей»! 🥳 Уже завтра пройдёт выпускной, на которым мы подведём итоги обучения и ребята получат сертификаты об успешном прохождении курса.

Хотим поделиться с вами одной из лекцией курса: Edge Inference. Её провёл Антон Мальцев, автор блога «Заметки Computer Vision Инженера».

На лекции вы:
- узнаете, что в «ландшафте» производителей одноплатников
- посмотрите на общую схему запуска микрокомпьютеров
- разберёте проблемные слои, которые не заработают на вашем микрокомпьютере

Смотрите лекцию по ссылке в следующем посте👇

Мы планируем новый поток курса «Ускорение нейросетей» этим летом, а уже сейчас вы можете записаться в лист ожидания. Так вы забронируете место на курсе, получите самую большую скидку, и мы заранее сообщим о старте обучения.