Почему логотип канала розовый или история одного пивота

Привет! Меня зовут Тимур, я один из основателей DeepSchool. Сегодня для нас знаменательное событие — мы сменим лого тг-канала🤩 Но перед этим расскажу, как вообще оно появилось :)

Учась в университете, я преподавал ML и DL в Технопарке Академгородка и в лицее рядом с универом. Уже тогда 8-классники учили RL, чтобы сажать квадрокоптеры на ML-олимпиадах 😵 а скоро они выпускаются из универов, и я даже не представляю, что они умеют теперь💪

Спустя год ребята начали участвовать в олимпиадах, а спустя два — побеждать. И после нескольких призовых мест всё больше школ интересовались курсами по DL и меня пригласили преподавать сразу в 10+ школ

Вести очные занятия, разумеется, стало невозможно, да и повторять материал 10 раз — сомнительное удовольствие. Поэтому я перенёс программу в ютуб, а курс назвал DeepSchool и поставил милый розовый логотип

Затем, летом 2021 года, пока школьники отдыхали, появилось свободное время после работы и пришла идея создать курсы повышения квалификации уже не для школьников/студентов, а для практиков. Мне самому не хватало программы, на которой опытные ребята из сферы разложили бы все по полочкам в каждой задаче от краудсорсинга до деплоя сервисов. Хоть я уже 2 года как я перешел из «ресёрча» в «индустрию», у меня все равно оставалось миллион вопросов. Да и всегда появлялись новые)

В первой итерации мы провели интервью, собрали программу и запустили курс с 6 спикерами. Теперь спикеров 12, а недавно мы запустили 7-й поток! А история со школами завершилась требованиями очных занятий, которые я физически не мог вести, и в последствии появлением новых студентов-преподавателей, которые пришли на смену мне.

А логотип у канала, который подразумевался для школьников, так и остался…) Пора бы уже и сменить!🫡

Кстати, недавно мы сменили и дизайн нашего сайта. Забегайте посмотреть, поделитесь в комментариях, какой нравится больше, новый или старый)

Запускаем подкаст «Кухонная Академия»!
В нём обсуждаем технологии, статьи и быт людей, получающих PhD, в живом формате, прямо "на кухне". ☕️

Ведущие подкаста, спикеры нашего курса по 3D CV:
— Давид Свитов, PhD @ IIT, ex Samsung AI Center
— Оля Гребенькова, CS PhD student @ LMU Munich
— Артур Григорьев, PhD student — AIT lab @ ETH Zurich
— Дима Чудаков, CV инженер @ 2GIS

В первом выпуске ребята обсудили:
— общение с научными руководителями
— авторство в статьях
— что выйдет после SORA
— и когда ждать нейросети в играх

Смотрите выпуск по ссылке: https://youtu.be/eVaY8IAQBEA

Расскажите, как вам такой разговорный формат? Будем рады обратной связи по пилотному выпуску 🔥

🔥Начинаем через 2 часа

Вы ещё успеваете зарегистрироваться!

На лекции разберём:
1️⃣ какие задачи решают в 3D
2️⃣ почему таких задач становится больше
3️⃣ с чего начать погружение в эту область
4️⃣ почему CV-инженеру важно знакомиться с 3D
5️⃣ что такое SLAM, SfM, SMPL, NeRF, 3D Gaussian Splatting

И представим программу курса 3D CV.

Присоединяйтесь к лекции!

Как научиться решать 3D CV задачи

Вчера прошла открытая лекция «Погружение в 3D CV», на которой мы рассказали о терминах, инструментах и задачах 3D CV, обсудили, почему эта область становится популярнее и почему CV-инженеру важно с ней знакомиться.

Также представили обновлённый курс 3D Computer Vision!

3D CV — это программа, на которой вы научитесь решать 3D задачи: сегментировать лидарные облака, писать SLAM алгоритмы, строить 3D-модели объектов, создавать аватаров, синтезировать данные в Blender, обучать NeRF, 3D Gaussian Splatting и другое.

Кратко о курсе:
🔹все лекции проходят онлайн (записи выкладываем в тот же вечер)
🔹8 спикеров из индустрии и ресерча
🔹13 лекций, 12 заданий
🔹4 месяца поддержки в чате и на онлайн-семинарах

Если вы не планируете переходить в области AR/VR, self-driving, GameDev, геосервисы, медтех и другие направления с активным применением 3D, то освоите работу с новыми сенсорами, научитесь решать 2D задачи новыми способами и расширите знания в CV.

🎁 До 29 апреля вы можете присоединиться к сильной команде инженеров (и тут мы не только про спикеров, но и про студентов) со скидкой!
Старт потока 30 апреля.

Подробнее о программе, спикерах и скидках на сайте программы — присоединяйтесь к обучению!
До встречи на лекциях!🎓

💼 Рубрика «Вопрос с собеседования»

Очень короткий: подберите веса для одного или нескольких сверточных слоев так, чтобы из изображения А получить B, C или D.

⚠️Важно: обучать модель нельзя, такое решение мы не засчитаем.
Советуем: отключить баес и не использовать активации между свертками.

🍕Авторам верных ответов отправим пиццу! По одной на каждую картинку.
🍕И бонусом подарим пиццу за самое подробное и интересное рассуждение!

Итого можно выиграть 4 пиццы и не готовить 2 дня🤩

В комментариях напишите код или псевдокод для получения одной из заданных картинок.

Результаты подведем завтра вечером!

# Исходная картинка
img = torch.tensor([
    [0, 0, 0, 0, 0, 0],
    [0, 1, 1, 1, 1, 0],
    [0, 1, 2, 2, 1, 0],
    [0, 1, 2, 2, 1, 0],
    [0, 1, 1, 1, 1, 0],
    [0, 0, 0, 0, 0, 0],
])[None, None,...]

Основные термины и инструменты в Generative Computer Vision

Последние 2 года самая обсуждаемая и быстро развивающаяся тема в DL — генеративные модели. В CV это DALL-E, Midjourney, Stable Diffusion и прочие.

Но на волне хайпа многие забывают, что помимо генерации авокадо-кресел, генеративки используют для реконструкции и генерации снимков в медицине, восстановления невидимой части объектов в робототехнике, в онлайн-примерочных в фешн-индустрии, в рекламе, дизайне и других областях.

Мы тоже видим популярность и развитие генеративных моделей и хотим помочь вам разобраться в этом направлении. Поэтому вместе с инженерами и исследователями из области создаём курс Generative Computer Vision, а также готовим серию материалов.

Наша программа позволит вам разобраться в теории генеративных моделей и, разумеется, отточить все навыки на практике. Мы хотим учесть ваши пожелания и поэтому предлагаем поучаствовать в небольшом опросе.

Если вам интересно направление Генеративного Computer Vision, заполните, пожалуйста, короткую форму. Это займёт 3-5 минут.
Вы можете пройти опрос вне зависимости от вашего грейда или направления в DL, нам важно мнение каждого, кому интересна область Gen CV.
Для всех заполнивших мы подготовили zoom-лекцию по основным терминам и инструментам в Gen CV, на которой ответим на ваши вопросы и подарим скидки на обучение!🎓

Переходите по ссылке и заполняйте анкету.

Задачка по генеративному CV

У вас есть обученный свёрточный декодер, генерирующий текстурные изображения на основе вектора случайного шума. Архитектура декодера состоит из свёрточных слоев и upsample блоков. Все свёрточные слои имеют стандартные параметры: kernel 3х3, padding 1 и stride 1.

Необходимо внести изменения в уже обученный декодер, чтобы генерировать бесшовные текстурные изображения, которые можно периодически замостить на бесконечной плоскости без видимых стыков.

На рисунке ниже изображены два варианта генерации текстур в виде железных труб. В первом варианте декодер без изменений генерирует текстуру, которая мостит бесконечную плоскость со стыками. Во втором — декодер с изменением генерирует текстуру, которая мостит без видимых стыков.

Ваша задача — предложить модификацию операции свёртки, которая позволит декодеру генерировать бесшовные текстурные изображения.
Пишите свои варианты в комментариях, а правильный ответ мы расскажем через несколько дней.

Автору первого правильного решения мы подарим пиццу 🍕

Ждём ваши варианты в комментариях!👇

Решение задачки по генеративному CV ✌️

Спасибо, что поучаствовали в нашем интерактиве! Пришло время подвести итоги.

Решение задачи:
Если сделать паддинг в свёртке циклическим по двум осям, то ядро свертки достигая границ как бы «оборачивается» вокруг тензора с другой стороны. Это позволяет обрабатывать элементы на границах так же, как и внутренние элементы, обеспечивая бесшовную периодическую текстуру.
Прикладываем картинку, иллюстрирующую циклический паддинг.

Победители, к которым отправляются пиццы:
🍕@cypic — за первый правильный ответ
🍕@MalchuL — за ещё один правильный ответ, о котором мы даже не подозревали!

Оказывается, если рассматривать двухмерный шум, можно задать все паддинги в свёртках нулевыми, а сам шум на входе дополнить циклическим паддингом. При этом, нужно учесть совпадения всех шейпов внутри сети при пробрасывании residual и skip connections — сделать это можно центрированным кропом.

Подкаст «Под капотом». Generative CV ✌️

В подкасте мы говорим с экспертами из различных областей, чтобы понять, как работают сложные системы изнутри. В этом выпуске мы поговорили с Кирамом Аль-Харба, Research-инженером в области GenCV.

В выпуске обсудили:
- что такое генеративный CV, чем он отличается от «обычного» и где применяется
- какие проблемы есть у GAN'ов, а какие у диффузионок. Почему последние выстрелили
- есть ли в GenCV хорошие метрики или нужно на глаз ловить чекпоинты
- какое будущее нас ждёт и как защищаться от дипфейков
- что классного можно запустить у себя из open source

Смотрите подкаст на youtube!