«Релиз на салфетке». Спасаемся от самокатов при помощи CV 🛴

В этом формате мы собираемся командой инженеров, выбираем забавную задачу, брейнштормим, строим велосипеды и космолёты 🚀

Как будто решаем продуктовую задачу, но без сроков, рамок и коммитментов. А от того веселее 😉

В этом выпуске мы спасались от самокатчиков, которые врезаются в прохожих. Начали с советов «да приклей зеркала и ходи-посматривай», а закончили ключевыми точками, трекерами и foundation-моделями.

Смотрите выпуск на YouTube!

Лекция-погружение в 3D CV

На прошлой неделе мы проводили мастер-класс, на котором учили беспилотную машину видеть. Если вы его пропустили или хотите подробнее познакомиться с областью 3D CV, то приходите на открытую лекцию в эту субботу, на которой познакомим вас с основными терминами, задачами и инструментами.

На лекции вы узнаете:
- какие задачи решают в 3D
- почему таких задач становится больше
- с чего начать погружение в эту область
- почему CV-инженеру важно знакомиться с 3D
- что такое SLAM, SfM, SMPL, NeRF, 3D Gaussian Splatting и другие баззворды🐝

Также мы расскажем, как присоединиться к последнему онлайн-потоку курса 3D Computer Vision🔥
А всем участникам лекции подарим скидки на обучение!

🗓 28 сентября, суббота, 13:00 МСК.

🎁 После регистрации вы получите miro-схему с описанием направлений и инструментов в 3D.

Регистрируйтесь по ссылке — увидимся в субботу!

Начинаем через 1,5 часа

Успевайте зарегистрироваться!

На лекции обсудим:
1️⃣какие задачи решают в 3D
2️⃣почему таких задач становится больше
3️⃣с чего начать погружение в эту область
4️⃣почему CV-инженеру важно знакомиться с 3D
5️⃣что такое SLAM, SfM, SMPL, NeRF, 3D Gaussian Splatting и другие баззворды🐝

Расскажем, как присоединиться к последнему онлайн-потоку курса 3D Computer Vision и подарим скидки на обучение!🔥

Регистрируйтесь на лекцию!

Научитесь решать задачи компьютерного зрения в 3D

В субботу прошла открытая лекция «Погружение в 3D CV», на которой мы рассказали о терминах, инструментах и задачах в этой области, обсудили, почему она становится популярнее и почему CV-инженеру важно с ней знакомиться.

А также представили курс 3D Computer Vision!

На курсе вы на практике научитесь:
— сегментировать лидарные облака
— писать SLAM-алгоритмы
— строить 3D-модели объектов
— создавать аватаров
— синтезировать данные в Blender
— обучать NeRF, 3D Gaussian Splatting
и другое

🔥 Это будет последний поток в формате онлайн-лекций в Zoom, где вы можете задавать вопросы спикерам по ходу лекции и общаться в конце в кулуарах.

Лекторы — опытные инженеры и исследователи. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах или лабораториях.

После каждой лекции — домашнее задание, которое проверяют спикеры курса.

🎁 До 4 октября вы можете записаться со скидкой 5%.

🗓 Начинаем 8 октября!

Переходите на сайт, изучайте подробности, выбирайте подходящий тариф и присоединяйтесь к обучению.
До встречи на курсе!

Введение в OCR. Часть 1

Ранее мы писали про CLIP4STR — SOTА-модель в OCR на основе трансформера. А сейчас решили сделать цикл публикаций об OCR, потому что задача обширная и популярная 🙂

OCR состоит из нескольких задач: найти текст ➡️ распознать текст ➡️ извлечь информацию. Последний пункт помогает, например, найти отправителя и получателя платежа или общую сумму в чеке.

Для каждого из этапов есть свои модели. Но с появлением мультимодальных трансформеров можно решать все этапы End-to-End!

В новой статье мы рассмотрим:
- основные этапы решения OCR
- ключевые SOTA-модели для каждого этапа
- развитие подходов в OCR
- и, конечно, современные бенчмарки / модели / фреймворки

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/OCR-1-25c5e5c9f928486a80cb67020de270af?pvs=4

🎞 Гессиан. Видео

Методы второго порядка используют вторые производные функции потерь. Важный элемент этих методов — гессиан. Он и является второй производной по параметрам модели.

Главная проблема гессиана — его долго считать. Учёные придумали различные методы для его аппроксимации, чтобы экономить вычисления. А недавно появились и алгоритмы оптимизации, которые используют эти аппроксимации.

О методах второго порядка мы и записали наше новое видео!

В нём Шамиль Мамедов, исследователь из Amazon Robotics, напоминает теорию численной оптимизации и рассказывает про методы приближения гессиана. А также проходится по Sophia — свежему оптимизатору, который использует методы второго порядка.

Смотрите новое видео на Youtube!

🎞 Pytest и внешние ресурсы

Написать тест на простую функцию, которая ни от чего не зависит — одно удовольствие. Говорим, какие входы, какие выходы ... profit.

Но как быть, если вы хотите протестировать функционал, который зависит от внешних сервисов? Ходить в production-базу во время тестов — так себе затея 😉

Для этого нам нужно либо в нужных местах мо́кать/манкипатчить, либо подменять внешние зависимости на что-то, что мы развернули локально для тестов. В этом видео мы начнём с «лёгких и быстрых», но далёких от реального поведения методов тестирования. А закончим «тяжёлыми, но близкими»:

- mock/monkeypatch
- pytest-httpserver
- pytest-docker-compose

Смотрите видео по ссылке: https://youtu.be/zCyQHZNOVCU?si=py7bNxI18ugU74_5

Всё ещё учите модели в Jupyter-тетрадках? Тогда вы рискуете отстать от индустрии!

Лет 7-8 назад при онбординге в новый проект могла возникнуть такая ситуация: новичка отводили к «хранителю» юпитер-ноутбука. Они вместе смотрели на ячейки и передавали сакральные знания о том, в каком порядке их нужно нажимать. Хороших разработческих практик от ML-специалистов тогда не требовали. Им было бы не помереть от дебага первого tensorflow:)

Но сейчас фреймворки стали очень высокоуровневыми и простыми в использовании, а запустить обучение сети на своих данных может быть задачей нескольких минут-часа. Для многих задач есть стандартные подходы/модели, и обучение — это самая простая часть при построении ML-решения. Помимо этого нужно ещё собирать чистые данные, доводить решение с ML-моделью до клиентов и следить за тем, как она чувствует себя на бою.
ML-специалисты всё больше становятся похожи на разработчиков: они версионируют код (и данные), следят за его поддерживаемостью, пишут тесты, автоматизируют процессы через CI/CD, следят за воспроизводимостью экспериментов и т.д.

От «магии» в ноутбуках мы приходим к инженерным практикам, которые делают решения более надёжными и поддерживаемыми, а релизы — более частыми. Работодателям это нравится, а людей, делающих простой fit-predict, они уже не хотят:)

Чтобы помогать инженерам не отставать от индустрии, мы когда-то и создали нашу школу. В первую очередь мы подтягивали именно инженерные навыки, в курсе CVRocket. А сейчас мы сделали новый курс по разработке DL-сервисов и скоро его анонсируем!

Также на следующей неделе мы проведём открытую лекцию про путь модели после обучения.
Ставьте 🔥, если актуально!

Что происходит с моделью после обучения

В прошлом посте мы говорили, что DL-инженеру недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно перенимать инженерные практики. Даже в репозитории с моделингом должна быть понятная структура, соблюдён codestyle, присутствовать тесты и различные проверки перед коммитом.

Но это лишь начало, базовая гигиена. А дальше полезно понимать процесс доставки своих моделей до пользователей. Чтобы вас познакомить с этим, мы подготовили открытую лекцию, на которой покажем, как выглядит путь модели после обучения!

На лекции вы узнаете:
- когда стоит использовать Jupyter-ноутбуки, а когда нет
- как подготовить репозиторий моделинга
- варианты конвертации модели
- как обернуть инференс в http-приложение
- как деплоят приложения и автоматизируют этот процесс

А также мы анонсируем новый курс, на котором вы научитесь создавать и деплоить DL-сервисы!
Всем участникам лекции подарим скидки на обучение! 🔥

🙋‍♂️Спикеры лекции:
— Дмитрий Раков — руководитель ML в НИИАС, делает percpetion-алгоритмы для беспилотных поездов
— Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer KoronaPay

⏰Дата и время: 31 октября, чт, 19:00 мск

Регистрируйтесь по ссылке!

🔥Начинаем через 2 часа

Успевайте зарегистрироваться!

Обсудим:
1️⃣ когда стоит использовать Jupyter-ноутбуки, а когда нет
2️⃣ как подготовить репозиторий моделинга
3️⃣ варианты конвертации модели
4️⃣ как обернуть инференс в http-приложение
5️⃣ как деплоят приложения и автоматизируют этот процесс

А также мы анонсируем новый курс Деплой DL-сервисов и подарим скидки на обучение!🎉

Присоединяйтесь к лекции!

Запускаем новый курс — Деплой DL-сервисов🎉

Вчера на лекции мы впервые представили нашу новую программу по разработке для DL-инженеров!

В рамках курса вы научитесь:
🔹быстро и поддерживаемо учить модели
🔹создавать веб-сервисы
🔹готовить модели к инференсу
🔹сервить модели
🔹проверять качество кода при помощи тестов и линтеров
🔹автоматизировать рутину в CI
🔹мониторить ваши решения

Обучение подойдёт для инженеров из CV и NLP, а также ML-инженерам, кто хочет перейти в DL.

После каждой лекции вы выполните домашнее задание, чтобы закрепить знания на практике. А в конце создадите проект, который можно с гордостью показать коллегам и добавить в портфолио.

Весь путь вы пройдёте при поддержке спикеров: опытные инженеры будут ревьюить ваш код, отвечать на вопросы во время онлайн-лекций, на семинарах и в чате.

Обучение начинается 9 ноября и длится 4 месяца🚀

Присоединяйтесь к обучению со скидкой до 7 ноября!
Подробнее о программе и спикерах читайте на сайте.

Если возникают вопросы или трудности, то пишите нам в поддержку в Телеграм!

Мок-собеседование в группах 🔥

Самый эффективный вариант подготовки к собеседованиям — ходить на собеседования.
Но вдвойне круто, когда и собеседование прошёл, и «попытка» не сгорела.

Поэтому мы решили провести открытое мок-собеседование в групповом формате!🔥 Чтобы вы могли поучаствовать в интервью, получить фидбек и набраться опыта от ведущего и участников.

Коротко о формате:
🔹 Ведущий рассказывает условие задачи
🔹 Участники бьются на группы и расходятся в разные комнаты на полчаса
🔹 Решают задачу в группах, обмениваются опытом
🔹 Группы собираются вместе и питчат решения

Начнём с задачи по CV, а ведущим будет Андрей Шадриков, RnD lead в verigram.ai 🔥

Собеседование пройдёт завтра, во вторник, 5 ноября в 18:00 МСК!

Если вы хотите поучаствовать в собеседовании, заполните форму: https://forms.gle/ePdf3fT9FX7beXiy7

Если вы пока не готовы участвовать, приходите на собеседование как зритель! Ссылку на встречу отправим завтра в канале.

Записи не будет, ждём вас онлайн!

Закрываем лист ожидания на LLM

Уже в этом месяце начинается 2-й поток нашего курса Large Language Models.
На нём вы узнаете, как обучать, деплоить и ускорять большие языковые модели.

Мы обновили лекции и уже на этой неделе проведём закрытую презентацию программы для участников листа ожидания!
Если планировали попасть на программу — записывайтесь в лист ожидания. Мы закроем к нему доступ 9 ноября в 12:00 МСК.

Места на курс ограничены, поэтому запишитесь, чтобы успеть первыми и получить самые выгодные условия 🔥

Как сделать предсказание моделью?

Жмёшь model.predict(sample) и радуешься жизни :)

Но это если самому локально поиграться. А если хочется предсказать не «для себя», а встроить модель в приложение и сделать её частью бизнес-логики? Пусть для простоты наше приложение — API.
Первый вариант, который приходит в голову, — написать что-то такое:

@router.post('/predict/')
async def predict(user_request):
    # some business logic before predict (p1)
    predict = model.predict(sample)
    # some business logic after predict (p2)
    return result

Но будет плохо, если придёт много пользователей одновременно. Мы начнём предсказывать для одного, а все остальные встанут в очередь, которая будет расти. Причём если в (p1) делается io-операция «авторизоваться» или «скачать картинку», то она не будет выполняться для нового пользователя, пока мы не предскажем для старого (если это однопоточный event-loop). Хотя могли бы и не ждать :) Поэтому плохо мешать асинхронную логику для «типичных» io-операций и тяжёлое предсказание моделью.

А ещё наша модель сейчас может предсказывать семплы по одному, но ведь батчами было бы эффективнее! Их можно копить, например, через очередь. Мы кладём в неё семплы, и если накопился батч нужного размера / подождали батч дольше определённого времени — вызываем модель.

Сказать про эту концепцию — легко, а вот написать это всё эффективно — задача со звёздочкой 😉 Хорошо, что существуют инференс-сервера (например, Nvidia Triton или TorchServe), в которых толпа умных инженеров всё сделала за нас:)
Мы можем поднять такой инференс-сервер с моделью и обращаться к ней по HTTP/gRPC примерно таким образом:

@router.post('/predict/')
async def predict(user_request):
    # some business logic before predict (p1)
    predict = await inference_server_client.predict(sample)
    # some business logic after predict (p2)
    return result

Сейчас в нашем приложении операция предсказания стала типичной «лёгкой» io-операцией, которая ещё и не блокирует основной поток! Теперь пока первый пользователь ждёт предикт, второй может его не ждать и авторизоваться 😏 Плюс у нас появился батчинг! И возможность независимо масштабировать само приложение и сервинг.

Итак, мы рассмотрели одну проблему и вариант её решения, если вы хотите сделать продукт с DL-составляющей. Но на деле их тысяча и одна :)

Чтобы показать, как их решать, мы создали курс Деплой DL-сервисов, на котором вы научитесь быстро и поддерживаемо учить модели, создавать веб-сервисы и мониторить ваши решения.

Уже завтра, 9 ноября, в 12:00 МСК пройдёт вводная лекция. Вы ещё успеваете присоединиться! Переходите по ссылке и записывайтесь на курс🎓