Optical Context Compression: DeepSeek-OCR & DeepSeek-OCR2

От размера контекстного окна LLM зависит качество работы модели на больших документах. С его ростом увеличивается и потребление памяти, и вычислительных ресурсов. Поэтому сжатие контекстного окна — важная задача.

В статье разбираем подход оптического сжатия контекста LLM на примере архитектур DeepSeek-OCR и DeepSeek-OCR2 🐋.

Читайте новую статью по ссылке!

🪔 DeepSchool

Инференс-сервер своими руками: воркшоп по BentoML

Обучить модель — это половина работы. Дальше встаёт вопрос: как её отдать? Как backend-команда будет к ней обращаться? Лезть в чужие репозитории и встраиваться в их инфраструктуру — не всегда вариант.

Мы подготовили воркшоп, на котором покажем, как упаковать модель в BentoML, поднять инференс-сервер и организовать к нему доступ.

На воркшопе разберём:
— как передать готовую модель без погружения в репозитории backend-команды
— как упаковать модель с помощью BentoML и поднять инференс-сервер
— как обращаться к модели из внешнего кода
— когда BentoML не подходит и что использовать вместо него

Воркшоп — это когда вы сначала слушаете, а потом сразу делаете. Анастасия Старобыховская, руководитель лаборатории «Искусство и ИИ» в ЕУСПб, сначала расскажет теоретическую часть, а потом разобьёт участников на небольшие группы для самостоятельной работы, будет подключаться к каждой и помогать с затыками.

У вас будет возможность упаковать модель самостоятельно в режиме реального времени!

И в конце вместе обсудим решение и типичные ошибки.
А также всем участникам подарим скидки на курс CV Rocket! 🎁

Чтобы не терять времени на воркшопе, установите docker/python/свою любимую IDE, если ещё нет

📅 Встречаемся в четверг, 12 марта в 19:00 МСК!

Регистрируйтесь по ссылке и до встречи на воркшопе!

Токенизация и эмбеддинги в NLP: что спрашивают на собеседованиях

Ранее мы разобрали популярные вопросы про attention и трансформеры с NLP-собеседований, а сегодня расскажем, что происходит с текстом до модели — обсудим токенизацию и построение эмбеддингов.

Формат новой статьи тот же: вопросы с собеседований разбиты на модули, а ответы спрятаны под спойлерами. Cначала попробуйте ответить сами, а потом загляните в разбор и примеры 😉

Читайте новую статью по ссылке!

Автор: Алексей Яндутов

🪔 DeepSchool

Уже профессионально работаете с LLM? Соберите полноценные LLM-системы с учётом требований к качеству и нагрузке, разберите сложные кейсы и дизайны NLP-решений у нас на курсе LLM Pro.
Старт — 26 марта.
Читайте подробнее на сайте и присоединяйтесь к обучению ⚡️

Flash Attention-2

FlashAttention-2 — реализация алгоритма attention, которая значительно ускоряет вычисления в сравнении с первой версией и работает заметно быстрее стандартной реализации в PyTorch. В статье простыми словами разбираем, за счёт чего это происходит 👨🏼‍💻

Из нового материала вы узнаете:
- какие проблемы были у FlashAttention-1
- как удалось лучше загрузить GPU
- что изменилось в распределении вычислений
- и какую роль играет параллельный softmax

Читайте статью по ссылке! 👈🏼

Про ускорение LLM, дообучение и их деплой рассказываем на курсе LLM. Запишитесь в лист ожидания, чтобы первыми занять место и получить скидки до 20% 🔥

Автор: Антон Наумов

🪔 DeepSchool

Love, 3DCV & Robots

В этот четверг мы проведём воркшоп по использованию трёхмерных данных в CV-системах. На нём вы узнаете, как гуманоидные роботы собирают и обрабатывают 3D-информацию и что роднит их с аппаратом МРТ. Мы разберём, из каких этапов состоит пайплайн обработки 3D-данных и какие применения он находит в частных задачах.

Вы узнаете:
• как и откуда получать 3D-данные
• как их правильно выравнивать и предобрабатывать
• как работать с библиотекой Open3D
• какие 3D DL-модели существуют и для каких представлений данных они подходят
• как оценивать полученный результат
• в каких практических задачах применяется 3D и как именно

Во второй части воркшопа вы самостоятельно построите ключевые элементы пайплайна 3D-зрения для ориентации робота в комнате. Мы разделим вас на группы по 2-3 человека, и вы реализуете агрегацию и фильтрацию 3D-данных для построения модели комнаты, обработку данных нейросетью и извлечение информации для навигации робота. У вас будет эмулятор робота в пространстве, к которому вы допишете фрагменты обработки 3D-сцены.

Чтобы не терять времени на воркшопе, заранее установите Conda и настройте среду, используя этот environment.yml, с помощью команды: conda env create -f environment.yml

🙋‍♂️Спикер воркшопа — Давид Свитов, к.т.н., IIT, ex Researcher Samsung AI Center. Давид расскажет про обработку 3D-данных и поможет вам с выполнением задания.

📅 9 апреля, четверг, в 19:00 МСК

Регистрируйтесь по ссылке и приходите в четверг!