DeepSchool
10.3K subscribers
77 photos
1 video
1 file
432 links
Это канал школы deepschool.ru. Здесь мы будем:
- напоминать вам теорию ML/DL в виде коротких постов,
- задавать вопросы с собеседований,
- рассказывать про полезные фреймворки
- и делиться советами, которые помогут вам в работе.

@deepschool_support
Download Telegram
«Релиз на салфетке». Строим CV-кормушку для белок 🐿

В этом шоу мы собираемся командой инженеров, выбираем забавную задачу, брейнштормим, строим велосипеды и космолёты 🚀

Как будто решаем продуктовую задачу, но без сроков, рамок и коммитментов. А от того веселее 😉

В первом выпуске мы со спикерами CV Rocket решали беличьи проблемы. Оказывается, если насыпать в кормушку орехов для белки, то может прилететь синица, взять орех и в полёте его выкинуть. А белке ничего не достанется. Синиц мы хотим кормить крупой, а белок спасти от такой несправедливости.

💡Мы выяснили, что если запереть трёх инженеров в Zoom-е и попросить их оторваться на забавной задаче, то через час они начнут разгонять про SSL, беличьи FaceID, векторные базы, алёртинги, foundation-модели, дистилляцию и прочий active learning.

Смотрите выпуск на Youtube и пишите комментарии!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2713🐳6🤯4👍3
Cимметрия в нейронных сетях

Симметрия используется повсюду. Например, в естественных науках симметрия — мощнейший математический инструмент, который позволяет значительно упрощать расчеты, учитывая при этом суть задачи.

В этой статье мы:
- познакомимся с теорией групп — универсальным языком симметрии
- поймём, почему при проектировке нейронных сетей нужно учитывать симметрию
- научимся строить нейронные сети, учитывающие симметрию

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/C-b3d62057b07e4a09bd2ce3dc40b31451?pvs=4
27🔥17👍13😁2
Инструменты современного DS-инженера

Мы часто говорим, что сейчас DL-инженерам недостаточно просто учить модели, чтобы оставаться актуальным. Важно перенимать инструменты и навыки от разработчиков — этого требует рынок.

Ведь мы тоже пишем код, правим бизнес-логику, снижаем bus factor и хотим, чтобы в проектах не было багов. Чтобы помочь в этих задачах и упростить нашу жизнь, есть множество инструментов. И мы хотим познакомить вас с пятеркой самых важных.

Поэтому в этот четверг, 20 июня, проведём открытую лекцию «5 инструментов эффективного DS-инженера»

На лекции обсудим:
1️⃣ как сделать эксперименты воспроизводимыми
- версионирование данных, кода и моделей
- управление зависимостями
2️⃣ инструменты, которые повысят качество кода
- линтеры и тесты
- Continuous Integration
3️⃣ как упростить свою работу
- lightning
- трекинг и визуализация в CML

А также представим программу курса “Computer Vision Rocket” и подарим скидки на обучение!🔥

🙋‍♂️Спикеры лекции:
- Егор Осинкин — Lead CV Engineer в EPAM, спикер курса CV Rocket
- Тимур Фатыхов — ex Lead CV Engineer в Koronapay, основатель DeepSchool

Регистрируйтесь по ссылке!

После регистрации мы пришлем вам список полезных библиотек и сервисов для CV-инженеров!🎁
Также в телеграм-боте будет краткий анализ CV-вакансий, где мы изучили, как менялись зарплаты, как они зависят от требований и от грейдов.

Зарегистрироваться
Please open Telegram to view this post
VIEW IN TELEGRAM
👍127🔥7🥰1
Мы ищем преподавателей!

Если у вас 3+ года опыта в индустрии, вы хотите пообщаться с другими практикующими инженерами, вместе поработать и перенять опыт, присоединяйтесь к нашей команде!

Мы ищем преподавателей на 2 курса:
— Ускорение нейросетей
— LLM

1️⃣ Ускорение нейросетей
Мы изменили программу и ищем 2-ух спикеров, кто знаком с запуском сетей на IOS и Android.
Если у вас есть такой опыт, заполните, пожалуйста, эту форму

2️⃣ LLM
Летом мы анонсируем новый курс по большим языковым моделям, а пока расширяем команду преподавателей.
Если вы работали с LLM, заполните, пожалуйста эту форму

Что мы даём:
— доступ ко всем курсам школы: можно приходить на лекции, задавать вопросы, сдавать домашки и получать ревью
— оплату за подготовку материалов
— оплату за лекции и ревью заданий
— редактор поможет с текстами
— а дизайнер нарисует красивую презентацию

Что мы ждём от вас:
— опыт в индустрии/ресёрче от 3 лет
— опыт работы с темой лекции от 1 года

Форма для преподавателей по запуску сетей на IOS или Android

Форма для преподавателей по LLM
🔥29👍9🤩9
Научитесь решать end-to-end задачи в CV

Если вы хотите закрыть пробелы в решении Computer Vision задач и освоить весь путь создания DL-проектов: от сбора данных до деплоя веб-сервисов — приходите учиться на программу CV Rocket, которая стартует 4 июля.

После обучения вы повысите свою ценность на рынке, улучшите процессы в команде и научитесь решать полный цикл CV-задач:
🔹собирать чистые данные
🔹быстрее обучать модели
🔹ускорять нейросети
🔹создавать веб-сервисы
🔹автоматизировать их деплой
🔹настраивать мониторинг приложений
🔹решать задачи распознавания лиц, текстов, генерации и многое другое

Что особенного в нашей программе:
🔸12 спикеров из разных отраслей и компаний
🔸много фидбека и общения со спикерами: на zoom-лекциях, в рамках code review, на семинарах и в чате
🔸сложные задачи: 2 больших end-to-end проекта, которые с гордостью можно добавить в резюме

Курс длится 5 месяцев.

Присоединяйтесь к обучению со скидкой 10.000 ₽ до 30 июня!
Или вы можете внести предоплату и зафиксировать за собой скидку и место на курсе до 7 июля.

Подробнее о программе и спикерах читайте на сайте.

Если у вас возникают вопросы или трудности, то пишите нам в поддержку в Телеграм.

До встречи на лекциях!🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥9🍾821
CLIP4STR

Мультимодальные модели прочно входят в современные практические пайплайны многих решений на базе LLM. В области OCR их появление было ожидаемым: такие модели при обучении применяют не только картинки, но и текст. А если речь заходит об одновременном использовании картиночных и текстовых фичей — в обязательном порядке появляется CLIP.

В этой статье мы:
- узнаем, как можно использовать CLIP для задачи OCR
- разберём архитектуру новой SOTA для распознавания текста
- и ещё раз убедимся, что мультимодальность — сила

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/CLIP4STR-2f451ad6ab8c4041a11b426049edcd53?pvs=4
👍317🔥73
Подготовьтесь к собеседованию в безопасной обстановке мок-интервью для CV-инженеров

Собеседование может быть испытанием даже для опытного инженера. Можно скомканно рассказать про свой опыт, делать акценты не на тех вещах или переволноваться и поплыть на чём-то совсем простом. Может не хватить технических знаний, а может не хватить навыков эти знания «продавать». Поэтому часто на вопрос «как подготовиться к собеседованию?» можно услышать ответ — начать ходить на собеседования 😉

Чтобы помочь вам подготовиться к этим вызовам, мы запускаем формат мок-интервью — тренировочные собеседования в комфортной атмосфере, где вы сможете заранее выявить и проработать свои слабые места.

На мок-интервью вы:
🔹потренируетесь в безопасной среде, где не страшно ошибаться
🔹получите развёрнутый фидбек от опытного инженера
🔹узнаете вопросы, которые собеседующий задаёт на настоящих интервью
🔹получите запись и файл с рекомендациями

Приходите на мок-интервью и подготовьтесь к собеседованию в безопасной обстановке!
Переходите на сайт, изучайте подробности и оставляйте заявку. Мы свяжемся с вами, подберём удобное время и уточним ваши пожелания: желаемый грейд, область и тип интервью.

🎉В честь запуска нового формата мы дарим вам скидку 52% до конца июля.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2715🤩8👍1👌1🍾1👻1🤝1
Добавляем контроль к диффузии

Диффузионные модели — мощный инструмент для решения генеративных задач со сложной структурой доменных данных. Большинство таких моделей генерируют или редактируют изображения по текстовому описанию. Но часто для нужного результата одного текста бывает недостаточно. Поэтому сообщество разработало подходы, расширяющие возможности работы моделей с другими видами условий. Более того, часть из них не требует полного переобучения модели с нуля.

В новой статье мы рассмотрим:
- виды дополнительных условий для генерации диффузионных моделей
- способы их добавления в диффузионную модель
- правильную инициализацию весов в их сходимости

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/4cf54592070c4ab4b5ed673a242267d6?pvs=4
🔥22108👍1
Ни за что не версионируйте данные современными инструментами. Можно под каждую версию руками заводить новую папку. У вас быстро закончится место на компьютере и вам купят ещё один. Повышайте свою капитализацию, а не капитализацию компании.

С нами всё в порядке 🙃 Мы просто затеяли рубрику «Вредные советы» на YouTube.
Смотрите по ссылке!
Please open Telegram to view this post
VIEW IN TELEGRAM
26👻19🔥9
Новости по ускорению нейросетей

Наша команда готовит новый поток курса Ускорение нейросетей.
Мы обновили программу, и теперь вы сможете выбрать то, что вам наиболее актуально (даже NLP🤫).

Ещё у нас на подходе ряд статей, например, в конце недели расскажем про методы ускорения LLM

А сейчас можете прочесть статьи, которые мы писали ранее:

1. Основные подходы и методы ускорения — читать
2. Советы по ускорению, которые упростят ваше погружение в тему — читать
3. Как ускоряют сети для автономных устройств — читать
4. На что обратить внимание при оптимизации инференса — читать
5. Ускорение в задаче Speech2Text на примере Whisper от OpenAI — читать

⚡️Если хотите разобраться в теории и на практике научиться оптимизировать инференс, то приходите на наш курс.
До 12 июля вы можете присоединиться к обучению со скидкой 29%.
Для этого переходите на сайт и записывайтесь в лист ожидания. Мы свяжемся с вами, представим программу и подарим скидку на обучение.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2476🤩2🤯1
Лекция по быстрым механизмам внимания в это воскресенье

Главное препятствие на пути к быстрым трансформерам — квадратичный attention. В базовом варианте трансформеры довольно прожорливые как по времени, так и по памяти. Поэтому инженеры ищут способы ускорить attention. О некоторых из них мы расскажем на лекции в воскресенье.

Обсудим быстрые механизмы внимания с точки зрения простых инженерных решений.
Без математики тоже не обойдётся, но объясним всё простым языком и ответим на все вопросы, которые возникнут.

Лекцию проведёт Саша Гончаренко:
- CTO стартапа по ускорению моделей enot.ai
- автор статей, в том числе про low-power/precision вычисления
- спикер конференций (NAS, трансформеры, инференс на смартфоне)
- хэдлайнер нашего курса по ускорению

Саша расскажет про:
- Group Query Attention — сделаем KV-кеш поменьше.
- Pattern Attention — простой способ сократить вычисления с помощью паттерна
- Linear Attention — ряд Тейлора is all you need

🗓Приходите 7 июля в 14:00 МСК!

Ссылку на трансляцию выложим в воскресенье.
Ставьте реакции, кто придёт 🔥

Пишите в комментариях свои вопросы — постараемся ответить на лекции!
До встречи в эфире!⚡️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥75👍157❤‍🔥1
DeepSchool
Лекция по быстрым механизмам внимания в это воскресенье Главное препятствие на пути к быстрым трансформерам — квадратичный attention. В базовом варианте трансформеры довольно прожорливые как по времени, так и по памяти. Поэтому инженеры ищут способы ускорить…
Через 2 часа встречаемся на лекции по быстрым механизмам внимания

Саша Гончаренко расскажет про Group Query Attention, Pattern Attention и Linear Attention.

Начинаем в 14:00 МСК⚡️
Присоединяйтесь к трансляции на YouTube по ссылке

А пока переходите на наш канал и подписывайтесь🎞
Там мы разбираем темы из разных областей ML, выкладываем интервью с инженерами и другие рубрики от нашей школы!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥257👍6❤‍🔥11🤩1😍1🐳1🍾11
Media is too big
VIEW IN TELEGRAM
В фрагменте лекции из прошлого потока CVRocket Андрей Шадриков рассказал про фишки ClearML для трекинга экспериментов.

А уже сегодня пройдёт первая лекция 8-го потока, где Андрей объяснит, как навести порядок в экспериментах, чтобы:
- конфигурировать эксперименты
- легко передавать репозиторий коллегам
- версионировать модели и данные
- быстро сравнивать эксперименты

Вы ещё успеваете присоединиться к этому потоку и освоить полный цикл решения CV-задач!
Переходите на сайт, запрыгивайте в последний вагон и становитесь частью комьюнити опытных инженеров🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥229👍5
Введение в квантование LLM

Инференс современных LLM на потребительских видеокартах невозможен без квантования. В новой статье мы обсудим два основных метода квантования, которые можно считать надёжными базовыми подходами.

В статье рассказали:
- как 1% весов могут испортить всё
- почему обычное округление — не лучший вариант
- зачем нужны случайные ортогональные матрицы в квантовании

Читайте по ссылке!

И подписывайтесь на DeepSchool
31🔥137
RT-DETR

В 2020 году DETR совершил мини-революцию в Computer Vision и показал, как использовать трансформеры в сложных задачах, например, при детекции объектов. Авторы изменили классический пайплайн CNN-детекции, сделав его более прямолинейным: без анкоров и NMS. Но это решение не имело широкого применения из-за довольно ощутимых недостатков. Исправить их вызвалась команда исследователей из Baidu, и уже в 2023 году вышел в свет детектор RT-DETR 🙂

В новой статье мы рассмотрим:
- основные недостатки DETR
- возможности его ускорения без значительного снижения точности
- совмещение достоинств SOTA real-time детекторов семейства YOLO и оригинального DETR

Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/RT-DETR-f64ed4a11532418fbbfe12cc7fa2bf56?pvs=4
🔥3113👍8
«PyTorch is all you need»?

Чаще всего для обучения нейросетей применяются видеокарты от Nvidia — они поддерживают технологию CUDA. Но появляется следующее поколение видеокарт, и растут требования к вычислительным ресурсам, поэтому старые карты начинают использоваться для инференса. Но если не задумываться об эффективном запуске обученной модели, мощности таких карт скоро может не хватить.

В этой статье мы:
- рассмотрим альтернативы PyTorch для инференса моделей, которые имеют дело с production
- поймём, как выжать максимум производительности даже из старых видеокарт
- обсудим тонкости и неочевидные моменты фреймворка TensorRT

Читайте новую статью по ссылке: https://deepschool-pro.notion.site/Is-PyTorch-all-you-need-cc869aa5076641e087172f1a579cd0b6?pvs=74
🔥34👍1174🤔1
Ускорение нейросетей на практике

Ускорение — важный навык в DL-индустрии:
- растёт потребность инференса нейросетей на смартфонах и edge-устройствах
- DL-сервисов становится больше
- растёт и нагрузка на эти сервисы
- всё чаще приходится работать с LLM, которые довольно требовательны к ресурсам
- и в целом, чем быстрее ваши модели, тем лучше и вам, и вашим пользователям

Мы подготовили лекцию по ускорению сетей, чтобы вы узнали, какие методы ускорения существуют и смогли задать свои вопросы.

🗓 18 июля, четверг, 18:00 МСК.

Саша Гончаренко, СТО стартапа enot.ai, проведёт онлайн-лекцию, на которой:
— применит прунинг, квантование и дистилляцию для ускорения нейросети
— подробно объяснит каждый метод
— рассмотрит возникающие сложности и способы их решения
— объяснит, почему различается результат на разных вычислителях🤔
— расскажет о вызовах в ускорении LLM
— и представит обновлённую программу курса «Ускорение нейросетей»

Регистрируйтесь на лекцию по ссылке!

🎁После регистрации вы получите туториал по использованию TensorRT и OpenVino.

До встречи 18 июля в 18:00 МСК!⚡️
Please open Telegram to view this post
VIEW IN TELEGRAM
15🔥119👍2
DeepSchool
Ускорение нейросетей на практике Ускорение — важный навык в DL-индустрии: - растёт потребность инференса нейросетей на смартфонах и edge-устройствах - DL-сервисов становится больше - растёт и нагрузка на эти сервисы - всё чаще приходится работать с LLM,…
⚡️Через 3 часа начинаем

Вы ещё успеваете зарегистрироваться!

1️⃣ применим прунинг, квантование и дистилляцию для ускорения нейросети
2️⃣ объясним каждый метод
3️⃣ рассмотрим возникающие сложности и способы их решения
4️⃣ объясним, почему различается результат на разных вычислителях
5️⃣ расскажем о вызовах в ускорении LLM

И представим обновлённую программу курса «Ускорение нейросетей»!

Присоединяйтесь к лекции!
Please open Telegram to view this post
VIEW IN TELEGRAM
115👍4😁2🔥1
Научитесь оптимизировать инференс нейросетей

Если вы сталкивались с задачей ускорения нейросетей, но всё не могли найти время разобраться поглубже во всех этих квантованиях, прунингах, дистилляции, TensorRT, OpenVINO и прочих баззвордах, приходите на наш курс «Ускорение нейросетей»!
Мы объясним, как устроены эти алгоритмы и фреймворки и научим использовать их в работе.

Программа курса разделена на 3 блока:
1️⃣ База — вы освоите подходы, которые являются общими для большинства задач. Это база! Разберетесь с алгоритмами: прунингом, дистилляцией, квантованием, матричными разложениями, архитектурным поиском — и устройством девайсов: CPU, GPU, NPU — и фреймворками для каждого.

2️⃣ NLP — блок для тех, кто работает с LLM. Вы изучите популярные и рабочие методы для ускорения небольших и крупных языковых моделей.

3️⃣Devices — научитесь запускать нейросети на Android, iOS и микрокомпьютерах с учетом их особенностей.

Вы можете изучить только Базу, а при желании можете углубиться в определенный домен — можно выбрать любой подходящий вариант🧩

🗓 Обучение начинается 24 июля и длится 19 недель.

Лекции ведут опытные инженеры, каждый из которых несколько лет занимается той темой, которую преподаёт на курсе.
Спикеры будут поддерживать вас на протяжении всего обучения, а также вы сможете прийти к ним с вопросами по вашей работы.

⚡️Присоединяйтесь к обучению со скидкой до 23 июля!

Подробнее о программе, спикерах, тарифах и скидках читайте на сайте программы.
Выбирайте подходящий тариф и присоединяйтесь к обучению!🎓

Если у вас возникают вопросы или трудности, то пишите нам в поддержку в Телеграм.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥117👍42