Сделали алхимию, но про ML
Чтобы немного разбавить рабочую неделю, собрали игру, где можно комбинировать ML-концепции и открывать новые.
Математика + Код = Алгоритм
NumPy + Backprop = PyTorch
CNN + Датасет = ImageNet
200+ элементов: от базовых до ChatGPT и k8s!
Кто первым соберёт Шмидхубера, дайте о себе знать, подарим пиццу!
https://mlchemy.deepschool.ru
Чтобы немного разбавить рабочую неделю, собрали игру, где можно комбинировать ML-концепции и открывать новые.
Математика + Код = Алгоритм
NumPy + Backprop = PyTorch
CNN + Датасет = ImageNet
200+ элементов: от базовых до ChatGPT и k8s!
Кто первым соберёт Шмидхубера, дайте о себе знать, подарим пиццу!
https://mlchemy.deepschool.ru
MLchemy
MLchemy — Создай ML-вселенную
Комбинируй элементы и открывай новые ML-технологии!
3🔥50🤩14❤6
Скоро стартует новый поток LLM Pro
Это курс, на котором вы соберёте полноценные NLP-системы с учётом требований к качеству и нагрузке, разберёте сложные кейсы и архитектуры NLP-решений: от доменной адаптации и эмбеддеров до сложных RAG-систем и агентов.
Приходите, чтобы узнать про best practices и применять похожие подходы в своих проектах.
У вас будет много практики:
• научитесь подбирать архитектуру текстовой классификации в зависимости от ограничений продакшн-среды
• создадите доменно-адаптированные эмбеддинги и настроите стабильную кластеризацию текстов
• адаптируете LLM под специфичный домен через техники пост-претрейна
• разработаете продвинутую RAG-систему с умным поиском, реранкингом и предотвращением галлюцинаций
• построите AI-агента с function calls и генеративным трекингом
Лекции ведут инженеры из продуктовых команд, которые поделятся реальным инженерным опытом. Они проверят ваши домашние задания и дадут развёрнутый фидбэк!
📅 Старт потока — 26 марта
🔔 Вы можете получить скидку до 20%, если запишетесь в лист ожидания до 15 марта
Читайте подробнее на сайте и оставляйте заявку!
Пишите в нашу поддержку @deepschool_support, если остались вопросы!
И до встречи на курсе!
Это курс, на котором вы соберёте полноценные NLP-системы с учётом требований к качеству и нагрузке, разберёте сложные кейсы и архитектуры NLP-решений: от доменной адаптации и эмбеддеров до сложных RAG-систем и агентов.
Приходите, чтобы узнать про best practices и применять похожие подходы в своих проектах.
У вас будет много практики:
• научитесь подбирать архитектуру текстовой классификации в зависимости от ограничений продакшн-среды
• создадите доменно-адаптированные эмбеддинги и настроите стабильную кластеризацию текстов
• адаптируете LLM под специфичный домен через техники пост-претрейна
• разработаете продвинутую RAG-систему с умным поиском, реранкингом и предотвращением галлюцинаций
• построите AI-агента с function calls и генеративным трекингом
Лекции ведут инженеры из продуктовых команд, которые поделятся реальным инженерным опытом. Они проверят ваши домашние задания и дадут развёрнутый фидбэк!
📅 Старт потока — 26 марта
🔔 Вы можете получить скидку до 20%, если запишетесь в лист ожидания до 15 марта
Читайте подробнее на сайте и оставляйте заявку!
Пишите в нашу поддержку @deepschool_support, если остались вопросы!
И до встречи на курсе!
deepschool.ru
Продвинутый курс по LLM и NLP System Design
Соберёте полноценные LLM-системы с учётом требований к качеству и нагрузке, разберёте сложные кейсы и дизайны NLP-решений
❤9🔥5🤩4
Готовим LLM для агента: prompting VS fine-tuning
LLM — основа современного AI-агента: от её выбора зависит, насколько хорошо агент будет справляться с задачами и как быстро он будет реализован.
В новой статье даём практические советы по выбору LLM для агента.
Читайте новую статью по ссылке!👈
LLM — основа современного AI-агента: от её выбора зависит, насколько хорошо агент будет справляться с задачами и как быстро он будет реализован.
В новой статье даём практические советы по выбору LLM для агента.
Читайте новую статью по ссылке!👈
Научиться строить AI-агентов с нуля можно у нас на курсе LLM Pro.
Старт — 26 марта.
Читайте подробнее на сайте и оставляйте заявку до 15 марта, чтобы присоединиться к обучению со скидкой 20% ⚡️
DeepSchool
Готовим LLM для агента: prompting VS fine-tuning - DeepSchool
Делимся практическими советами по выбору LLM для агента
❤21👍4🔥4
Что говорят выпускники CV Rocket
📍В карточках собрали цитаты из отзывов выпускников курса.
Они отмечают, что курс даёт не просто новые знания, а понимание собственных пробелов и способов их закрыть. Появляется уверенность в темах, которые раньше использовал вслепую, и начинаешь сразу применять на собеседованиях и в реальных задачах то, что получил на обучении.
Полные тексты этих и других отзывов, подробную информацию о программе и спикерах смотрите на сайте.
Новый поток CV Rocket стартует 17 марта.
Записывайтесь до 9 марта и получите скидку до 20% 🔥
📍В карточках собрали цитаты из отзывов выпускников курса.
Они отмечают, что курс даёт не просто новые знания, а понимание собственных пробелов и способов их закрыть. Появляется уверенность в темах, которые раньше использовал вслепую, и начинаешь сразу применять на собеседованиях и в реальных задачах то, что получил на обучении.
Полные тексты этих и других отзывов, подробную информацию о программе и спикерах смотрите на сайте.
Новый поток CV Rocket стартует 17 марта.
Записывайтесь до 9 марта и получите скидку до 20% 🔥
❤10🔥8👍7😁1
Такое на собеседовании вряд ли спросят, но знать обязательно
Приготовили праздничный набор карточек. Из него вы узнаете:
- Что общего между плюшевым мишкой, нобелевкой и вакцинами от COVID
- Самая выгодная аренда гаража в истории
- Как в 81 год выучить Swift по Skype (хороший был файлообменник) и вдохновить Тима Кука
- Кого нужно благодарить за ImageNet
Девушки, с вашим днём 💚
Приготовили праздничный набор карточек. Из него вы узнаете:
- Что общего между плюшевым мишкой, нобелевкой и вакцинами от COVID
- Самая выгодная аренда гаража в истории
- Как в 81 год выучить Swift по Skype (хороший был файлообменник) и вдохновить Тима Кука
- Кого нужно благодарить за ImageNet
Девушки, с вашим днём 💚
🔥24😍8❤7
Инференс-сервер своими руками: воркшоп по BentoML
Обучить модель — это половина работы. Дальше встаёт вопрос: как её отдать? Как backend-команда будет к ней обращаться? Лезть в чужие репозитории и встраиваться в их инфраструктуру — не всегда вариант.
Мы подготовили воркшоп, на котором покажем, как упаковать модель в BentoML, поднять инференс-сервер и организовать к нему доступ.
На воркшопе разберём:
— как передать готовую модель без погружения в репозитории backend-команды
— как упаковать модель с помощью BentoML и поднять инференс-сервер
— как обращаться к модели из внешнего кода
— когда BentoML не подходит и что использовать вместо него
Воркшоп — это когда вы сначала слушаете, а потом сразу делаете. Анастасия Старобыховская, руководитель лаборатории «Искусство и ИИ» в ЕУСПб, сначала расскажет теоретическую часть, а потом разобьёт участников на небольшие группы для самостоятельной работы, будет подключаться к каждой и помогать с затыками.
У вас будет возможность упаковать модель самостоятельно в режиме реального времени!
И в конце вместе обсудим решение и типичные ошибки.
А также всем участникам подарим скидки на курс CV Rocket! 🎁
Чтобы не терять времени на воркшопе, установите docker/python/свою любимую IDE, если ещё нет
📅 Встречаемся в четверг, 12 марта в 19:00 МСК!
Регистрируйтесь по ссылке и до встречи на воркшопе!
Обучить модель — это половина работы. Дальше встаёт вопрос: как её отдать? Как backend-команда будет к ней обращаться? Лезть в чужие репозитории и встраиваться в их инфраструктуру — не всегда вариант.
Мы подготовили воркшоп, на котором покажем, как упаковать модель в BentoML, поднять инференс-сервер и организовать к нему доступ.
На воркшопе разберём:
— как передать готовую модель без погружения в репозитории backend-команды
— как упаковать модель с помощью BentoML и поднять инференс-сервер
— как обращаться к модели из внешнего кода
— когда BentoML не подходит и что использовать вместо него
Воркшоп — это когда вы сначала слушаете, а потом сразу делаете. Анастасия Старобыховская, руководитель лаборатории «Искусство и ИИ» в ЕУСПб, сначала расскажет теоретическую часть, а потом разобьёт участников на небольшие группы для самостоятельной работы, будет подключаться к каждой и помогать с затыками.
У вас будет возможность упаковать модель самостоятельно в режиме реального времени!
И в конце вместе обсудим решение и типичные ошибки.
А также всем участникам подарим скидки на курс CV Rocket! 🎁
Чтобы не терять времени на воркшопе, установите docker/python/свою любимую IDE, если ещё нет
Регистрируйтесь по ссылке и до встречи на воркшопе!
Please open Telegram to view this post
VIEW IN TELEGRAM
deepschool.ru
Инференс-сервер своими руками: воркшоп по BentoML | Воркшоп DeepSchool
Воркшоп, на котором покажем, как упаковать модель в BentoML, поднять инференс-сервер и организовать к нему доступ так, чтобы не зависеть от разработчиков приложения.
❤12👍8🔥5
15 лет в iOS-разработке, или как не выгореть спустя десятки проектов | Подкаст «Под Капотом» с Женей Тютюевым
Гость нового выпуска — Женя Тютюев, Senior iOS разработчик в 2gis. Женя начинал карьеру в те времена, когда отжать телефон, под который ты разрабатываешь, было обычным делом. Обсудили, сложно ли было стартовать карьеру 15 лет назад, как изменился 2gis за последние годы и в чём особенности адаптации приложений для слабовидящих.
Смотрите по ссылке: https://youtu.be/HHEk1BbwEFo
Гость нового выпуска — Женя Тютюев, Senior iOS разработчик в 2gis. Женя начинал карьеру в те времена, когда отжать телефон, под который ты разрабатываешь, было обычным делом. Обсудили, сложно ли было стартовать карьеру 15 лет назад, как изменился 2gis за последние годы и в чём особенности адаптации приложений для слабовидящих.
Смотрите по ссылке: https://youtu.be/HHEk1BbwEFo
YouTube
15 лет в iOS-разработке | Подкаст «Под Капотом» с Женей Тютюевым
Гость нового выпуска — Женя Тютюев, Senior iOS разработчик в 2gis. Женя начинал карьеру в те времена, когда отжать телефон, под который ты разрабатываешь, было обычным делом. Обсудили, сложно ли было стартовать карьеру 15 лет назад, как изменился 2gis за…
❤11🔥6👍5
Осталось 3 часа до воркшопа по BentoML
Сегодня с Анастасией Старобыховской разберёмся как упаковать модель в BentoML, поднять инференс-сервер и организовать к нему доступ.
На воркшопе вы узнаете:
— как передать готовую модель без погружения в репозитории backend-команды
— как упаковать модель с помощью BentoML и поднять инференс-сервер
— как обращаться к модели из внешнего кода
— когда BentoML не подходит и что использовать вместо него
У вас будет возможность упаковать модель самостоятельно в режиме реального времени!
А также всем участникам подарим скидки на курс CV Rocket! 🎁
🕕 Регистрируйтесь и приходите сегодня в 19:00 МСК
Сегодня с Анастасией Старобыховской разберёмся как упаковать модель в BentoML, поднять инференс-сервер и организовать к нему доступ.
На воркшопе вы узнаете:
— как передать готовую модель без погружения в репозитории backend-команды
— как упаковать модель с помощью BentoML и поднять инференс-сервер
— как обращаться к модели из внешнего кода
— когда BentoML не подходит и что использовать вместо него
У вас будет возможность упаковать модель самостоятельно в режиме реального времени!
А также всем участникам подарим скидки на курс CV Rocket! 🎁
🕕 Регистрируйтесь и приходите сегодня в 19:00 МСК
deepschool.ru
Инференс-сервер своими руками: воркшоп по BentoML | Воркшоп DeepSchool
Воркшоп, на котором покажем, как упаковать модель в BentoML, поднять инференс-сервер и организовать к нему доступ так, чтобы не зависеть от разработчиков приложения.
❤10🔥5👍2
Как повысить квалификацию в Computer Vision
Приходите на ближайший поток CV Rocket, который стартует 17 марта!
Это курс для практикующих CV-инженеров, которые хотят закрыть пробелы в знаниях и узнать про подходы и лучшие практики от senior-инженеров.
Вы научитесь:
- готовить данные: собирать, устранять ошибки в разметке, мониторить качество
- отлаживать обучение, находить аномалии и интерпретировать результаты модели
- работать с metric learning и векторным поиском
- работать с видео: трекинг и action-recognition
- предобучать без разметки: от pretext-задач до современных SSL-алгоритмов
- адаптировать модели детекции, сегментации и OCR под сложные кейсы
Обучение длится 4 месяца и состоит из 13 лекций и 13 заданий.
Лекции проходят онлайн в Zoom, поэтому вы сможете задавать вопросы по ходу занятия.
🔥 До 16 марта вы можете записаться со скидкой 5%!
Переходите на сайт, изучайте подробности, читайте отзывы выпускников и записывайтесь на обучение!
До встречи на курсе! 🎓
Приходите на ближайший поток CV Rocket, который стартует 17 марта!
Это курс для практикующих CV-инженеров, которые хотят закрыть пробелы в знаниях и узнать про подходы и лучшие практики от senior-инженеров.
Вы научитесь:
- готовить данные: собирать, устранять ошибки в разметке, мониторить качество
- отлаживать обучение, находить аномалии и интерпретировать результаты модели
- работать с metric learning и векторным поиском
- работать с видео: трекинг и action-recognition
- предобучать без разметки: от pretext-задач до современных SSL-алгоритмов
- адаптировать модели детекции, сегментации и OCR под сложные кейсы
Обучение длится 4 месяца и состоит из 13 лекций и 13 заданий.
Лекции проходят онлайн в Zoom, поэтому вы сможете задавать вопросы по ходу занятия.
🔥 До 16 марта вы можете записаться со скидкой 5%!
Переходите на сайт, изучайте подробности, читайте отзывы выпускников и записывайтесь на обучение!
До встречи на курсе! 🎓
deepschool.ru
Научитесь решать сложные задачи в Computer Vision — DeepSchool
❤9👍7🔥4
Ванильный RAG не работает. Как исправить?
RAG — один из самых популярных сценариев для интеграции LLM в продукты. При этом большинство RAG-систем в реальных условиях ломаются уже на старте: галлюцинации, нерелевантные ответы, потерянный контекст.
Проблема не в идее, а в деталях. Ванильная схема «ретривер + генератор» — это только скелет. Без правильно настроенного эмбеддера, качественных данных, реранкера и дообученного генератора она не работает. А когда что-то идёт не так, то непонятно, за что взяться.
В этот четверг Дмитрий Калашников, NLP team lead в Яндексе, проведёт открытую лекцию и разложит систему по частям: где обычно ломается, как диагностировать проблему и что конкретно делать на каждом уровне пайплайна.
Мы разберём:
• типичные точки отказа: эмбеддер, поиск, реранкер, генератор, данные
• как локализовать проблему, прежде чем что-то чинить
• какие техники реально улучшают качество на каждом этапе
• как собрать из компонентов систему, которая держит нагрузку
На лекции также представим курс LLM Pro — для тех, кто хочет научиться строить полноценные NLP-системы с учётом требований к качеству и нагрузке.
Участникам лекции подарим скидку в 15% на обучение! 🎁
📅 Лекция пройдёт 19 марта в 19:00 МСК
Регистрируйтесь по ссылке и до встречи в четверг!
RAG — один из самых популярных сценариев для интеграции LLM в продукты. При этом большинство RAG-систем в реальных условиях ломаются уже на старте: галлюцинации, нерелевантные ответы, потерянный контекст.
Проблема не в идее, а в деталях. Ванильная схема «ретривер + генератор» — это только скелет. Без правильно настроенного эмбеддера, качественных данных, реранкера и дообученного генератора она не работает. А когда что-то идёт не так, то непонятно, за что взяться.
В этот четверг Дмитрий Калашников, NLP team lead в Яндексе, проведёт открытую лекцию и разложит систему по частям: где обычно ломается, как диагностировать проблему и что конкретно делать на каждом уровне пайплайна.
Мы разберём:
• типичные точки отказа: эмбеддер, поиск, реранкер, генератор, данные
• как локализовать проблему, прежде чем что-то чинить
• какие техники реально улучшают качество на каждом этапе
• как собрать из компонентов систему, которая держит нагрузку
На лекции также представим курс LLM Pro — для тех, кто хочет научиться строить полноценные NLP-системы с учётом требований к качеству и нагрузке.
Участникам лекции подарим скидку в 15% на обучение! 🎁
📅 Лекция пройдёт 19 марта в 19:00 МСК
Регистрируйтесь по ссылке и до встречи в четверг!
deepschool.ru
Ванильный RAG не работает. Как исправить? | Открытая лекция DeepSchool
Расскажем, как правильно выстроить пайплайн и превратить RAG из хаотичного набора компонентов в надёжный инструмент
❤12👍4🔥4🤩2⚡1
Токенизация и эмбеддинги в NLP: что спрашивают на собеседованиях
Ранее мы разобрали популярные вопросы про attention и трансформеры с NLP-собеседований, а сегодня расскажем, что происходит с текстом до модели — обсудим токенизацию и построение эмбеддингов.
Формат новой статьи тот же: вопросы с собеседований разбиты на модули, а ответы спрятаны под спойлерами. Cначала попробуйте ответить сами, а потом загляните в разбор и примеры 😉
Читайте новую статью по ссылке!
Автор: Алексей Яндутов
🪔 DeepSchool
Ранее мы разобрали популярные вопросы про attention и трансформеры с NLP-собеседований, а сегодня расскажем, что происходит с текстом до модели — обсудим токенизацию и построение эмбеддингов.
Формат новой статьи тот же: вопросы с собеседований разбиты на модули, а ответы спрятаны под спойлерами. Cначала попробуйте ответить сами, а потом загляните в разбор и примеры 😉
Читайте новую статью по ссылке!
Автор: Алексей Яндутов
Уже профессионально работаете с LLM? Соберите полноценные LLM-системы с учётом требований к качеству и нагрузке, разберите сложные кейсы и дизайны NLP-решений у нас на курсе LLM Pro.
Старт — 26 марта.
Читайте подробнее на сайте и присоединяйтесь к обучению ⚡️
Please open Telegram to view this post
VIEW IN TELEGRAM
DeepSchool
Токенизация и эмбеддинги в NLP: что спрашивают на собеседованиях - DeepSchool
Разобрали популярные вопросы с собеседований про токенизацию и построение эмбеддингов
❤18🔥12👍9🤝1
Встречаемся через 3 часа на лекции по RAG
Сегодня Дмитрий Калашников расскажет, как правильно выстроить пайплайн и превратить RAG из хаотичного набора компонентов в надёжный инструмент.
На лекции вы узнаете:
- почему ванильная схема «ретривер + генератор» почти никогда не даёт нужного качества
- с чего начинать улучшения: эмбеддер, поиск, реранкер, генератор, данные или что-то ещё
- какие задачи приходится решать, чтобы RAG действительно работал
- как из разрозненных компонент собрать надежный RAG-продукт
🔥 А также всем участникам подарим скидку 15% на курс LLM Pro — продвинутую программу, на которой вы научитесь строить системы, которые работают в реальном мире!
⏰ Начинаем сегодня, 19 марта, в 19:00 МСК
Регистрируйтесь по ссылке и приходите сегодня вечером!
Сегодня Дмитрий Калашников расскажет, как правильно выстроить пайплайн и превратить RAG из хаотичного набора компонентов в надёжный инструмент.
На лекции вы узнаете:
- почему ванильная схема «ретривер + генератор» почти никогда не даёт нужного качества
- с чего начинать улучшения: эмбеддер, поиск, реранкер, генератор, данные или что-то ещё
- какие задачи приходится решать, чтобы RAG действительно работал
- как из разрозненных компонент собрать надежный RAG-продукт
🔥 А также всем участникам подарим скидку 15% на курс LLM Pro — продвинутую программу, на которой вы научитесь строить системы, которые работают в реальном мире!
⏰ Начинаем сегодня, 19 марта, в 19:00 МСК
Регистрируйтесь по ссылке и приходите сегодня вечером!
deepschool.ru
Ванильный RAG не работает. Как исправить? | Открытая лекция DeepSchool
Расскажем, как правильно выстроить пайплайн и превратить RAG из хаотичного набора компонентов в надёжный инструмент
1❤7🔥3🤝3
Как собирать NLP-системы, которые работают под нагрузкой
Обучить модель, построить эмбеддер или воспользоваться API — не значит запустить рабочую систему. RAG галлюцинирует, агент ломается на реальных сценариях, эмбеддинги не работают на специфичном домене. С этими и другими проблемами мы разберёмся на курсе LLM Pro, который стартует 26 марта!
На курсе вы научитесь:
• проектировать и запускать NLP-системы под реальные продуктовые задачи
• адаптировать LLM и эмбеддинги под специфичный домен и «живые» данные
• собирать и размечать датасеты — даже если данных изначально почти нет
• решать задачи классификации, поиска, кластеризации и NER — с ограничениями продакшн-среды
• собирать свою RAG-систему: от ретривера и реранкера до генератора и оценки качества
• строить AI-агентов с нуля — на основе сценариев, функций и взаимодействия с внешней средой
Приходите, чтобы узнать про best practices от опытных инженеров из продуктовых команд и применять похожие подходы в своих проектах
🤖 До 25 марта вы можете присоединиться к обучению со скидкой 5%!
Изучайте программу и отзывы на сайте и записывайтесь на ближайший поток 🎓
Обучить модель, построить эмбеддер или воспользоваться API — не значит запустить рабочую систему. RAG галлюцинирует, агент ломается на реальных сценариях, эмбеддинги не работают на специфичном домене. С этими и другими проблемами мы разберёмся на курсе LLM Pro, который стартует 26 марта!
На курсе вы научитесь:
• проектировать и запускать NLP-системы под реальные продуктовые задачи
• адаптировать LLM и эмбеддинги под специфичный домен и «живые» данные
• собирать и размечать датасеты — даже если данных изначально почти нет
• решать задачи классификации, поиска, кластеризации и NER — с ограничениями продакшн-среды
• собирать свою RAG-систему: от ретривера и реранкера до генератора и оценки качества
• строить AI-агентов с нуля — на основе сценариев, функций и взаимодействия с внешней средой
Приходите, чтобы узнать про best practices от опытных инженеров из продуктовых команд и применять похожие подходы в своих проектах
🤖 До 25 марта вы можете присоединиться к обучению со скидкой 5%!
Изучайте программу и отзывы на сайте и записывайтесь на ближайший поток 🎓
deepschool.ru
Продвинутый курс по LLM и NLP System Design
Соберёте полноценные LLM-системы с учётом требований к качеству и нагрузке, разберёте сложные кейсы и дизайны NLP-решений
1❤10👍5🔥4
Продолжаем разбираться с LLM!
Подготовили 20 новых карточек с вопросами:
- зачем нужен GQA
- как scaling laws влияют на выбор модели
- FSDP vs DDP
- как изображения попадают в LLM
и много других. Готовьтесь к собеседованию здесь!
Теперь можно предложить вопрос со своего собеседования и мы его опубликуем. Для этого нажимайте «предложить вопрос» у коллекции «от сообщества 💚»
Подготовили 20 новых карточек с вопросами:
- зачем нужен GQA
- как scaling laws влияют на выбор модели
- FSDP vs DDP
- как изображения попадают в LLM
и много других. Готовьтесь к собеседованию здесь!
Теперь можно предложить вопрос со своего собеседования и мы его опубликуем. Для этого нажимайте «предложить вопрос» у коллекции «от сообщества 💚»
DeepSchool
Вопросы на собеседовании по LLM 2 — Карточки | DeepSchool
Вопросы про LLM часть 2
❤16🔥8👍5
Flash Attention-2
FlashAttention-2 — реализация алгоритма attention, которая значительно ускоряет вычисления в сравнении с первой версией и работает заметно быстрее стандартной реализации в PyTorch. В статье простыми словами разбираем, за счёт чего это происходит 👨🏼💻
Из нового материала вы узнаете:
- какие проблемы были у FlashAttention-1
- как удалось лучше загрузить GPU
- что изменилось в распределении вычислений
- и какую роль играет параллельный softmax
Читайте статью по ссылке! 👈🏼
Автор: Антон Наумов
🪔 DeepSchool
FlashAttention-2 — реализация алгоритма attention, которая значительно ускоряет вычисления в сравнении с первой версией и работает заметно быстрее стандартной реализации в PyTorch. В статье простыми словами разбираем, за счёт чего это происходит 👨🏼💻
Из нового материала вы узнаете:
- какие проблемы были у FlashAttention-1
- как удалось лучше загрузить GPU
- что изменилось в распределении вычислений
- и какую роль играет параллельный softmax
Читайте статью по ссылке! 👈🏼
Про ускорение LLM, дообучение и их деплой рассказываем на курсе LLM. Запишитесь в лист ожидания, чтобы первыми занять место и получить скидки до 20%🔥
Автор: Антон Наумов
Please open Telegram to view this post
VIEW IN TELEGRAM
DeepSchool
Flash Attention-2 - DeepSchool
Продолжаем разбор оптимизаций механизма attention и обсуждаем FlashAttention-2
2🔥21❤8👍5