🤖 Ускорение инференса LLM: инсайды от разработчика YandexGPT
Речь пойдёт о методах дистилляции и квантизации (включая SmoothQuant и GPT-Q), а также о дополнительных способах для редких случаев (Speculative Decoding и Continuous Batching). Также автор раскрывает на практике, с какими сложностями сталкиваются команды при внедрении LLM в реальные продукты, и рассказывает, как найти оптимум между скоростью и качеством, используя фронт Парето.
Machine Learning
Речь пойдёт о методах дистилляции и квантизации (включая SmoothQuant и GPT-Q), а также о дополнительных способах для редких случаев (Speculative Decoding и Continuous Batching). Также автор раскрывает на практике, с какими сложностями сталкиваются команды при внедрении LLM в реальные продукты, и рассказывает, как найти оптимум между скоростью и качеством, используя фронт Парето.
Machine Learning
Дайджест полезных текстов про ML и дата-аналитику.
Представляем подборку очень свежих и нужных каждому ML-специалисту текстов, ML/AI/Data-сервисов и даже пару кейсов. Контент очень редкий и годный, обязательно к прочтению.
Ссылка на статью - *тык*
Machine Learning
Представляем подборку очень свежих и нужных каждому ML-специалисту текстов, ML/AI/Data-сервисов и даже пару кейсов. Контент очень редкий и годный, обязательно к прочтению.
Ссылка на статью - *тык*
Machine Learning
👊 Что такое утечки данных в машинном обучении и как с ними бороться
Ошибочное попадание информации из тестового датасета в обучающий – проблема нередкая. И последствия неприятные: модель выдаст нереалистично высокие показатели эффективности, а в реальных условиях будет работать совсем не так. Команда VK Cloud перевела статью о том, как это предотвратить (несколько способов с примерами).
Machine Learning
Ошибочное попадание информации из тестового датасета в обучающий – проблема нередкая. И последствия неприятные: модель выдаст нереалистично высокие показатели эффективности, а в реальных условиях будет работать совсем не так. Команда VK Cloud перевела статью о том, как это предотвратить (несколько способов с примерами).
Machine Learning
👀 YandexART обновилась до версии 1.3 и перешла на технологию латентной диффузии
Читаем статью от старшего разработчика из команды компьютерного зрения Яндекса и разбираемся, почему отказались от каскадной диффузии и как YandexART 1.3 обучили лучше понимать запросы пользователей
Machine Learning
Читаем статью от старшего разработчика из команды компьютерного зрения Яндекса и разбираемся, почему отказались от каскадной диффузии и как YandexART 1.3 обучили лучше понимать запросы пользователей
Machine Learning
🙂 Бросаем взгляд на прошлогодние исследования в области ИИ
Отчет разбит на такие блоки:
• исследования — технические прорывы и возможности;
• промышленность — области коммерческого применения AI и его влияние на бизнес;
• политика — регулирование AI;
• безопасность — выявление и снижение рисков от использования будущих систем AI;
• прогнозы — что по мнению авторов произойдёт в 2023 году, а также проверка прогнозов, которые давались в прошлом году на 2022 год.
Machine Learning
Отчет разбит на такие блоки:
• исследования — технические прорывы и возможности;
• промышленность — области коммерческого применения AI и его влияние на бизнес;
• политика — регулирование AI;
• безопасность — выявление и снижение рисков от использования будущих систем AI;
• прогнозы — что по мнению авторов произойдёт в 2023 году, а также проверка прогнозов, которые давались в прошлом году на 2022 год.
Machine Learning
✍️ Яндекс открыл приём заявок на международную научную премию Yandex ML Prize
Это ежегодная премия, которую вручают за достижения в области компьютерного зрения, машинного перевода, распознавания и синтеза речи, анализа данных и генеративных моделей. В совете премии — ведущие российские исследователи в сфере ИИ, среди них — эксперты Yandex Research, Яндекс Погоды и Школы анализа данных. Прием заявок открыт до 21 июня, победителей объявят осенью. Размер премии составит от 500 тысяч рублей.
Кто может участвовать: исследователи, их научные руководители и преподаватели машинного обучения.
Номинации:
▪️ Первая публикация,
▪️ Исследователи,
▪️ Молодые научные руководители,
▪️ Научные руководители,
▪️ Преподаватели ML.
Machine Learning
Это ежегодная премия, которую вручают за достижения в области компьютерного зрения, машинного перевода, распознавания и синтеза речи, анализа данных и генеративных моделей. В совете премии — ведущие российские исследователи в сфере ИИ, среди них — эксперты Yandex Research, Яндекс Погоды и Школы анализа данных. Прием заявок открыт до 21 июня, победителей объявят осенью. Размер премии составит от 500 тысяч рублей.
Кто может участвовать: исследователи, их научные руководители и преподаватели машинного обучения.
Номинации:
▪️ Первая публикация,
▪️ Исследователи,
▪️ Молодые научные руководители,
▪️ Научные руководители,
▪️ Преподаватели ML.
Machine Learning
Новый гайд на Хабре поможет вам понять, как внедрить YandexGPT API в python-приложения
Авторы дают подробное руководство по созданию собственного SDK и делятся своим кодом. В статье также проводится сравнение YandexGPT с ChatGPT: их эффективность на примере конкретной задачи и стоимость.
Machine Learning
Авторы дают подробное руководство по созданию собственного SDK и делятся своим кодом. В статье также проводится сравнение YandexGPT с ChatGPT: их эффективность на примере конкретной задачи и стоимость.
Machine Learning
🏹 Использование ИИ-инструментов в разработке ПО
Около 37% команд находятся в активном процессе внедрения ИИ-инструментов в практику разработки программного обеспечения.
Все больше европейских инженеров используют различные ИИ‑инструменты при решении своих задач в программных проектах.
Machine Learning
Около 37% команд находятся в активном процессе внедрения ИИ-инструментов в практику разработки программного обеспечения.
Все больше европейских инженеров используют различные ИИ‑инструменты при решении своих задач в программных проектах.
Machine Learning
Media is too big
VIEW IN TELEGRAM
Интервью с CTO про машинное обучение и нейросети
Из этого видео вы узнаете, что такое машинное обучение, какие бывают нейронные сети и чем инженер машинного обучения отличается от data scientist.
0:01:14 Про себя
0:42:15 Что такое Machine Learning
0:47:36 В каких областях применяется ML
0:52:16 Что такое модель данных
0:56:55 Градация специалистов в ML
1:05:59 Типы моделей машинного обучения
1:10:26 Про нейросети
1:12:48 Разметка данных
1:13:57 Проблемы в ML
1:19:36 Самообучающиеся модели
1:22:09 Про Искусственный Интеллект
1:27:17 Как стать ML-инженером
1:35:08 Про собеседования
1:37:43 Источники знаний для ML-специалиста
Смотреть это видео на youtube: youtu.be/7bUYEMZVMCE
Machine Learning
Из этого видео вы узнаете, что такое машинное обучение, какие бывают нейронные сети и чем инженер машинного обучения отличается от data scientist.
0:01:14 Про себя
0:42:15 Что такое Machine Learning
0:47:36 В каких областях применяется ML
0:52:16 Что такое модель данных
0:56:55 Градация специалистов в ML
1:05:59 Типы моделей машинного обучения
1:10:26 Про нейросети
1:12:48 Разметка данных
1:13:57 Проблемы в ML
1:19:36 Самообучающиеся модели
1:22:09 Про Искусственный Интеллект
1:27:17 Как стать ML-инженером
1:35:08 Про собеседования
1:37:43 Источники знаний для ML-специалиста
Смотреть это видео на youtube: youtu.be/7bUYEMZVMCE
Machine Learning
🖥 Представлена YandexGPT 3 Lite. Она будет полезна в сценариях, где важна скорость ответа
Яндекс выпустил облегченную версию генеративной модели третьего поколения, которая подойдет разным типам бизнеса для решения рутинных задач в реальном времени. К примеру, будет полезна как чат-бот консультант на сайтах, в качестве подсказки операторам в колл-центрах или как суммаризатор деловых встреч. Новая модель доступна клиентам Yandex Cloud через API. А на Хабре можно прочитать подробнее про ключевые этапы ее обучения и узнать о том, как происходил процесс превращения просто умной модели в модель-ассистента.
Machine Learning
Яндекс выпустил облегченную версию генеративной модели третьего поколения, которая подойдет разным типам бизнеса для решения рутинных задач в реальном времени. К примеру, будет полезна как чат-бот консультант на сайтах, в качестве подсказки операторам в колл-центрах или как суммаризатор деловых встреч. Новая модель доступна клиентам Yandex Cloud через API. А на Хабре можно прочитать подробнее про ключевые этапы ее обучения и узнать о том, как происходил процесс превращения просто умной модели в модель-ассистента.
Machine Learning
⌨️ Хабр: победители конкурса «Технотекст» в номинации ML
Виктор Юрченко из Яндекса со статьей «Нейронные сети для планирования движения беспилотных автомобилей».
Котенков Игорь из Open Data Science со статьей «Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей с T9 до чуда».
Мурат Апишев со статьей «О методах позиционного кодирования в Transformer».
Machine Learning
Виктор Юрченко из Яндекса со статьей «Нейронные сети для планирования движения беспилотных автомобилей».
Котенков Игорь из Open Data Science со статьей «Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей с T9 до чуда».
Мурат Апишев со статьей «О методах позиционного кодирования в Transformer».
Machine Learning
Роль искусственного интеллекта в развитии стартапов в 2023 году
Сегодня свыше 50% российских компаний используют искусственный интеллект (ИИ) в своей работе, а еще 20% готовы внедрить нейросети в свою деятельность. От этой тенденции не отстают и стартапы, которые активно применяют инструменты ИИ, оптимизируя с их помощью рутинные задачи.
Machine Learning
Сегодня свыше 50% российских компаний используют искусственный интеллект (ИИ) в своей работе, а еще 20% готовы внедрить нейросети в свою деятельность. От этой тенденции не отстают и стартапы, которые активно применяют инструменты ИИ, оптимизируя с их помощью рутинные задачи.
Machine Learning
Яндекс прочтёт вслух 13000 книг: как работает новый виртуальный рассказчик в Букмейте
В этой статье разработчик технологии синтеза речи Яндекса рассказывает, с какими сложностями они с командой столкнулись, когда пытались внедрить технологию в книжный сервис.
Оказалось, что модель не знала, как правильно произносить редкие и необычные реплики и термины, из литературных произведений. Чтобы это исправить, нейросеть обучали на длинных текстах, содержащих множество повествований и описаний.
Machine Learning
В этой статье разработчик технологии синтеза речи Яндекса рассказывает, с какими сложностями они с командой столкнулись, когда пытались внедрить технологию в книжный сервис.
Оказалось, что модель не знала, как правильно произносить редкие и необычные реплики и термины, из литературных произведений. Чтобы это исправить, нейросеть обучали на длинных текстах, содержащих множество повествований и описаний.
Machine Learning
📚 Яндекс выложил свою библиотеку YaFSDP в опенсорс
С её помощью можно ускорить обучение больших языковых моделей с открытым исходным кодом до 25% и тратить до 20% меньше ресурсов графических процессоров, которые требуются для такого обучения. Библиотека была разработана в процессе обучения YandexGPT 3, а сейчас стала доступной для компаний, разработчиков и исследователей со всего мира.
Machine Learning
С её помощью можно ускорить обучение больших языковых моделей с открытым исходным кодом до 25% и тратить до 20% меньше ресурсов графических процессоров, которые требуются для такого обучения. Библиотека была разработана в процессе обучения YandexGPT 3, а сейчас стала доступной для компаний, разработчиков и исследователей со всего мира.
Machine Learning
Media is too big
VIEW IN TELEGRAM
Машинное обучение без навыков программирования
Существует множество инструментов для работы с моделями машинного обучения. Самыми популярными являются Python, R, TensorFlow, Keras, PyTorch. Но все они подразумевают навыки программирования.
Тем не менее, существуют и инструменты, позволяющие строить и обучать модели машинного обучения без знаний программирования. Их можно использовать для проверки гипотез, в образовательных целях или для лучшего понимания, как работает машинное обучение на практике.
В этом видео автор познакомит вас с некоторыми из таких инструментов:
00:45 Orange
04:19 KNIME
04:42 Weka
06:45 Playgroung.Tensorflow
10:03 Teachable Machine
Смотреть это видео на youtube: youtu.be/RM8-NwtJ6eg
Machine Learning
Существует множество инструментов для работы с моделями машинного обучения. Самыми популярными являются Python, R, TensorFlow, Keras, PyTorch. Но все они подразумевают навыки программирования.
Тем не менее, существуют и инструменты, позволяющие строить и обучать модели машинного обучения без знаний программирования. Их можно использовать для проверки гипотез, в образовательных целях или для лучшего понимания, как работает машинное обучение на практике.
В этом видео автор познакомит вас с некоторыми из таких инструментов:
00:45 Orange
04:19 KNIME
04:42 Weka
06:45 Playgroung.Tensorflow
10:03 Teachable Machine
Смотреть это видео на youtube: youtu.be/RM8-NwtJ6eg
Machine Learning
Новые методы сжатия больших языковых моделей от Яндекса и IST Austria
Яндекс выложил в опенсорс новые методы сжатия больших языковых моделей, с помощью которых размер нейросети можно уменьшить до 8 раз, сохранив при этом качество ответов на 95%.
Решение представлено двумя инструментами: благодаря первому происходит само сжатие нейросети, где снижается потребление памяти, нужной для работы модели. Второй исправляет ошибки, которые возникают в процессе уменьшения моделей.
Статья о новом решении включена в программу конференции ICML.
Machine Learning
Яндекс выложил в опенсорс новые методы сжатия больших языковых моделей, с помощью которых размер нейросети можно уменьшить до 8 раз, сохранив при этом качество ответов на 95%.
Решение представлено двумя инструментами: благодаря первому происходит само сжатие нейросети, где снижается потребление памяти, нужной для работы модели. Второй исправляет ошибки, которые возникают в процессе уменьшения моделей.
Статья о новом решении включена в программу конференции ICML.
Machine Learning
Как устроена Nemotron-4 340b от NVIDIA?
NLP-специалисты подробно разобрали одну из самых крупных открытых LLM моделей. Выясним, как проходили её обучения и тестирования и можно ли её поставить в один ряд с OpenAI GPT-4.
Machine Learning
NLP-специалисты подробно разобрали одну из самых крупных открытых LLM моделей. Выясним, как проходили её обучения и тестирования и можно ли её поставить в один ряд с OpenAI GPT-4.
Machine Learning
Исследователи обучили нейросеть распознавать spina bifida — редкую патологию плода развития при беременности
Эксперты Yandex Cloud создали нейросеть, благодаря которой врачи смогут своевременно обнаружить патологию развития плода при ранних сроках беременности — spina bifida. Для обучения модели использовали датасет из шести тысяч обезличенных снимков УЗИ беременных женщин. Идею проекта предложил фонд "Спина бифида" при поддержке врачей из НМИЦ Кулакова.
При создании технологии специалисты обучили сразу несколько моделей. YOLOv10 отвечала за поиск зоны интереса и категоризацию плоскости. А две модели DenseNet121 использовались для определения корректности изображения и поиска патологии отдельно для аксиальной и сагиттальной плоскости. Весь процесс, включая инференс и интерпретацию результатов через GradCAM был реализован с помощью библиотеки MONAI.
Команда проекта выложила код в открытый доступ: любой заинтересованный IT-специалист может принять участие в развитии проекта. Кроме того, технология открывает возможности для создания новых медицинских сервисов.
Эксперты Yandex Cloud создали нейросеть, благодаря которой врачи смогут своевременно обнаружить патологию развития плода при ранних сроках беременности — spina bifida. Для обучения модели использовали датасет из шести тысяч обезличенных снимков УЗИ беременных женщин. Идею проекта предложил фонд "Спина бифида" при поддержке врачей из НМИЦ Кулакова.
При создании технологии специалисты обучили сразу несколько моделей. YOLOv10 отвечала за поиск зоны интереса и категоризацию плоскости. А две модели DenseNet121 использовались для определения корректности изображения и поиска патологии отдельно для аксиальной и сагиттальной плоскости. Весь процесс, включая инференс и интерпретацию результатов через GradCAM был реализован с помощью библиотеки MONAI.
Команда проекта выложила код в открытый доступ: любой заинтересованный IT-специалист может принять участие в развитии проекта. Кроме того, технология открывает возможности для создания новых медицинских сервисов.
yandex.cloud
Как нейросети помогают врачам выявлять редкую патологию spina bifida при беременности
Рассказываем, как фонд «Спина бифида» поддерживает людей с заболеванием, чем НМИЦ АГП им. В. И. Кулакова занимается в области лечения патологии и как технологии и экспертиза Yandex Cloud и ШАД помогают выявлять spina bifida на ранних сроках беременности.