268K subscribers
3.94K photos
674 videos
17 files
4.53K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
Media is too big
VIEW IN TELEGRAM
✔️ Марк Цукерберг снова реструктурирует свое ИИ-подразделение.

Компания намерена разделить Superintelligence Labs на 4 специализированных подразделения: FAIR, новый проект по созданию суперинтеллекта, потребительские продукты и поддерживающая инфраструктура.

Каждое подразделение получит своего руководителя. Проект по суперинтеллекту возглавит Александр Ванг, FAIR - пионер компьютерного зрения Роберт Фергюс, разработку продуктов - бывший CEO GitHub Нэт Фридман, а инфраструктуру - Апарна Рамани.

В рамках реорганизации тысячи инженеров будут перераспределены. Кроме того, рассматриваются варианты сокращения общей численности персонала, а несколько топ-менеджеров, как ожидается, покинут компанию.
bloomberg.com

✔️ Microsoft встроила Copilot прямо в ячейки Excel.

Microsoft добавила в Excel новую функцию =COPILOT, которая позволяет использовать возможности LLM непосредственно в ячейках электронных таблиц. Теперь пользователи могут выполнять анализ данных, классификацию текста и генерацию контента, просто написав запрос на естественном языке и указав нужные диапазоны ячеек.

Главный плюс - интеграция в движок Excel. При изменении исходных данных результаты, сгенерированные ИИ, обновляются автоматически. Функцию можно комбинировать со стандартными формулами.

Функция уже доступна для бета-тестеров с лицензией Microsoft 365 Copilot.
techcommunity.microsoft.com

✔️ Билл Гейтс учредил премию в $1 млн. за лучшее применение ИИ в исследовании болезни Альцгеймера.

Билл Гейтс запустил конкурс Alzheimer’s Insights AI Prize, цель которого - найти алгоритмы и модели, способные выявить новые мишени для лекарств, биомаркеры или закономерности в развитии болезни Альцгеймера, которые остались незамеченными при традиционных методах анализа.

Победителя определит жюри из нейробиологов и экспертов по машинному обучению. Главный критерий - решение должно демонстрировать явный потенциал для ускорения клинических прорывов. В конкурсе могут принять участие академические лаборатории, стартапы и технологические компании со всего мира. Заявки принимаются до конца года, а победителя объявят в 2026 году.
ft.com

✔️ Lightning AI запустила мультиоблачный маркетплейс GPU.

Маркетплейс позволяет клиентам сравнивать, резервировать и запускать GPU от разных провайдеров - от облачных гигантов до специализированных поставщиков через единый интерфейс.

Сервис отображает цены и данные о производительности чипов. Пользователи могут переключаться между провайдерами без необходимости переписывать код, выбирая спотовые, on-premise или зарезервированные мощности для оптимизации затрат, производительности или географического расположения.

Базовый доступ к маркетплейсу бесплатен. Подписка для небольших команд стоит 140 долларов в месяц на пользователя, а корпоративные тарифы обсуждаются индивидуально.
semafor.com

✔️ Adobe представила единое рабочее пространство с ИИ-ассистентами.

Adobe запустила новую платформу Acrobat Studio, которая объединяет в одном интерфейсе Acrobat Pro, Adobe Express и набор генеративных ИИ-инструментов. Сервис позволяет загружать и анализировать до 100 файлов различных форматов: PDF и офисные документы в рамках совместных рабочих областей «PDF Spaces».

Встроенный чат-бот может суммировать содержимое, цитировать источники и отвечать на вопросы по всем загруженным материалам. Кроме того, доступны 3 ИИ-агента : "Analyst", "Instructor" и «Entertainer», которых можно кастомизировать под конкретные задачи.

Acrobat Studio уже доступен по всему миру на английском языке и позиционируется как замена существующим планам Acrobat Standard и Pro. До конца октября действует специальная цена в 25 долл/мес для индивидуальных пользователей. Подписка также включает доступ к Adobe Express Premium.
news.adobe.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
40👍15🔥62🤔1
Полезные материалы про LLM и AI-агентов от магистратуры AI Talent Hub

📹 Лекция | Построение инфраструктуры для LLM: опыт X5 Tech
📹 Лекция | Код-ассистенты: Как Al-агенты помогают в разработке?
📹 Воркшоп | Базовый RAG: создай свой поисковик на LLM
📹 Reading Club | Михаил Бурцев – Как сделать LLM еще умнее?
📹 Reading Club | Валентин Малых – Как улучшить ИИ-генерацию кода?

Подборки AI-тулзов
🔘 Open-source фреймворки для AI-агентов
🔘 Всё для создания MCP-агентов
🔘 AI-инструменты для кодинга
🔘 АI-сервисы для научных исследований
🔘 Гайды по промптингу

➡️ Хочешь освоить AI на практике и положить минимум 4 ML-проекта в портфолио? Подай заявку в AI Talent Hub до 27 августа.

80+ выборных курсов по AI/ML (в том числе курсы от ШАД) и 15+ курсов по софтам
Онлайн-обучение в вечернее время с привелегиями очной формы: стипендия, общежитие, отсрочка
Практика на кейсах от Яндекс, Альфа-Банк, Napoleon IT, AIRI и других индустриальных партнеров.
Комьюнити: менторы из науки и бизнеса, бадди-система, помогающая адаптироваться и расти быстрее.
Новая программа — для AI-продактов
Диплом ИТМО

* AI Talent Hub — онлайн-магистартура по ИИ от ИТМО и лучший просветительский проект в GenAI по версии Gnertion AI Awards 2025 😎

@aitalenthubnews

Реклама. Университет ИТМО ИНН:7813045547
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2811😁7🔥6🌭2🌚1
📌Синтетика BeyondWeb: как 3B модель, обученная на ней, обходит 8B модели.

Есть такая проблема в обучении моделей, называется "Data Wall". Это когда просто добавлять все больше текста из интернета уже не помогает улучшать большие языковые модели. Синтетические данные стали решением, но как именно они работают, до сих пор было не до конца понятно.

Метод, разработанный DatologyAI переосмысливает синтетику и показывает, как она может быть эффективна. Модель на 3 миллиарда параметров, обученная на 180 миллиардах токенов BeyondWeb, работает лучше, чем 8-миллиардная модель на данных Cosmopedia.

BeyondWeb — это не просто еще один датасет, а целая методология, основанная на перефразировании источников. Иными словами, она не генерирует знания с нуля. Вместо этого берется существующий веб-контент и перерабатывается в более качественные и целевые форматы, например, в пары вопрос-ответ. Это дешевле и позволяет добиться большего разнообразия.

🟡Цифры.

На 14 тестах модель, обученная на BeyondWeb, показывает точность 63.7%. Это на 2.6% лучше, чем у конкурента Nemotron-Synth, и на 5.1% лучше, чем у Cosmopedia.

🟡Эффективность.

Чтобы достичь уровня RedPajama, BeyondWeb нужно в 7.7 раз меньше данных. А уровня Nemotron-Synth — в 2.7 раза меньше.

Ключевые выводы, к которым пришли авторы проведенного исследования, экспериментируя с фреймворком:

🟢Во-первых, синтетика — это не просто дистилляция знаний.

Простая суммаризация веб-текста для повышения плотности информации дает результат, сравнимый с Cosmopedia, но подход BeyondWeb значительно его превосходит.

🟢Во-вторых, синтетика может пробить "Data Wall", но не любая.

Наивное дописывание существующего текста дает лишь скромный прирост, а вот стратегически созданные данные, заполняющие пробелы знаний, могут превзойти потолок производительности, достигаемый на чисто естественных данных.

🟢В-третьих, качество исходных данных имеет решающее значение.

Перефразирование качественного веба дает гораздо лучшие результаты, чем облагораживание низкокачественного. Также важен стиль: в вебе всего 2.7% контента имеет диалоговый формат, хотя это основной сценарий использования LLM.

🟢В-четвертых - разнообразие.

При масштабировании до триллионов токенов именно разнообразие стратегий генерации синтетики (вопрос-ответ, MCQ, логические задачи и т.д.) позволяет избежать стагнации и продолжать улучшать модель.

🟡И самое интересное.

Эксперименты показали, что размер модели-генератора не так важен. Переход с 1 млрд. на 3 млрд. параметров дает прирост, а с 3 на 8 - уже почти нет. Значит, не нужны огромные модели, чтобы создавать качественные синтетические данные.


🟡Статья
🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #BeyondWeb #DatologyAI
Please open Telegram to view this post
VIEW IN TELEGRAM
170👍20🔥17🫡2
📌 MTС Web Services даст возможность партнерам продавать MWS GPT и MWS Data

Компания запустила новую партнерскую программу, которая включает три модели сотрудничества:

🟡 Агентская. Партнёр регистрирует лид — всю сделку закрывает MWS. Вознаграждение партнера до 20%.
🟡 Реселлерская. Партнёр закупает сервисы по спецценам и перепродаёт клиентам. Выгода - до 35%.
🟡 Разработчик (white-label). Сервисы MWS — GPT, Data, Cloud — можно встроить в собственные продукты без раскрытия бренда.

Ключевое отличие — гибкость. Можно продавать под маркой MWS, а можно под своей.

Ассортимент: платформа для работы с разными LLM - MWS GPT, комплекс инструментов для хранения, обработки, визуализации, контроля качества и безопасности данных MWS Data, облако MWS Cloud с GPU-инстансами, контейнерные платформы, Octapi для интеграции, корпоративные сервисы (почта, решение для совместной работы Tables, диск).


Экономика: MWS ожидает рост выручки по партнёрской схеме в 7 раз, планирует привлечь 300+ компаний.

Первыми в программе уже Neoflex, «Концепт разработка» и GlowByte.

Подробности тут.

@ai_machinelearning_big_data
👍239🔥6😁4🤣2🥱1
☀️ Surya: фундаментальные модели ИИ для гелиофизики и предсказания воздействии солнца на космическое и земное пространство.

NASA и IBM
выпустили в опенсорс Surya Heliophysics Foundational Model — крупномасштабную ИИ-модель, обученную на данных за 9 лет наблюдений за космосом спутника Solar Dynamics Observatory (SDO).

🟢 Зачем это нужно:
Солнечные бури влияют на нашу жизнь:
🛰️ могут вывести из строя спутники
✈️ нарушить работу навигации в самолётах
вызвать перебои с электричеством
👨‍🚀 создать радиационную угрозу для астронавтов

Иногда вспышки сопровождаются потоками частиц, которые повреждают электронику и опасны для здоровья.

🟠 Чем интересна Surya:
- Обучена на 9 годах наблюдений за Солнцем
- Позволяет предсказать вспышки на солнце за 2 часа до их
- Показывает точное место на Солнце, где произойдёт вспышка
- Помогает заранее подготовиться авиации, энергетике и связи к возможным проблемам.

🚀 IBM и NASA десятилетиями работали над моделями климата и погоды на Земле. Теперь они перешли к прогнозированию «космической погоды».

HF: https://huggingface.co/nasa-ibm-ai4science
Модели: https://huggingface.co/nasa-ibm-ai4science/models
Датасеты: https://huggingface.co/nasa-ibm-ai4science/datasets

@ai_machinelearning_big_data

#AI4Science #Heliophysics #OpenScience #MachineLearning #NASA #IBM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10121👍14🤩2🤣1
Media is too big
VIEW IN TELEGRAM
✔️ Сотни тысяч приватных чатов Grok проиндексированы поисковиками.

xAI допустила утечку данных: сотни тысяч личных переписок пользователей с чат-ботом Grok оказались в открытом доступе и были проиндексированы поисковиком Google. По оценкам Forbes, в индексе оказалось более 370 000 ссылок на чаты.

Причиной утечки стала функция «Поделиться». При ее использовании генерируется уникальный URL, который и попадает в поле зрения поисковых роботов. В результате в открытом доступе оказались как обычные рабочие запросы, так и конфиденциальная информация, включая медицинские данные, пароли, загруженные изображения и таблицы.

В xAI пока не прокомментировали ситуацию. Этот инцидент напоминает похожий случай с ChatGPT от OpenAI, когда ссылки на чаты также попали в поисковую выдачу, но проблема была оперативно устранена.
forbes.com

✔️ Ai2 представил бенчмарк для проверки способности LLM к сложным рассуждениям.

MoNaCo - новый бенчмарк для оценки вопросно-ответных систем. Он состоит из 1315 естественных и сложных вопросов, ответы на которые требуют анализа и синтеза информации из десятков, а иногда и сотен различных источников.

MoNaCo должен устранить разрыв между возможностями современных LLM и существующими методами их оценки. Большинство текущих бенчмарков либо слишком просты, либо состоят из сгенерированных вопросов.

Тестирование 15 топовых LLM показало, что все они испытывают трудности. Лучшая модель, o3, достигла F1-меры в 61.2%, дав абсолютно точный ответ лишь в 38.7% случаев. Производительность моделей резко падает с увеличением числа необходимых источников и шагов рассуждения. Бенчмарк уже доступен на Hugging Face.
allenai.org

✔️ Робота Figure 02 научили ходить по пересеченной местности без использования камер.

Figure AI показала новые возможности своего гуманоидного робота Figure 02. На видео он уверенно преодолевает препятствия, используя новую систему локомоции - Helix. По словам основателя компании, система управления ходьбой обучена с помощью RL и позволяет роботу передвигаться, полагаясь исключительно на внутренние датчики для поддержания равновесия, без данных с камер.

В Figure AI описывают достигнутую стабильность и надежность как "почти сверхчеловеческую". Helix является частью более широкой архитектуры VLA, которая объединяет восприятие, понимание языка и управление моторикой для координации движений всего тела робота.
Brett Adcock (Основатель Figure AI) в сети Х

✔️ В Google Photos появилась функция редактирования фото с помощью голосовых команд.

Функция под названием "Редактируй, спрашивая" (edit by asking) способна выполнять как базовые задачи - коррекцию освещения или удаление объектов, так и более творческие, например, замену фона или добавление новых элементов на снимок.

Инструмент работает на базе модели Gemini. Первыми доступ к нему получат владельцы новых смартфонов Pixel 10 в США на следующей неделе. В течение ближайших недель функция станет доступна и на других устройствах под управлением Android и iOS.
techcrunch.com

✔️ Microsoft и NFL внедрят Copilot для анализа игр и скаутинга.

Microsoft и NFL объявили о продлении своего технологического альянса. В рамках нового соглашения в работу лиги будут внедрены инструменты на базе генеративного ИИ которые затронут как игровые, так и бизнес-операции.

Ключевым элементом станет система Sideline Viewing System, которая получит более 2500 кастомизированных планшетов Surface Copilot — по одному для каждого игрока и тренера во всех 32 командах. Новое ПО позволит тренерскому штабу за считанные секунды получать статистику по игровым моментам, заменяя ручной поиск данных.

Помимо поля, Copilot будет использоваться для анализа драфта, управления потолком зарплат и разработки приложений для болельщиков. Microsoft также планирует расширить применение Azure AI для скаутинга и анализа видео, основываясь на успешном опыте пилотного проекта на NFL Combine в этом году.
news.microsoft.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
37👍13🔥7😁1🤔1😨1💘1
📘 На Stepik вышел курс — «LangChain: с нуля до продакшн LLM-приложений»

Нужен не игрушечный бот, а воспроизводимый RAG-пайплайн с метриками и сервисом? Этот курс — про путь «ноутбук → FastAPI → прод».

🔍 Что вы получите
• RAG по PDF с цитированием источников и гибридным поиском (BM25 + вектор + rerank); контроль галлюцинаций через метрики (precision/recall@K, citation-rate)
• Инструменты и агенты для анализа данных: Pandas-задачи, структурированный JSON-вывод под отчёты/дашборды
• Продакшн-контур: FastAPI-сервис, логирование латентности/токенов, PromptOps (версии/A/B), базовый SLA-мониторинг

🎓 Сертификат по завершении — можно добавить в резюме или LinkedIn

🚀 Начните сегодня и получите скидку 25% в течение 72 часов

👉 Пройти курс на Stepik

#LangChain #RAG #LLM #FastAPI
🗿48👍3216🤣12🔥6🥱4🤔1🤬1
📌Python на взлете, а Python Software Foundation в минусе на 1.5 млн. долларов: разбираем свежий опрос.

Python Software Foundation (PSF) совместно с JetBrains опубликовала результаты восьмого, самого крупного в истории опроса разработчиков - в нём приняли участие более 30 000 человек.

Данные, собранные в конце 2024 года, показывают, что 72% респондентов используют Python в рабочих целях и это подтверждает доминирующую роль языка в индустрии. И популярность Python продолжает расти: согласно другому исследованию, от Stack Overflow, использование языка увеличилось на 7%.

🟡Приток свежей крови в экосистему.

Половина опрошенных имеют менее 2 лет профессионального опыта в программировании, а 39% начали использовать Python в течение последних 2 лет. Это говорит о том, что язык активно привлекает новичков и остается ключевой точкой входа в разработку.

🟡Парадокс версий.

Только 15% разработчиков используют последнюю на момент опроса версию, 3.13. В PSF утверждают, что массовый переход на нее мог бы сэкономить миллионы долларов на облачных вычислениях за счет повышения эффективности.

Однако сами разработчики не торопятся: 53% заявляют, что текущая версия полностью удовлетворяет их потребности, 27% ссылаются на проблемы с совместимостью, а 25% - на нехватку времени.

При этом нельзя сказать, что сообщество инертно. Самая популярная версия - 3.12 (35%), выпущенная в конце 2023 года, за ней следует 3.11 (21%), что говорит о довольно быстрой адаптации к не самым последним, но свежим релизам.

🟡Сферы применения.

Анализ данных (48%) и веб-разработка (46%) идут практически вровень. Но если к анализу прибавить ML (41%) и инжиниринг данных (31%), то доминирование Data Science становится очевидным.

В мире веб-фреймворков происходит смена караула: FastAPI (38%) резко вырвался вперед, обогнав ветеранов: Django (35%) и Flask (34%). Год назад у FastAPI было всего 29%.

Ещё один стремительный взлёт — у написанного на Rust менеджера пакетов uv, который позиционируется как замена pip. Заявляя о кратном превосходстве в скорости, он уже отхватил 11% пользователей.

А вот в лагере IDE плохие новости для спонсора опроса, JetBrains: Visual Studio Code укрепил свое лидерство, набрав 48% (против 41% в прошлом году), а доля PyCharm снизилась до 25% (с 31%).

🟡Финансовые проблемы Python Software Foundation.

Ранее в этом месяце PSF объявила о приостановке своей грантовой программы из-за нехватки средств.

Годовой отчет за 2024 год показал чистый убыток в размере 1 462 000 долларов, что значительно больше, чем в 2023 году, там убыток был 225 000 долларов.

Фонд, который поддерживает репозиторий PyPI, дистрибуцию самого Python и нанимает разработчиков для CPython, оказался в сложной ситуации и явно нуждается в большей поддержке и ресурсах от корпораций, которые строят свой бизнес и получают доход на Python.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
47👍27🔥8😢7👌3❤‍🔥1
Получи грант до 1,65 млн. ₽ на магистратуру «ИИ и компьютерное зрение» и получи 2 диплома: НИУ ВШЭ + НЕЙМАРК!

Стань AI-инженером мирового уровня и зарабатывай до 1 млн. ₽
Уже сейчас работодатели активно ищут таких специалистов, и спрос на них будет только расти!

Магистратура в ИТ-университете НЕЙМАРК — это:
1) онлайн обучение на английском языке
2) реальные задачи от Intel, Huawei, SBERLAB и других
3) возможность запустить стартап при поддержке наставников во время обучения
4) отсрочка от армии

Узнай, как получить грант и учиться бесплатно — переходи в бот и забирай инструкцию!

Реклама. НЕЙМАРК, УНИВЕРСИТЕТ НЕЙМАРК. ИНН 5256209106.
😁3510🗿6👍5🔥2🤷‍♀1🍾1
📌Как создавали RL-агент AutoGLM-OS, который выбил SOTA на OSWorld, обогнав OpenAI и Anthropic.

Автономные агенты, способные управлять рабочим столом - это Грааль современного HCI. Но их обучение сопряжено с трудностями: GUI созданы для людей, а не для машин, а масштабирование RL упирается в неэффективность и нестабильность сред.

В Z.ai сделали фреймворк COMPUTERRL, который лег в основу агента AutoGLM-OS. Результат - state-of-the-art на бенчмарке OSWorld: 48.1% успешных выполнений и это лучше, чем у OpenAI CUA 03 (42.9%), UI-TARS-1.5 (42.5%) и Claude 4.0 Sonnet (30.7%).

OSWorld — это крупный бенчмарк из 369 заданий для проверки многомодальных ИИ-агентов в реальных условиях. Он работает в Ubuntu, Windows и macOS.

В нем ИИ выполняет открытые задачи: работает с веб- и десктопными приложениями, управляет файлами, запускает процессы. Каждое задание имеет четкие начальные условия и скрипты для оценки, чтобы результаты можно было воспроизвести.


Такие высокие показатели - результат комбинации 3-х инноваций.

🟡Новая парадигма взаимодействия API-GUI.

Фреймворк объединяет GUI-взаимодействия с быстрыми и точными API-вызовами образуя систему, которая через LLM автоматически анализирует примеры задач, генерирует необходимый API-код для стандартных приложений Ubuntu и даже создает для него базовые тесты.
Таким образом, агент использует быстрые API там, где это возможно, и переключается на GUI для общих задач, что повышает и скорость, и надежность. Абляция показала, что переход от GUI-only к API-GUI поднимает средний показатель успеха с 11.2% до 26.2%.

🟡Масштабируемая распределенная RL-инфраструктура.

OSWorld крайне ресурсоемок, и запуск множества его экземпляров на одном узле это тот еще квест. Z.ai полностью переработали эту среду, используя qemu-in-docker для легковесного развертывания VM, gRPC для связи между узлами и полностью асинхронный фреймворк AgentRL. Это позволило создать кластер из тысяч параллельных виртуальных сред, к котором онлайн-обучение RL-агентов стало максимально эффективным.

🟡Стратегия обучения Entropulse.

Entropulse решает проблему коллапса энтропии, чередуя фазы RL с периодическими сессиями SFT. Во время RL-фазы собираются все успешные траектории, и на их основе формируется новый SFT-датасет. Затем модель дообучается на этом датасете, что позволяет восстановить её исследовательскую способность без потери производительности. После этого запускается вторая, более эффективная фаза RL.

Эта стратегия позволила AutoGLM-OS, построенному на базе 9B GLM-4, достичь финального результата в 48.1%, в то время как после первой RL-фазы показатель был 42.0%.


🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #Agents #AutoGLM #Zai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6418🔥7💅2💘1
📌Облачные технологии — базовый минимум современного IT-специалиста.

Речь не только про возможность войти в перспективные профессии: DevOps-инженер, аналитик, backend-разработчик, ML-инженер, но и про базовую грамотность в IT, которая сегодня нужна всем. Ведь сейчас почти любой цифровой сервис — от приложений до нейросетей — работает в облаке.

Если хочется наконец понять, какая сфера тебе ближе и куда развиваться дальше в комфортном для себя режиме, сейчас открыта регистрация на бесплатный курс «Основы работы с Yandex Cloud» от архитекторов и менеджеров платформы. Материал курса рассчитан на 30 часов и разделён на 7 тем с теорией и практикой.

🤖Чем это полезно? Даже понимание основ даёт сильное преимущество в резюме, поэтому при поиске работы можно отмечать навык как практику на реальных инструментах.

🔥Внутри курса:
— облачные технологии и основные термины: IaaS, PaaS, SaaS;
— элементы облачной инфраструктуры: регионы, зоны доступности, центры обработки данных;
— виртуальные машины и управление ими в Yandex Cloud;
— безопасность и отказоустойчивость в облаке;
— использование облачных баз данных и других инструментов для работы с данными;
— сервисы Yandex Cloud и их применение для бизнеса и личных проектов.

Регистрируйтесь сегодня, пополняйте резюме новой ачивкой — стоящим сертификатом — и переходите на уровень знаний в IT.

@ai_machinelearning_big_data
23🤣8👍7🔥6👏4
PyTorch представил **ZenFlow** — новый движок для обучения больших языковых моделей без «простоев» GPU.

В чём проблема?
Когда при обучении LLM данные и градиенты выгружаются на CPU (offloading), GPU часто простаивает: шина PCIe медленная, а вычисления на CPU ещё медленнее. В итоге шаг обучения может замедлиться в 10–15 раз.

Как решает ZenFlow:
- 🔄 Делит градиенты по важности: ключевые обновляются сразу на GPU, остальные — асинхронно на CPU.
- ⏱️ Все операции перекрываются: пока CPU считает и гоняет данные по PCIe, GPU продолжает работать.
- 🚀 Это снижает простои GPU на 85% и ускоряет обучение в среднем в 5 раз (по сравнению с DeepSpeed ZeRO-Offload).
- 📉 PCIe загружается в 2 раза меньше, а качество обучения моделей не падает.

Итог:
ZenFlow делает обучение LLM быстрее и эффективнее — теперь GPU работают почти без перерывов, а модели масштабируются без потери качества.

🟢 Подробности: https://pytorch.org/blog/zenflow-stall-free-offloading-engine-for-llm-training/

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10032🔥23👏3❤‍🔥1