О, вышел PyTorch 2.9

Что новенького:

🟦 FlexAttention стал доступен еще шире. Добавили на Intel GPU, плюс появились flash-decoding оптимизации на x86 CPU (ускорения инференса трансформеров без спец. CUDA-ядер).

🟦В torch.compile теперь можно переключать поведение на graph breaks, то есть выбирать, падать с ошибкой или продолжать.

🟦 Официальные бинарники теперь выходят сразу с вариантами для ROCm (AMD), XPU (Intel GPU) и CUDA 13. Это сильно упрощает GPU-старт из коробки вне NVIDIA, особенно на ROCm.

🟦 Обновили стабильный libtorch ABI. Теперь должно быть меньше сюрпризов при сборке и обновлении сторонних C++/CUDA экстеншнов.

🟦 Выкатили symmetric memory – новую модель памяти, которая должна облегчить написание multi-GPU ядер и кода.

Кстати, релиз собрали из 3216 коммитов от 452 контрибьюторов. Опенсорс – сила 💪

pytorch.org/blog/pytorch-2-9/

Microsoft выкатили ОС для экстравертов

Они прикрутили к Windows 11 Copilot и назвали это «компьютером, с которым можно разговаривать».

Пока это похоже на чуть улучшенную версию Siri. Агент реагирует на «Hey, Copilot» и может помочь с какой-нибудь не очень сложной задачей: типа разобраться в работе приложения или найти какой-нибудь файл.

Отличная новость, но мы пошли дальше молча стучать по клавиатуре самостоятельно 🎮

У Дваркеша Пателя вышло огромное интервью с Андреем Карпаты

Естественно, там есть что обсудить. Поехали по самым ярким цитатам и мыслям:

⚪️ До AGI еще десятилетия, несмотря на то, что прогнозируют нам CEO стартапов. Агенты еще долго не смогут никого заменить полноценно: не хватает интеллекта, мультимодальности, надёжного компьютер-юза, долгой памяти/континуума обучения.

⚪️ RL – костыль. Он работает «через соломинку»: слишком мало полезного сигнала для слишком большого количества действий. То есть мы совершаем длинную цепочку действий, а в конце получаем в качестве реварда всего одно число. Этот сигнал размазывается на всю последовательность, даже если некоторые шаги были удачные, а другие нет. Получается огромный шум и слабое обучение.

⚪️ Скайнета не будет, но из-за ИИ человечество рискует потерять контроль. По мере автоматизации люди будут все меньше и меньше принимать решения, и в конце концов мы вообще перестанем понимать, что происходит: весь мир станет для человечества черным ящиком. Think about it, как говорится.

Обязательно смотрим полностью здесь -> youtu.be/lXUZvyajciY

Школа Высшей Математики открывает набор на курс по созданию AI агентов

Обычно подобные курсы часто заканчиваются на этапе теории (ну либо вся практика – это просто no-code инструменты). Но ШВМ сделали практично и хардово, так что смело можно рекомендовать.

– Начнется все с быстрого напоминания того, что вообще такое LLM – с акцентом на особенности и ограничения их как алгоритма
– Дальше будет подробный разбор RAG, алгоритмов векторного поиска и метрик
– А потом начнется основная часть и все самое актуальное: мультиагентные системы, LangGraph и LangChain, MCP, обучение и подкреплением и так далее.

Что особенно нравится: каждую тему объясняют буквально From first principles, то есть математично. Например, когда вы будете проходить мультиагентные системы, то будете анализировать их совместные статистические распределения. Настоящая редкость в индустрии курсов.

Ну и практика, практика, и еще раз практика. В рамках курса вы сами напишете несколько агентных систем – в том числе для ваших собственных задач.

Автор курса и спикер – исследователь данных в Sber, Глеб Шевчук-Генне. Он много занимался файн-тюнингом LLM (в т.ч. GigaChat), внедрением RAG в корпоративные системы, а также проектами в области NLP, CV и мультиагентных систем.

Регистрироваться нужно здесь: ссылка

P.S. Для наших подписиков дали промокод на -25%: DS25 🎁

Как Google оптимизируют датацентры с помощью ИИ

Вспомните тетрис. Там нужно уложить фигурки как можно плотнее, чтобы не было пустого места. В облачных датацентрах типа Google Cloud возникает очень похожая задача.

Есть физические сервера, на которых запускаются виртуальные машины для разных задач. Эти ВМ появляются, работают какое-то время и исчезают. При этом кто-то берет ВМ под тест, и она работает 15-20 минут, а кто-то хостит на ней БД месяцами.

Заранее узнать, сколько будет жить ВМ, нельзя. При этом есть конкретная опиимизационная задача: уложить их так, чтобы максимально эффективно и плотно использовать ресурсы. Как в тетрисе.

Простая оптимизация тут не сработает именно из-за наличия неопределенности. Так что Google подумали и прикрутили вероятностную ML-модель.

Она предсказывает распределение вероятностей срока жизни ВМ, основываясь на генеральном распределении (оно, кстати, сильно скошенное), метаданных ВМ, поведении пользователя, способе создания и тд. На выходе мы получаем что-то типа «С вероятностью 80% эта ВМ проживет час, с вероятностью 15% – день, и 5% – дольше недели». Это называется survival analysis.

Занятно, что прогноз динамический и обновляется со временем. Например, если виртуалка всё ещё работает через 10 дней, модель пересматривает оценку.

И вот основываясь на таком предсказанном распределении уже работают опимизационные алгоритмы. Например, планировщик, который пытается переложить несколько одинаковых ВМ на один сервер, чтобы освободить его полностью позже. Или алгоритм, который наоборот ставит короткоживущие ВМ на сервера с долгоживущими, чтобы заполнить мелкие пробелы, которые иначе были бы потеряны.

Ну и метрики. Google уже протестили подход на своих серверах и (внимание!) простои оборудования снизились в среднем на 5%. Представьте, сколько это в долларах 🙂

Отличная работа и крутой кейс

research.google/blog/solving-virtual-machine-puzzles-how-ai-is-optimizing-cloud-computing/

OpenAI немного переборщили с маркетингом и опозорились на весь Твиттер

Помните, мы рассказывали, что GPT-5 "решила" открытую задачу по математике из списка Эрдёша? Кратко освежаем память: решить-то модель задачу решила, вот только решение было не ее. Она откопала его в литературе 20-летней давности. То есть задача уже была кем-то решена кучу лет назад, просто люди об этом забыли и пометили ее как "нерешенную".

Ну так вот. У истории появилось продолжение, и при этом не совсем приятное. Ровно таким же образом GPT-5 "решила" еще 10 задачек из того же списка AKA нашла их решение в забытой литературе. И вроде бы все норм: моделька молодец, умеет качественно серчить материал, честно сообщает об источниках и все такое.

Вот только сотрудники OpenAI почему-то решили запостить это вот с такими словами: "GPT-5 нашла решения еще 10 открытых задач по математике".

И да, с одной стороны, где-то там они сослались на прошлые твиты, в которых прямо говорили, что решения были найдены именно в литературе, а не выдуманы моделью. С другой стороны, если читатель не знаком с предысторией (что очень вероятно), то для него это однозначно звучит как "ИИ открыл новую математику".

Невольно появляется ощущение, что OpenAI на то и рассчитывали, и выбрали такую формулировку специально, чтобы похайпиться. Но Твиттер подобного не прощает, и в итоге вместо хайпа они заслужили только волну насмешек и обвинений. Даже нобелевский лауреат из Google Демис Хассабис прокомментировал ситуацию как "Это позор".

В итоге твит с неудачной формулировкой был удален, а авторы оправдались тем, что ничего такого в виду не имели. Верим 🤖

Alibaba нашли способ сократить потребность в GPU на 82%

Немножко контекста. Чаще всего в облаке, на котором хостится несколько моделей, каждую модель привязывают к определенным GPU. Например, Llama-70B → 8× A100.

И даже если к модели в данный момент никто не обращается, видеокарта все равно остается зарезервированной и простаивает, потому что веса уже подгружены.

В Alibaba выяснили, что такой невинный простой на самом деле кушает море ресурсов. Оказалось, что на их облаке 17.7% всех GPU были заняты моделями, которые обрабатывали лишь 1.35% всех запросов. Во-первых, это жутко неэффективно. Во-вторых, такую систему очень сложно масштабировать, если появятся еще модели.

Поэтому китайцы взялись за оптимизацию и предложили штуку под названием Aegaeon (не спрашивайте, как это выговаривать). Это система, в которой вместо однозначного сопоставления «модель-видеокарта», каждая GPU может обрабатывать несколько моделей одновременно.

Это чем-то похоже на Kubernetes: кластер превращается в единый пуллинг, который умеет динамически выделять и освобождать память.

Основная идея в том, что система переключается на уровне токенов, а не целых запросов. Обычно модель загружается в память целиком и работает, пока не закончит ответ. Aegaeon же разбивает процесс на prefill и decode, и чередует их между моделями прямо во время генерации.

Это происходит без полной инициализации: планировщик кэширует нужные части в VRAM, а остальное подгружает при необходимости. Так что задержки есть, но минимальные – в пределах 3-5%.

Сейчас Aegaeon уже работает непосредственно в Alibaba Cloud. И инженеры заявляют, что им удалось снизить количество необходимых GPU с 1192 до 213. Это минус 82%!

Голь на выдумку хитра, а уж китайцы, которым запретили ввоз GPU, тем более 🍿

dl.acm.org/doi/10.1145/3731569.3764815