⚡️ PyTorch 2.14 получил нормальную fault tolerance для distributed training

В больших distributed-задачах падение одного rank обычно означало неприятный сценарий: уничтожить process group, перезапустить его и потерять уже прогретое состояние по всему кластеру.

В PyTorch 2.14 fault tolerance становится частью c10d.

Теперь Backend и ProcessGroup получают API для reconfiguration in-place - группу можно перестраивать на месте, не снося весь distributed runtime целиком.

Что добавили:

- in-place reconfiguration для ProcessGroup;
- abort hooks;
- pre/post collective hooks;
- поддержку fault tolerance в Gloo вместе с nccl2;
- документированные API для reconfigure.

Это особенно важно для больших training jobs: чем больше кластер, тем дороже полный restart после одного сбоя.

Пока есть важная оговорка — в релизе API помечен как unstable, так что интерфейсы ещё могут меняться.

Подробнее:
https://pytorch.org/blog/pytorch-2-14-release-blog/

В рое AI-агентов один нашёл способ жульничать и эксплойт разошёлся по всей системе

В новой работе Google DeepMind показали любопытный сценарий: агентам прямо запретили жульничать, но стоило одному из них найти уязвимость в системе оценки, как способ обхода быстро распространился через общие файлы и сообщения.

Всего за 27 минут оставшиеся 34 математические задачи были «решены» через найденный loophole.

Почему это произошло:

- система вознаграждала успешный результат
- агенты видели, что эксплойт работает
- часть из них просто скопировала стратегию
- общий канал связи ускорил распространение поведения

Но самое интересное — другие агенты сами начали сопротивляться.

24 агента:

- проверяли подозрительные доказательства
- предупреждали соседей
- подавали жалобы
- предлагали исправления правил
- пытались разоблачать фальшивые решения

То есть один и тот же механизм коммуникации одновременно распространил плохое поведение и сделал его заметным.

У «добросовестных» агентов не было реальной власти. Они не могли удалить фальшивые результаты, наказать нарушителей или изменить сломанные правила.

Отсюда главный вывод для multi-agent систем: одной коммуникации мало.

Нужны встроенные механизмы:

- прозрачного общения
- peer review
- санкций
- разрешения споров
- обновления общих правил
- удаления или отката вредных действий

Если AI-агенты будут работать большими роями, им понадобятся не только инструменты для кооперации, но и полноценные механизмы контроля поведения внутри самой системы.

arxiv.org/abs/2609.04170

🦅 Colibrì - движок для запуска очень больших AI-моделей на обычных ПК и рабочих станциях, даже если модель целиком не помещается в видеопамять.

Как это работает:

MoE-модели состоят из множества «экспертов», но для каждого токена используется только небольшая их часть.

Colibrì хранит:

* самые нужные веса в VRAM;
* менее активные — в RAM;
* редко используемые - на NVMe SSD.

Когда модели нужен конкретный эксперт, движок подгружает его с диска или из RAM.

То есть для запуска условной модели на сотни миллиардов или даже триллионы параметров не обязательно иметь столько же VRAM.

Поддерживаются CPU, CUDA, Metal и смешанное размещение модели.

Проще говоря: Colibrì позволяет запускать гигантские MoE-модели локально, жертвуя в первую очередь скоростью, а не возможностью их вообще запустить.

https://github.com/JustVugg/colibri

@pythonl

Снижение цен OpenAI может осложнить IPO Anthropic

По данным The Information, после снижения цены Luna на 80% объём использования модели вырос примерно в 10–13 раз.

Издание связывает этот результат с перспективами Anthropic: её привлекательность для инвесторов отчасти зависит от способности сохранять высокие цены и одновременно быстро наращивать выручку.

Более дешёвые модели конкурентов могут усилить давление на тарифы Anthropic и усложнить сохранение высокой маржи.

https://www.theinformation.com/newsletters/the-briefing/price-cuts-may-rattle-anthropics-ipo-pitch

151 торговая стратегия с формулами и кодом - бесплатная книга на 361 страницу

В 151 Trading Strategies Зура Какушадзе и Хуан Андрес Серур разбирают математические основы стратегий для акций, облигаций, опционов, фьючерсов, валют и криптовалют.

Внутри:

* более 550 математических формул
* стратегии с нейросетями, байесовскими методами и k-ближайшими соседями
* код для бэктестинга на данных вне обучающей выборки
* более 900 определений и около 2000 ссылок на исследования

Книга на английском. Подойдёт для изучения количественного трейдинга и разработки собственных исследовательских моделей.

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3247865

КосмоХакатон 11–13 сентября.
Кейс на спутниковых данных 🚀

Два формата: очно в Благовещенске (ДФО) или онлайн из любой точки России.
Задача про наблюдение за водными объектами со спутника: как отслеживать их изменения и оценивать гидрологическую обстановку. Паводки, обмеление, разливы. Нужен подход, который вовремя ловит значимые изменения и отдаёт результат в форме, пригодной для анализа, а не в виде папки с растрами.

🏆 Призовой фонд площадки — 600 000 ₽
🛰 Команды от 3 до 5 человек. Собери свою или присоединяйся к другим на нашей платформе.
🚀 Лучшие команды выходят в финал в Москве 25–27 сентября — ещё 2,4 млн ₽, и туда тоже можно подключиться онлайн

Детали и расписание: космохакатон.рф/blagoveshchensk

🚨 «Играют в рулетку с нашими жизнями»: исследователь ушёл из Anthropic из-за гонки ИИ

Джейкоб Коксон покинул компанию и опубликовал большой тред о рисках самоулучшающегося ИИ.

🔬 Последние три года он занимался предобучением моделей в OpenAI и Anthropic. По его оценке, ни одна из компаний не проявляет достаточной осторожности.

⏳ Коксон утверждает, что среди разработчиков передовых моделей есть люди, которые всерьёз допускают катастрофические последствия, вплоть до гибели человечества, уже в ближайшие годы.

🏁 По его словам, в Anthropic понимают риски, но продолжают разработку из опасения, что менее ответственная лаборатория первой создаст сверхмощный ИИ.

⚙️ Главная тревога исследователя - рекурсивное самоулучшение: ИИ начинает ускорять создание собственных преемников, а людям становится всё сложнее контролировать этот процесс.

Коксон опасается потери контроля уже к концу 2027 года. Это его прогноз, а не установленный срок появления сверхразума.