💰 Гонка за AGI - это не только технологии. Это ещё и риск банкротства на триллионы.

Dwarkesh спросил CEO Anthropic Дарио Амодеи:
почему он так уверен в AGI, но при этом осторожен с масштабным строительством дата-центров?

Ответ оказался жёстким.

Если рынок AI продолжит расти в 10× в год,
компания может выйти на $1 трлн выручки к 2027 году.

Чтобы поддержать такой рост, придётся закупить примерно $5 трлн вычислительных мощностей.

Но здесь и кроется опасность.

Если прогноз окажется немного оптимистичным - например:
- не $1T, а $800B выручки
- рост замедлится до 5×
- или рынок сдвинется всего на 1 год

→ компания просто обанкротится.

По словам Амодеи:

Если ты ошибся в прогнозе, нет силы и нет хеджа, которые спасут от банкротства после таких инвестиций.

Главная мысль:

AGI - это не только гонка моделей.
Это самая рискованная инфраструктурная ставка в истории технологий.

Поэтому «действовать ответственно» -не значит инвестировать сотни миллиардов.

И, по его словам, некоторые игроки в гонке ИИ, возможно, даже не просчитали все риски до конца.

🚀 Полное интервью

Глава OpenAI Альтман – о том, что к 2028 году появится «сверхразум», который заменит ученых и руководителей:

Мы полагаем, что до появления первых версий настоящего сверхразума нас отделяет всего пара лет. Если мы правы, то к концу 2028 года в центрах обработки данных будет сосредоточено больше интеллектуальных ресурсов, чем за их пределами. Это необычное заявление. И, конечно, мы можем ошибаться, но я думаю, что это действительно заслуживает серьезного рассмотрения.

Сверхинтеллект на определенном этапе своего развития способен выполнять работу генерального директора крупной компании лучше, чем любой руководитель, в том числе лучше, чем я, или проводить исследования лучше, чем наши лучшие ученые.

❤️ Скотт Риттер в Telegram!
Мы в MAX👈📲

📁 Эндрю Ын, один из пионеров ИИ и сооснователь Google Brain, говорит, что большинство высокоразмерных данных проще, чем кажется.

Датасет размерности 10 000 часто лежит в гораздо меньшем подпространстве.

Если сначала его сжать, обучение становится быстрее, дешевле и эффективнее.

Иногда интеллект это не добавлять больше. Это разумно сокращать.

👉 @DataSciencegx

Исследователи внедрили одного вредоносного агента в группу LLM-агентов. Вся сеть не смогла прийти к консенсусу.

Это проблема византийских генералов — классический кошмар распределённых систем, которому уже больше 40 лет.

И теперь это проблема и ваших agent-pipeline.

Даже в полностью «честной» среде, где вообще нет злонамеренных участников, LLM-агенты всё равно часто не могут сойтись на общих значениях. И ситуация становится хуже по мере увеличения числа агентов в группе.

Причём характер сбоя показательный.
Это не скрытая подмена ценностей. Не один агент тихо проталкивает неправильный ответ. Модели просто.. застревают. Тайм-ауты. Круговые обсуждения. Разговор никогда не приходит к общему решению.

Почему это важно: весь хайп вокруг multi-agent AI строится на предположении, что координация работает. Рои автономных агентов, коллективное решение задач, децентрализованные AI-системы. Всё это предполагает, что если посадить несколько LLM в «комнату» и дать им протокол общения, они смогут прийти к общему решению.

Проблема византийского консенсуса — одна из самых старых и изученных задач распределённых систем. Классические алгоритмы решили её десятилетия назад с жёсткими математическими гарантиями. Вопрос был в том, смогут ли LLM-агенты добиться того же через естественный язык, а не через формальные протоколы.

Пока что ответ — нет. И причина довольно фундаментальная.

Традиционные алгоритмы консенсуса работают потому, что каждый узел выполняет одинаковый детерминированный протокол.
LLM же стохастические. Один и тот же промпт может давать разные ответы в разных запусках.

Согласие, достигнутое на третьем раунде обсуждения, может развалиться на четвёртом, когда агенты пересмотрят своё рассуждение после чтения ответов других.

В этом и есть фундаментальное несоответствие: алгоритмы консенсуса предполагают детерминированные state machines, а LLM — их противоположность.

Это также означает, что тезис «больше агентов = лучше ответы» имеет потолок, который почти никто не измеряет. После определённого размера группы издержки координации и провалы сходимости начинают перевешивать пользу от разнообразия мнений.

Практическое следствие довольно неприятное для тех, кто строит multi-agent системы для задач с высокими рисками. Надёжное согласие не возникает само, если просто посадить умных агентов за один стол. Его нужно явно проектировать, с формальными гарантиями, а не надеяться, что оно появится само.

При этом multi-agent системы уже начинают внедрять в финансы, медицину и автономную инфраструктуру. А проблема консенсуса — самый базовый механизм координации — до сих пор не решена.

👉 @DataSciencegx

🚀 Себастьян Рашка собрал в одном месте галерею архитектур современных языковых моделей.

Внутри - 40+ моделей (2024–2026):
от DeepSeek и Qwen до Nemotron и Grok.

Для каждой модели есть:

• наглядная схема архитектуры
• размер и число параметров
• тип декодера
• ссылки на технические отчёты и конфиги
• иногда даже реализации

По сути это единая карта современных LLM, где можно быстро посмотреть, как устроены разные модели и как эволюционируют архитектуры.

https://sebastianraschka.com/llm-architecture-gallery/

🐍 Python полезные ресурсы 🚀Max

@pythonl

NVIDIA доказала, что обратное распространение ошибки — не единственный способ создания ИИ.

Они обучили модели с миллиардами параметров без использования единого градиента.

Каждый ИИ, который вы используете сегодня, опирается на обратное распространение ошибки.

Это требует сложных вычислений, колоссальных затрат памяти и огромных кластеров GPU.

Тем временем, древний метод без градиентов, называемый стратегиями эволюции (ES), был признан невозможным для масштабирования.

Но теперь всё изменилось.

NVIDIA и Оксфорд только что представили EGGROLL.

Вместо того чтобы генерировать огромные полнорранговые матрицы для каждой мутации, они разделяют их на две маленькие.

ИИ мутирует. Он тестирует. Он сохраняет то, что работает. Как биологическая эволюция.

Но теперь он делает это с сотнями тысяч параллельных мутаций одновременно.

Производительность теперь такая же, как у пакетной инференции.

Они предобучают модели с нуля, используя только простые целые числа.

Без обратного распространения ошибки. Без десятичных. Без градиентов.

Мы думали, что будущее ИИ требует бесконечных кластеров прецизионного оборудования.

Оказалось, нам просто нужно было эволюционировать.

👉 @DataSciencegx