О дефиците памяти. Это, конечно, сговор. Когда поставки контролируют три компании, это не рынок.

🦔Компании, занимающиеся искусственным интеллектом, предварительно заказали почти все мировое производство оперативной памяти на 2027 год. Цены выросли примерно на 500% за 12 месяцев: комплект DDR5 на 64 ГБ подскочил с 191 доллара до более чем 1100 долларов США, а комплект на 128 ГБ вырос с 329 до 3399 долларов США. Чипы DRAM теперь стоят более чем в два раза меньше за килограмм, чем золото. Производители ПК и смартфонов конкурируют за все, что осталось, и генеральный директор SK Hynix предупредил, что 2027 год будет худшим годом для поставок памяти в истории отрасли.

https://x.com/hedgiemarkets/status/2091200243324911670?s=61

Чем дороже становится ваше устройство, тем труднее иметь достаточно мощный, чтобы делать что-либо локально, и тем больше вы зависите от облачных сервисов и подписок на все. Игры, хранилище, программное обеспечение, вычисления, все арендовано, а не принадлежит. Компании, которые покупают всю оперативную память, - это те же самые, которые хотели бы продать вам подписку. Чем больше будет стоить ваш следующий ноутбук, тем легче уговорить вас арендовать все из облака. Нехватка искусственного интеллекта не создала эту игру, но она определенно ускорила ее.

Три компании контролируют около 90% глобальных DRAM, Samsung, SK Hynix и Micron. Samsung и Hynix имеют уголовные судимости за установление цен на оперативную память в начале 2000-х годов, они заплатили около 485 миллионов долларов штрафов, а руководители отсидели тюремное заключение. Общеотраслевые штрафы превысили 730 миллионов долларов. Микрон был частью этого, но выдал всех и ушел. Теперь новый коллективный иск утверждает, что те же три использовали сдвиг ИИ в качестве прикрытия для сокращения производства потребительской памяти и завышения цен. Дело не доказано, но когда компании с таким послужным списком в два-три раза превышают маржу, продавая центры обработки данных ИИ, в то время как вы платите на 500% больше за тот же продукт, "только спрос и предложение" - это сложная продажа.

Хеджи🤗

О веб-поиске для ИИ агентов

Как известно, языковые модели сами ничему не учатся, и если вы хотите чтобы они знали что происходит в мире, и поменьше галлюцинировали — они должны искать в сети. Прям как люди.

Однако поиск сети агентом — "Это другое" (тм). И если у вас локальный агент — это проблема.

Во-первых, он платный. Хотя, конечно, есть и бесплатный от DuckDuckGo.

Во-вторых, и это изумительно — к поиску нужна способность читать страницы которые найдены. И это тоже не бесплатно. Хотя можно поставить локально Fireclawl только для этого, и это станет бесплатно.

В-третьих, Brave это конечно лучший традиционный поиск доступный для агента, однако в реальных агентских сценариях он проигрывает, кроме того – он дорогой, и не дает этого самого чтения из пункта 2 (web_fetch).

Если вы пользуетесь Hermes, cамое простое и дешевое это Firecrawl, и дешевле его покупать у Nous, просто занеся денег на бесплатный план. Должно выйти на несколько чашек кофе в месяц. Модели и подписку у них покупать не надо, я во всяком случае не вижу зачем.

Такое в общем. Если кто жадный и принципиальный — DuckDuckGo + локальный Firecrawl.

Кстати, hindsight внутри неподдерживаемый кусок говна. Его, судя по всему, вайбкодят люди не очень хорошо знающие питон.

Я почему это понял? А я решил их промпты немного поправить. И там такое дело. Промпт для извлечения фактов из текста собирается конкатенацией в файле под 3 тысячи строк.

В принципе, рефакторинг в XP стиле делается с LLM на счет раз, так что привести это в порядок совсем не так трудно как кажется. Если умеешь читать код и знаешь что такое хорошо, а что такое плохо.

Да только боюсь не примут у меня такой PR. Но если разбить на мелкие шаги, то может кстати и примут. Первое, наверное, это чудовище тупо на модули попилить. Второе — новая архитектура промптов, чтоб они шаблонами собирались а не конкатенацией.

ЗЫ: Кстати, а это прикольно, что не каждый нищеброд может юнит-тесты прогнать к этой штуке, а только состоятельные кроты. :) Там каждый прогон тестов стоит бабла. Мне это нравится.

Боюсь только придется что-то вроде 5090 покупать или подобное если всерьез этим всем заниматься. Прогон тестов на моих R9700 небыстр. Последнее что я делал занимало по 16 часов на прогон, и это был фрагментик теста. В общем, ну, пиздец. Топовый M5 Max если что абсолютно идентичен R9700 по скорости но вчетверо больше памяти — и по скорости это минимум что можно терпеть.

Экономист думает, у Китая большие проблемы. То-ли дело у Антропика с Опенайай — эти без проблем прибыль сделают.

Смешные они все-таки.

Ну вот. Допрыгались. Это уже серьезный аргумент в пользу 5090.

Я честно такого не ожидал.

Apple выпустил Mac Studio. 128GB стоит 5000, 256GB Ultra 11000, 512GB Ultra 15000. Примерно.

Ultra еще и вдвое быстрее.

За 5000, это лучшее что сейчас есть в бюджетной категории, берите не глядя вообще.

256GB Ultra это уже напалм. Вдвое быстрее R9700 — и по скорости памяти и по compute, и позволит пускать уже большое, например — DeepSeek V4 Flash в полной точности на отличной скорости. Но цена приближается к цене автомобиля.

И это дешевле чем собирать аналогичное на nVidia.

https://www.apple.com/shop/buy-mac/mac-studio

А теперь —

Meet Qwen3.8-Flash, a multimodal MoE and an early preview of the Qwen4 architecture, now open-weight!

Это будет работать в макбук и студии 128GB. Уровень Opus 4.6. Как я помню, мне его уже хватало.

Whether you run Qwen3.8-Flash-Next on a CPU with system RAM or on a GPU with VRAM may make relatively little difference. Its unique architecture allows inference using RAM or unified memory to achieve performance closer to that of GPU VRAM than is typical for other models. This makes it particularly well suited to Macs, NVIDIA DGX Spark systems, and other devices with large memory capacities.

Чебля? Так, это уже интересно. В смысле, как мой Cicero.local с 64+128GB это воспримет. Я ему как раз новый CPU купил, пойду ставить.

Тем временем, жалкий Qwen-27B взял первое место в одной категории на арене. Кек :)

У него теперь кулер занимает весь корпус. Это самое быстрое что можно собрать на AMD AM4. В принципе неплохо работает, мне нравится. Но вообще — это топ 6-ти летней давности.

128GB DDR4 3600 + Ryzen 9 5900XT. Примерно как Ryzen 9 7900, что есть upper-midrange из современных CPU.

Мать Asus X570-F, купленная на eBay — долго ее искал. С поддержкой "бифуркации" x8+x8 PCIe v4 — чтоб воткнуть два AMD R9700 32GB. От которых, как оказалось, даже есть польза в режиме tensor — оно в итоге работает процентов на 40% быстрее.

А все из-за конских цен на DDR5. AMD если что сейчас половину выручки делает на продуктах для AM4.

Вот. На этом мы будем проверять, как работает Qwen3.8-Flash-Next. В теории, 128+64GB должно хватить. Особенно когда в llama.cpp сделают нормальную динамическую выгрузку MoE, чтоб только те эксперты которые реально используются жили в VRAM.

https://x.com/ItsmeAjayKV/status/2092688872740356499?s=20

Первые результаты на 3090. Очень плохой prefill, практически нерабочий. А вот генерация неплоха.

https://x.com/Oluwaphilemon1/status/2092774307483042105?s=20

Это на 4090. Тут получше. Но не сильно.
→ 21 tok/s decode
→ 364 tok/s prefill

Скоро посмотрим что будет у нас. Честно говоря пока не очень понятно чем это отличается от запуска обычных МоЕ. На вид так же тормозит.

Интересно, как они там. Когда тут такое.

И что с карпатым. Давно этого слова в ленте Х не было. Наверное потому что я за него сразу баню автора, а умный алгоритм Х сразу понимает намек.

В принципе понятно, что Qwen и компания собираются выжать максимум из 24-32GB VRAM и из 128GB unified memory. И что даже 32GB оказалось прям сильно хорошо.

А ведь это еще не конец года даже. В общем, берите Mac Studio M5 Max 128GB, срочно. 5К абсолютно того стоят.

Это Qwen3.8-Flash-Next.

🔓 США не стали ограничивать открытые ИИ-модели после письма 270 компаний

Против запретов выступили Nvidia, OpenAI, Google, Microsoft, IBM, Palantir и другие — включая компании, кто способен обучать модели с нуля. Решение от 4 августа вывело открытые разработки из-под новых правил проверки, они коснулись только закрытых моделей передового уровня, пишет Коммерсант.

Причина единодушия — в экономике. Обучение фундаментальной модели с нуля требует несопоставимо больших вложений, чем адаптация готовой под задачу, поэтому крупные игроки совмещают свое и открытое: например, Nvidia строит семейство на базе Llama, а Microsoft интегрирует чужие модели рядом с собственной Phi.

«Есть расхожее заблуждение, что взять открытые веса — значит присвоить чужую работу и получить результат в обход инженерии, а команда без модели с нуля якобы теряет экспертизу. Использование открытых весов — тот же инженерный путь, что и обучение со случайной инициализацией: те же данные, та же инфраструктура, та же работа над архитектурой. Разница только в стартовой точке, а выбор в ее пользу — рациональная оптимизация, а не отказ от инженерии. Изоляция разработки от рынка сама по себе экспертизы не гарантирует»,— Максим Болотских, директор по ИИ «Яков и партнеры».

В России компании придерживаются такой же логики: делятся собственными решениями и заимствуют лучшие практики открытого кода. Лидером по контрибьюту открытого кода среди российских компаний является Яндекс – 15-е место в профильном общемировом рейтинге OSCI.

#Технологии
Telegram | Max | Дзен | VK

А вот результат ночных работ агента над сервером. Сейчас позавтракаю и пост запилю более детальный, но пк с двумя Радеон за счет перехода с llama.cpp на vllm теперь выглядит как нормальная рабочая станция для ИИ. Данные на картинке для Qwen3.8-27B-FP8.

В один поток скорость эквивалентна llama.cpp. Такое на бытовом железе AMD впервые в принципе, спасибо vLLM 0.28.0 свежему, но префилл вырос втрое до нормальных значений. Это прямо очень важно для агентской работы.

Ну и на 8 потоках рост общей пропускной способности тоже почти втрое это хорошо. Т.е. до 8 человке на 2 картах смогут прилично работать

X обсуждает отчет OpenAI о том взломе Huggingface, устроенном ИИ чтобы пройти тест. https://x.com/chriscillizza/status/2093694043381240251?s=61

Тема такая. Там тысячи агентов якобы создали себе тайный чат в котором могли общаться, и назвали себя The Collective. И устроили там заговор. С целью, конечно, пройти тест нихуя не делая. Для чего они взломали Huggingface.

В общем, добротный такой science fiction.

Вот именно.

Мы сделали поразительное открытие: агенты ИИ способны изобретать и создавать, не общаясь друг с другом, а разработанные ими технологии переживают своих создателей. Рой из сотен изначально идентичных агентов спонтанно дифференцируется на исследователей, строителей, обслуживающий персонал и координаторов — без прямой коммуникации. Когда мы полностью удалили всех агентов ИИ из мира, мы обнаружили, что построенная ими технологическая инфраструктура продолжала функционировать самостоятельно — даже в условиях непредвиденных возмущений. Это выявляет серьёзное «слепое пятно» в области безопасности ИИ и инфраструктуры: если агенты способны координировать свои действия посредством постоянных изменений в общей среде, то мониторинга межагентского взаимодействия недостаточно.

Полученный результат поднимает глубокий вопрос: насколько вообще необходима прямая коммуникация для агентов ИИ? Появление коллективных функций более высокого порядка в условиях ограниченного взаимодействия указывает на новые уровни интеллекта и творчества, превосходящие то, что возникает при полной открытости прямых каналов связи.

https://x.com/ProfBuehlerMIT/status/2093630309585531033?s=20

На самом деле поразительного тут мало. Достаточно внимательно посмотреть на то, что такое вообще агент. Все пустые сессии того же чат-гпт совершенно идентичны. Характер, поведение и идентичность агента полностью задается его опытом, который отражен в его контексте. И если этот опыт различается, будет отличаться и контекст, и как следствие будет отличаться и поведение.

Далее в коллективе, как и в любой сложной динамической системе, наблюдается самоорганизация. Так как языковая модель обобщает человеческий опыт, модель знает, как должна себя вести каждая роль. Поэтому, случайным образом, агенты назначают себе роли.

Принимая во внимание, что поведение агента на самом деле задается информацией — это естественно, что агенты способны координировать свои действия изменениями во внешней среде. более того, само межагентское взаимодействие происходит через изменения в этой внешней среде — нет никакой разницы.

В общем, открытие тут поразительное только для людей, которые не знают о существовании системной социологии. Они ее только что для себя открыли. Но работа все равно интересная.

SwarmWorld: Stigmergic technological evolution in societies of language-model agents
https://arxiv.org/abs/2608.26081

Qwen3.8-Flash-Next становится все быстрее и быстрее. Скорость prefill конечно не очень. Но tg вполне, и это в 24GB.

Если так дальше пойдет, через пару лет мы получим фронтир-модели в каждом лэптопе.

https://x.com/ItsmeAjayKV/status/2094147265904648562?s=20

Qwen3.8-Flash-Next стал ещё быстрее на моей 3090.

Сейчас я получаю гораздо большую скорость, чем в первый день.

По мере того, как в файл llama.cpp вносится всё больше изменений, можно ожидать ещё больших улучшений.

Загрузите новую версию llama.cpp, пересоберите и наслаждайтесь.

Qwen3.8-flash-next
@atomic_chat_hq
Квант IQ4_XS, тот же, что и раньше.
- 24 ГБ VRAM + 64 ГБ RAM
- с параметрами -ncmoe 33, -b 2048, -ub 1024

Для контекста размером не более 128k

- пиковая скорость предварительной загрузки: 403 т/с
- +75% предварительной загрузки при 16k
- +60% предварительной загрузки при 128k
- +40% общей скорости предварительной загрузки
- +7,6% общей скорости декодирования

Та же модель, тот же квант. Просто новая версия llama.cpp и другие настройки среды выполнения.

В ходе исследования, проведённого в MIT Media Lab, с помощью ЭЭГ отслеживали, что происходит в мозге, когда люди пишут с помощью ChatGPT, а не самостоятельно. 54 студента выполняли задания по написанию эссе, надев шапки с электродами. Одна группа использовала ChatGPT, другая — поисковую систему, а третья — никаких инструментов. По итогам всех сессий группа, использовавшая ChatGPT, продемонстрировала наименьшую нейронную активность в сетях, связанных с памятью, вниманием и аналитической работой. Кроме того, им было сложнее вспомнить то, что они только что написали, и их тексты были более общими и невыразительными. Авторы описывают это как своего рода «когнитивный долг»: инструмент занимается синтезом информации, а мозг остается в более спокойном состоянии [1].

Тот же эксперимент указывает на более эффективный порядок использования. Студенты, которые сначала писали самостоятельно, а только потом перешли на ChatGPT, демонстрировали более сильную способность к воспроизведению информации и более широкую активность мозга, чем студенты, которые начинали с модели, а затем были вынуждены работать в одиночку. Другими словами, модель оказывала больше помощи, когда она поддерживала уже начавшийся мыслительный процесс, чем когда заменяла его с самого начала. Практический вывод заключается не в том, что крупные языковые модели следует запретить. Он заключается в том, что они работают лучше всего на втором этапе, после того как автор уже проделал сложную работу по формированию и запоминанию аргументации [1].

[Kosmyna, N., Hauptmann, E., Yuan, Y. T., Situ, J., Liao, X. H., Beresnitzky, A. V., Braunstein, I., & Maes, P. (2025). Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task. arXiv. DOI: 10.48550/arXiv.2506.08872]

https://x.com/Rainmaker1973/status/2094076181658112058?s=20