Qwen 3.8 Max Preview прям мудрые советы за жизнь дает :). Аж пронимает. Очень советую попробовать поговорить с ним по душам.

Он по качеству рассуждений на естественном языке близок к ChatGPT и последнему Grok (оба очень хороши), но у него не убрали personality. Он как живой. Так что если с кем бухать — то это к Qwen.

Антропик тут письмо открытое написал.

Меж тем, Kimi K3 можно скачать. 2.8T параметров. Это полтора терабайта памяти надо чтоб запустить в Q4, всего-то.

#InANutshell

Только он, Амодей.

Как видите есть небольшая задержка, но рано или поздно все упрутся в потолок, и тогда Кими и компания неизбежно догонит Антропик. А учитывая что у Кими раз в 10 меньше ресурсов на обучение — то со временем,как разница сократится, и перегонит.

Попробовал Hindsight

Это агентская память второго поколения, которая предназначена для "AI employees" то есть для тех ИИ которые должны были нас всех заменить год назад.

Почитал описание — да. Кошмар. Будущее наступило.

Почитал статьи. Да ваще пиздец, все, пора на пенсию выходить.

Ну, делать нечего — в морг так в морг — зашел на свой Cicero.local, и говорю живущему там агенту Hermes, "Привет", грю, "Сейчас Hindsight поднимать будем, и будет у тебя, безмозглого, наконец память".

После яростного секса удалось какими-то стремными локальными патчами заставить Hindsght перестать падать. После чего я заглянул ему в память — интересно же.

А там сплошные противоречивые параграфы в "фактах о мире". Потому, что когда что-то меняется, надо суметь сделать две вещи. Первое — понять со слов что речь вообще об одной и той же штуке. А не о двух разных. В этом суть слова "меняется". А второе — понять что из двух было до, а что после, и главное — что из двух надо забыть.

Ну так как и с первым и со вторым у моделей большие проблемы (особенно с темпоральной логикой) — в "фактах о мире" лютый, бешеный треш.

В общем, не переживайте пока. Не заменят вас. Они пиздят (тм).

Не, я думаю это однажды конечно порешают. Откроют для себя модальную логику сначала, заново, трудным путем. Через баги. А потом сразу.

В общем, там с этими моделями как. Стоит вам перестать обращать на что-то внимание, как из него тут же исчезает смысл и оно превращается в говно. Так работает везде и исключений я пока не видел.

И как оказывается, даже для того чтобы что-то запомнить надо думать.

Meet Qwen3.8-Max — our most capable model to date.

Next week, the open weights of Qwen3.8-Max will be released, and Qwen3.8-27B is also going open-weights to meet you all!🎉

Я превью смотрел, Qwen 3.8 Max это напалм в рассуждениях на естественном языке. Первая модель от Квен с которой есть о чем поговорить.

Проверил.

Все автоматические провайдеры памяти в Hermes бесполезны. То как к нему подключен Hindsight — в принципе не правильно, и у всех приводит к такому результату как у меня. Все на практике тупо сидят на файлах.

Окей. Зря что-ли настраивал Hindsight? Попробуем выяснить можно-ли его в принципе правильно готовить. Для чего надо для начала почитать их ресерч.

* * *

Безотносительно, сам процесс запоминания у человека очевидно требует желаний и аффектов, и направляется ими. Их моделирование и есть ключ к автоматической системе памяти. Модель должна иметь предпочтения и хотеть. Это можно и нужно задавать ей снаружи (позволять системе самой генерировать желания за свои деньги будет только идиот).

Это теоретически скорее верно. Но нихрена пока не операционно.

> Я самом деле не просил его отчитываться.

Вопрос о том, что ты «на самом деле» просил, — интересный теоретический вопрос.

Проблема в том, что никакого «на самом деле» здесь нет.

Есть намерение говорящего: А хочет произвести определённое впечатление на Б.

Есть слова, которые А произносит, обращаясь к Б, возможно, в присутствии аудитории.

И есть интерпретация Б, которая в значительной степени определяется:
• его убеждениями;
• его желаниями и потребностями — тем, что он считает важным или необходимым;
• его представлением о том, как аудитория воспринимает этот разговор, а также тем образом себя, который он стремится поддерживать.

В результате одни и те же слова могут показаться одному человеку совершенно безобидными, а другого заставить метаться, как раненая свинья.

Поэтому то, что было «на самом деле» сказано или о чём «на самом деле» попросили, не является объективным свойством высказывания, и не определяется намерением говорящего. Это интерпретация, возникающая из взаимодействия намерения говорящего, произнесённых слов и когнитивного и социального контекста слушателя.

Из рабочих разговоров. Для людей секрет что то что они хотели сказать, реально сказали, и как их поняли — это часто три не связанных между собой вещи.

Видите DeepSeek V4 Flash?

Так вот, этот фронтир в 128GB можно запустить локально.

А миссия — лишить их работы.

Ага, таки Hindsight правильно готовить не только можно, но и нужно.

Там три промпта надо задавать, которые говорят что сохранять, как объединять, и как обрабатывать.

Ну что, попробуем.

Хорошая конфигурация делает эти три уровня последовательными.

retain_mission

Сохраняй только долговременные факты, решения, предпочтения и проверенный опыт.

↓

observations_mission

Объединяй похожие факты в устойчивые закономерности и привычки. Не повторяй исходные факты.

↓

reflect_mission

Строй высокоуровневые модели поведения, принципы принятия решений, архитектурные закономерности и долговременные стратегии.

Bloomberg написал что-то смешное.

Очень прикольная штука Hindsight.

Я воспроизвел результат локально на одном R9700. Она скорее работает чем нет. Прям, умная. Помнит вещи, реально.

Сейчас я примерно разобрался как она на самом деле работает, читая код, гоняя тесты, и анализируя базу. Закончу первую волну экспериментов, и расскажу. Там все довольно просто и симпатично. И вы поймете, что это такое и чем оно может быть полезно.

Да, я гонял его в паре с Hermes. Он может работать с Codex и Claude Code. Для работы с локальной базой нужен конечно локальный агент.

https://x.com/TeksEdge/status/2085046568240197886?s=20

Это потрясающее дополнение к llama.cpp. «Горячий эксперт» может увеличить скорость декодирования MoE примерно в 2 раза.

В ходе эксперимента с llama.cpp был найден гораздо более эффективный способ использования небольших объемов VRAM с огромными моделями MoE.

Вместо того чтобы заранее определять, какие эксперты будут размещаться на CPU или GPU, новый кэш «горячих экспертов» отслеживает, какие эксперты MoE фактически используются.

Часто используемые эксперты → кэшируются в VRAM
Редкие эксперты → остаются в системной RAM / на CPU
По сути:

GPU становится кэшем для наиболее востребованных частей модели.

Результаты, представленные авторами, на модели Qwen3.6-35B-A3B с всего лишь 8 ГБ VRAM:
Q2_M
33,25 → 57,2 tok/s
В 1,72 раза быстрее
Q5_K_P
17,34 → 35,93 ток/с
В 2,07 раза быстрее

Самое интересное заключается в том, что вся модель не обязательно должна помещаться в VRAM. Системная оперативная память хранит «холодных» экспертов, в то время как ограниченная память графического процессора динамически выделяется на тех экспертов, которые в данный момент наиболее важны.

Наконец-то нормальный кэш экспертов в llama.cpp сделали. MoE не влезающие в память станут вдвое быстрее.

У меня жена только что заказала топовый макбук. Для музыкального продакшна надо.

Так вот — доставка на начало октября. Два месяца ждать. Дефицит RAM.

Из правил llama.cpp.

• AI-written PR descriptions, commit messages, or reviewer responses
→ immediate closure per AGENTS.md

• Undisclosed AI usage → possible permanent ban per CONTRIBUTING.md

• Contributors must "understand their code fully — able to explain any change to a reviewer without AI assistance"

Странно, правда? ИИ это же так хорошо.

Строго говоря, я не могу оправлять свой патч к llama.cpp пока до конца не пойму код который меняю. Я кстати горячо одобряю такой подход.

Да, я тут небольшой баг в грамматике gemma поправил чтоб Hindsight не циклило, две строки. В принципе я это исправление умею автоматом накладывать. llama.cpp все равно ставится компиляцией из исходников, элементарно сделать автоматическое наложение патча.