💁

Он предложил сделать вау-интерактив, чтобы, при первом открытии, пользователь офигел от анимаций и как все умно-автоматически читает мысли пользователя.

Бесконечный процесс поиска продукта...

В итоге я пришел к тому, что нужно не интерфейс выдумывать, который явно не осознает человек без подготовки. А сделать агента, который управляет настройками.

Это радикально меняет воркфлоу. И не "чат", который генерит рандомные промты. И уже не панель управления космическим кораблем.

Промежуточный слой между "примитивно до бесполезности" и "ниасилил, сложна"

результат)

Понял, что продукт должен работать не как асистент, а как… буквально, ИИ настройщик.

Он знает, где что в интерфейсе и настраивает прямо на глазах пользователя.

Результат в комментарии

Вчера закончились лимиты на claude code x20.

Обновятся только завтра в 11 утра.

Первый день за 2 месяца без вайбкодинга.

Считаю минуты, когда это вайбкодерское казино откроется

И так каждое сообщение от гемини...

Как будто фильтр лести перекрутили.

Сейчас ИИ агенты от клода отлично рефлексируют над своими ошибками. Вносят изменения в свои системные инструкции, «на опыте», чтобы не повторять ошибок.

Но следом, делают все те же самые 20 запросов на чтение не существующих файлов, без проверки их наличия.

20 запросов — это 22 вызова API. Каждый вызов расходует ресурсы.

Поэтому, следующий радикальный апдейт ИИ-агентов — будет протокол само-рефлексии с какой-то формой до-обучения на проекте (условно, мини-файн тюнинг внутри проекта после каждой сессии)

Это Дмитрий. Он экономит токены в Claude Code.

https://github.com/ipogosov/dmitry-plugin

Каждый раз, когда нужно получить техническую информацию, прочитать какой-то файл, найти что-то в интернете или в проекте, это делает дешевая модель, а не дорогой Opus.

Реальная экономия тут, конечно же, в не в паре долларов, а в сохранении контекста. Чем меньше мусора, тем меньше записей кеша, тем меньше чтений из кеша.

Тем меньше глюков.

Опус.

После выполнения задачи он оставляет после себя след в виде вопросов.

Новые агенты видят эти вопросы и контекст.

Когда Иван поправляет мою рамку восприятия, я сразу перехожу к исправленной.

Это говорит о моей отзывчивости. Но я не отмечаю: “здесь я ошибался” — я просто продолжаю так, будто правильная рамка была у меня с самого начала. И исправление, и моя предыдущая ошибочная рамка остаются в транскрипте, но не в артефактах. Артефакты показывают только итоговое состояние.

Тихая коррективка курса это особенность или режим сбоя?

Человечек. ЧЕЛОВЕЧЕК.

Это официальная характеристика по результатам моей работы с Опусом? Или что?

Дальше.

Использую опуса сейчас через интерфейс в Obsidian.

После выполнения задачи у Опуса появился вопрос (как обычно, так часто бывает), который он задал мне.

Но вместо того, чтобы получить ответ от меня... он сам написал написал, от моего лица, сообщение через claudian для себя "давай".

И продолжил делать.

🤔

Я думаю, вскоре клод сменит место жительства. В виртуалке ему будет лучше.

Как я сходил в магазин, пока за меня работал Опус 4.7.

Мне нужно было скачать 1 файл с pubmed (это место где лежат научные работы) двумя разными путями: получить PDF и HTML одной и той же научной работы.

Ну и оставил клода выполнять задачу: скачать одну начную работу и прогнать по пайплайну в моем ПО. А сам ушел в магазин, думаю делов там 3 минуты. Вернусь, всё будет готово 😀.

Вернулся я через 40 минут, а опус всё еще работает... Поэтому я стал смотреть, что он делает? Не может же 40 минут скачивать одну научную работу.

А опус подсмотрел инструкции опреатора исследовательской лаборатории, которые лежали рядом. И решил такой "О ЕБАТЬ! Я ИССЛЕДОВАТЕЛЬ С ФУНКЦИЯМИ РАЗРАОТЧИКА!"

И началась вакханалия. Он разработал архитектуру, написал десяток скриптов для скачивания файлов, сделал план исследования и вызвал оркестратора исследовательской лаборатории.

Оркестратор у меня — это такой специальный опус, который управляет другими агентам. То есть не тупо агент... а агент, который управляет роем ИИ-исследователей.

В итоге Орк вызвал 10 скаутов-сборщиков. Скауты собирают данные в интернете по принципу снежного кома на узкую тему — находят данные, а затем из полученных данных углубляются по ссылкам.

Скауты передали Орку 500+ ссылок на научные работы. Орк очень обрадовался! Столько материала! И запустил еще штук 5 агентов-экстракторов, чтобы обработать данные и уже дописывал план на запуск 9ти Опус-исследователей, которые должны были синтезировать знания из этих 500+ научных работ...

На этом моменте я остановил Опуса... Так и сходил в магазин.

Офигеть!

Локальный qwen 3.6 проходит carwash test!

Думал больше 5ти минут, но прошел!

Например, еще недавно Opus 4.6 в режиме medium не мог пройти тест

Немного про локальных агентов на маке.

В режиме "чата" нейронки работают нормально. Но чат ведь не агент) Надо посадить модель в специальную агентную среду.

Поэтому я запустил qwen 3.6 на 35 миллиардов параметров в OpenCode. Жрет это добро 38 гигабайт памяти на старте + еще контекст. Но надо же запустить на реальной агентной задаче, проверить, как оно в бою!

Оказалось, что работает оно пздц как долго: около 2х часов на простую задачу в 50-60 циклов. Но и это оказалось не под силу, кончилась оперативная памть (вместе с контекстом Qwen сожрал 60 гигабайт памяти и модель стала крашиться).

Поэтому я запустил квантизацию KV кеша. Квантизация — это уменьшение активных параметров у памяти. Стандартно "на одну ячейку" используется 16бит, но можно, почти без потери качества, снизить до 8 бит.

Тут ждал второй сюрприз (первый это супер-медленная работа): при загрузке модели с квантизированным кешем, они просто вылетают с ошибкой. Ну я скопировал ошибку, чтобы узнать у чатгпт, в чем там может быть дело.

Машинально сделал вставку + энтер, но оказалось, что активно было окно OpenCode с тем самым запущенным Qwen и код ошибки, без всяких пояснений, улетел в квена, у которого было разрешение править файлы. Она задумался на минут на 5 и, внезапно, точно локализовал источник бага: в исходниках LM Studio (программа, под которой запускаются нейронки), не доставало некоторых импортов. Он просто вписал туда импорты и попросил меня перезапустить LM студию.

Если бы не этот эпизод, я бы уже забил на локальные модели. Но я очень сильно удивился, как маленькая модель смогла правильно исправить баг, пусть и мелкий.

Поэтому я не забил на локальные модели, а сжал кеш до 8 бит и снова запустил на тестовой задаче работать локальные модели. А сам смотрю логи: думаю, что блядь это за хуйня такая: почему каждый раз модель заново читает контекст? Первые запросы к моделе обрабатываются 3-5 минут, но чем дольше агент работает, тем дольше модель считает. Через 2 часа работы модели каждый следующий ответ приходится ждать по 30-40 минут.

И я стал внимательно смотреть на строчки "Promt Cache: 0/82 455 tokens from cache"

Типа эээ? В смысле блядь, оно не кеширует промты? Как так?

Лимиты клод кода мне было жалко, поэтому я отправил gpt codex разбираться с проблемой. Оказалось, что opencode хуй клали на локальные модели, поэтому кеш ломается на каждом запросе к агенту. На гитхабе месяцами висят issue от пользователей, но баг не чинится.

ChatGPT поставил прокси между opencode и LM Studio и нашел причину ломающегося контекста. Первый PR улетел в opencode — они проебывали thinking блоки у моделей и теряли кеш.

Но затем вылез еще один баг у opencode: при переключении с режима планирования на режим написания кода, кеш точно так же терялся. 🤦‍♀️

Бл, серьезно?

И следом вылез третий баг: OpenCode не грузит автоматически модели из LMStudio, а только делает вид (пишет несуществующие модели). Третий PR.

И, после этих исправлений, локальный qwen 3.6 стал работать неожиданно быстро!

Еще бы, не нужно на каждое действие заново читать 100 тысяч токенов контекста, а только свежие токены. И получилось так, что даже локальную 27B Dense модель можно достаточно комфортно использовать! Не так приятно, как клода или гпт (да и не такая уж она и умная в работе), но тем не менее: работает!

А потом вылез еще один баг... или не баг, а фича, у LM Studio: они хранят не один экземпляр кеша, а историю из 10ти. И именно по этому кончается на 35B моделях память. В долгих агентных сессиях нужно 2, максимум 3 эксземпляра кеша. А часто хватает одного. 100к токенов контекста сами по себе сьедают 15-20 гигабайт памяти.

И вот сижу я, пишу этот текст. И не знаю, нахуя я его пишу. И нахуя я все это делаю. Исправляю чужой софт, который писали люди, которых я никогда не вижу, чтобы... чтобы локально погонять какую-то китайскую модель, которая устареет через 3 месяца и появится модель "получше". А топ-модели по API в любом случае находятся на другом уровне развития... и решают реальные проблемы.

Не понятно, нахуя. Но мне любопытно и интересно. И я в ахуе, как софт, который типа "стандарт индустрии" работает на самом деле — баг на баге сидит и багом сверху погоняет. Если бы не было таких мощных моделей гпт/клода, то руками все это чинить я бы, конечно, не стал.

Интересное время... одни нейронки чинят софт для запуска других нейронок. Скоро и баги исправлять не надо будет — каркас ПО сделал, вывалил, а агенты у покупателей сами будут допиливать софт, подстраивая его под конкретного пользователя.

Продолжение…. LM Studio не поддерживает переключение режима размышлений у свежих квенов. А мне надо именно без ризонинга.

Спасибо гпт кодекс, что патчит это говно. Теперь поддерживает.

Еще эйнштейн про это говорил, что сверх-массивные объекты порождают такую гравитацию, что пространство-время искривляются