😂 Caveman обещал -65% токенов агенту. JetBrains проверили — вышло в разы меньше

Популярный скилл Caveman заставляет агента отвечать в стиле "мало слов, много дело", код и команды не трогает. JetBrains прогнали его на реальных тестах с Claude Code:
😂 уменьшения потребления output токенов с 592k до 542k, то есть -8.5% и совсем далеко от заявленных цифр
👍 качество остается на том же уровне
💰 выигрыша по стоимости нету: в теории должна была падать на ~10%, но один таск перевалил за 200k-контекст и по итогу счет на $8.29

65% в рекламе Caveman честные только для чатов. В агенте токены — это код, диффы и вызовы тулов, а не болтовня между ними, их скилл и не трогает.

#AI #ClaudeCode

Кстати, раз зашла речь про фильтрацию вывода для агентов — есть еще одно популярное решение, RTK. CLI-прокси на Rust перехватывает Bash-вызовы агента и переписывает git status, cargo test, grep и еще сотню команд в компактные версии, обещая экономить 60–90% токенов.

От него я отказался быстро, и вот почему. На синтетических тестах все работает красиво: git push в 15 строк превращается в ok main, тесты показывают только фейлы. Но RTK режет вывод по жестким правилам для команд, без понимания того, что агенту реально нужно для конкретной задачи.

Если он срезал важное, агент это чувствует и обходит: либо дергает исходную команду напрямую (Read/Grep/Glob у Claude Code вообще не проходят через Bash-хук, RTK их даже не видит), либо перевызывает с дополнительными флагами, чтобы дотащить недостающий контекст. В итоге токенов уходит больше, чем без фильтра вообще ⚠️

Можно форсить жестче, есть режим -l aggressive, который вообще режет тела функций, оставляя сигнатуры. Но тогда агент начинает реально хуже решать задачу. Обход или потеря качества, третьего не дано.

Идея правильная, но фильтровать вывод нужно с обратной связью от задачи, а не по статичным правилам для команд. Поэтому пока пользуюсь Context Mode. Там агент сам решает, что убрать в песочницу, а не теряет данные вслепую на входе.

#AI #ClaudeCode

🤯 GPT 5.6 раскрыл $HOME не туда и снёс файлы разработчика — живой пример, зачем нужен dcg

Мэтт Шумер (AI-инвестор, тестировавший GPT-5.6-Sol в Ultra-режиме по просьбе OpenAI) описал в X инцидент: ревью-субагент неправильно раскрыл $HOME в команде очистки и выполнил rm -rf /Users/<user>. Процесс успели убить, но часть данных потеряна безвозвратно.

Это ровно тот паттерн, от которого защищают core.filesystem/core.git пакеты dcg: деструктивная команда прилетает от агента без единого запроса на подтверждение у человека.

Далее Шумер добавил, что теперь доверяет Fable «в 1000 раз больше». Тут я бы не смешивал: сам факап реален, а вот вывод «модель X лучше модели Y» на основании одного инцидента — это уже реакция на инцидент, а не сравнительный тест.

Если гоняете агентов с доступом к файловой системе локально — хук вроде dcg, бэкапы или лучше оба.

#AI #AIAgents #AIDev"

Почему самая маленькая квантизированная модель оказалась медленнее — разбор на бенчмарках

Chris Merrick прогнал MobileNetV2 в трёх квантизациях (FP32/INT8/INT4) на Pixel 10. Результат - самая лёгкая по весу INT4 на CPU оказалась медленнее INT8. Вывод: размер файла не главный критерий быстродействия.

Полезно, если делаешь on-device inference и оптимизируешь модели под мобилки.

#AI #Android #OnDeviceAI

От гонки OpenAI и Anthropic выигрвают пользователи - ночью с 15 на 16 июля снова сбросили лимиты!

#Claude

Пример работы с Claude Code