Вайб-релиз Bun на Rust

На моей памяти это первый настоящий вайб релиз такого масштаба. Помните тот PR команды bun на миллион строк, который им Claude Code сгенерил. Так вот, прошло чуть более 3 месяцев и они зарелизили апдейт для всех. И результаты впечатляют - мало того, что по множеству метрикам ощутимый прирост, так ещё и +1.5к новых тестов с node.js теперь проходят и на bun (это 80.5% всех тестов node.js).
Для меня лично наиболее интересный выигрыш в возможности ускорить тесты в наших проектах на node runtime, ибо с приходом агентной разработки, количество тестов выросло кратко, а выполняться они стали неприлично долго. Попробую обязательно. А если вдруг кто-то уже успел попробовать новый bun - поделитесь в комментариях своим опытом, интересно почитать.

Браво команде bun и Антропикам, их купившим.

https://bun.com/blog/bun-v1.4

@ai_driven

Стрим по Jujutsu: решение проблем с git для агентов

Последний месяц я на своих проектах активно работаю с Jujutsu (JJ) - современной VCS от Google. Это довольно интересная попытка переизобрести Git и часть его особенностей довольно хорошо ложатся на агентную разработку и решают часть ее проблем.
Например:

- Конфликтные состояния допустимы - то есть, в истории реально могут лежать конфликты, которые вы с агентами сможете решить тогда, когда вам будет удобно
- Возможность легко двигать, сплитить и пересобирать коммиты
- Еще, там нет понятия unstaged - все, что агенты делают по умолчанию попадает в - это решает проблему потерянных изменений

Но есть и разные подводные камни, которые могут мешать привычной работе и их нужно заранее предусмотреть. В общем, мне решение показалось интересным, поэтому я решил рассказать о нем вам и организовать встречу. В кач-ве эксперта я позвал Федора Шереметьева - он 2 года работает с JJ, и даже сделал свой продукт VisualJJ для более наглядной работы с Jujutsu. Федор поделится своим флоу агентной разработки с jj и расскажет нам о том, как там все устроено.

Дата: сегодня в 13:00 по МСК, 11:00 по Лондону и 15:00 по Алматы.
Ссылка на стрим в YouTube.

Еще, мне удалось выловить Макса Шапошникова из DeepMind поэтому, в эту субботу проведем стрим про агентную разработку и немного про карьеру, так что следите за анонсами в канале и ставьте колокольчики. Upd: Перенесли на сентябрь, следите за анонсами.

@ai_driven

Мы в эфире: https://youtube.com/live/bByMKD_wKpQ?feature=share

Периодически натыкаюсь на разные исследования о том, что в среднем AI не повышает эффективность разработки, что часть команд получают существенный буст, а другая часть наоборот замедляется, да и на моих консультациях это довольно распространенная проблема. Так вот, понятно, что во внедрении AI в существующие процессы и команды разработки куча нюансов и это комплексный процесс, требующий системного подхода и изучения - самостоятельного (больше шишек) либо с условным наставником, который уже успел пройти этот путь (меньше шишек, быстрее профит).
Но менее очевидно другое - при внедрении такого мощного бустера, как AI замедление на начальных этапах вполне естественно. Грубо это можно сравнить с тем, как раньше все в вашем городе передвигались на велосипедах и тут все (или не все) резко пересели на автомобили, не успев получить права - да, первое время будет много аварий, но постепенно команда учится на этих ошибках и движение на дорогах сначала нормализуется, затем ускоряется (особенно, при наличии грамотного регулировщика).
Главное только в течение этого процесса не расфигачить город (сломать продукт) и не растерять водителей от травм, не совместимых с жизнью.

А как у вас в команде обстоят дела с перфомансом после внедрения агентной разработки? И как вы этот перфоманс измеряете?

@ai_driven

Нюансы Fable 5.1 в SWE задачах

В системной карточке Fable 5.1 (которая аж на 212 страниц) как обычно можно найти множество интересных инсайтов. Вот что мне показалось интересным:

* Нынче один самых важных вопросов - а какой reasoning effort оптимален? Тк мы видим из бенчей, что он напрямую влияет на цену, а значит и на то, как быстро будут уходить лимиты. Кроме того, на некоторых бенчах можно заметить, что более высокий effort ухудшает результаты моделей. Так, например, во FrontierCode (Main субсет) результаты Fable 5.1 после medium не становятся лучше. А если сравнивать medium vs max, то получим 50.9% vs 50.3%, при том, что medium почти в 5 раз дешевле max. Кроме того, в этом бенче Fable 5.1 medium даже вышел дешевле, чем Opus 5 medium, хоть и с чуть более скромным результатом (50.9 vs 53.4), что тоже слегка удивляет. А в карточке Антропик по этому поводу пишут, что на высоком ризонинге фейбл 5.1 начинает делать больше, чем ее просили. И пишут:

Если дополнительно попросить модель быть лаконичнее и не добавлять лишние комментарии или документацию, она реже вносит изменения вне заданного scope. Но опубликованные benchmark-результаты получены без такой дополнительной инструкции.

Напомню на всякий случай, что FrontierCode 1.1 от команды Devin - это один из немногих закрытых бенчмарков.

* Результаты Fable 5.1 в DeepSWE v1.1: 67.4%. Но есть важный нюанс:
Антропики рапортают, что Фейбл сделала часть задач даже тщательнее, чем того требовало задание, поэтому часть скрытых тестов завалились (стр. 168).

* В DRACO (это бенчмарк на диприсерч от Perplexity), опус 5 почти на всех эффортах сильнее Fable 5.1 - вот и думайте) Любопытно, кстати, что у них там Opus 4.6 в кач-ве судьи над Опусом и другими - мб в этом дело.

* И ресерчеры из METR говорят, Fable 5.1 особенно сильна, когда у задачи есть понятный фидбек. Но когда надо самому придумать, что проверять, куда копать дальше и как вообще выстроить исследование, всё заметно хуже. Вот вам и long-horzont tasks... Все равно, нужно четко критерии ставить и послеживать, чтобы не дрейфовала.

Из забавного: на моей памяти впервые Антропик замерили свои модели на бенчмарке FrontierSWE (ага, еще один фронтир - он, к слову, старее всех остальных фронтиров), это бенчмаре на ультра-большие задачи на десятки а то и сотни тысяч LoC, тем самым как бы легализовав его. Получилось вот так: Fable 5.1 (0.57), Claude Opus 5 (0.52), Claude Fable 5 (0.48), GPT-5.6 Sol (0.32). Что забавного? 1. В первой версии их бенчмарка грок 4.5 как-то оказался выше опус 4.8, при том, что грок 4.5 - модель откровенно слабая. 2. Вторая версия бенчмарка пока недоступна нигде, а ссылка из System Card показыват 404. Видимо, ребята тормозят с релизом.

И немаловажный нюанс: cutoff date Fable 5.1 июнь 2026, а Opus 5 май 2026. При этом, знания GPT 5.6 sol заканчиваются на фервале 2026. Что нам с этого? То, что всякие современные знания про разработку агентнов и агентную разработку из коробки будут актуальнее всего у Fable 5.1. А по моему опыту агенты очень плохо пишут других агентов (если они хоть немного нестандартные).

Какой я для себя делаю вывод? Для большинства задач в Claude Code, видимо, продолжу использовать Opus medium, для планирования и второго мнения Fable 5.1 medium, а для чего-то особого сложного Fable 5.1 xhigh.

@ai_driven

Как вам Астра? Я пробую ей давать небольшие баг фиксы на минимальном ризонинге и она работает очень быстро и делает хорошо. Ловлю приятное ощущение, что теперь кучу хвостов можно позакрывать быстро и хорошо (надеюсь, ощущение не обманчиво).
Баги исправляются в одном из моих легаси проектов, который я развиваю еще с 2012 года и он ни разу не AI ready (разве что визуальный фидбек настроен). В общем, пока выглядит так, что low (light) ризонинга вполне достаточно для большинства задач, что и бенчмарки подтверждают - DeepSWE, FrontierCode.
Единственное что удручает так это быстрый расход лимитов - даже на моей 200$ подписке. С другой же стороны, когда довольно быстро получаешь ожидаемый результат, то может оно того и стоит.
Кстати, с более сложной задачей по качественному RAG по большей базе нормативов пока не справилась ни Fable 5.1 max, ни Astra pro - в очередной раз убеждаюсь насколько тяжело до сих пор заодн даже современным моделям разрабатывать сложных агентов, когда нужна предельная точность в ответах.

Upd: подписчик про интересный кейс с голосовым управлением рассказал - https://t.me/ai_driven_chat/4905

Как у вас ощущения от Астры? Согласны, что low теперь достаточен для большинства задач?

@ai_driven

Дешевые токены и оркестрация

В последнее время замечаю тенденцию повышения аппетитов на токены - проектов и фич кодится все больше и их масштабы только растут. Если раньше я мог заваншотить агенту задачу на несколько тысяч строк кода (по спеке обычно), то теперь задачи на десятки тысяч LoC, а иногда и на сотню тысяч становятся нормой (дни или недели работы). И я заметил, что с появлением Астры этот аппетит только вырос - она позволяет делать довольно мощные планы, которые позволяют быстро получать результат, соответствующий ожиданиям. Так вот, к чему это я? К тому, что потребность в дешевых, но стабильных и быстрых моделях-исполнителях растет. Такие модели - это просто воркеры, от которых зачастую требуется просто тщательно выполнить план без отсебятины.
Так вот, я уже рассказывал про очень щедрые лимиты на Grok 4.5 из подписки Grok Heavy, которую ранее можно было купить за 100$ на 3 месяца, но, похоже, что эта акция закончилась, да и грок сам по итогу меня слегка разочаровал - слишком много отсебятины делал*.

В общем, китайцы сделали весьма полезный сервис для сравнения лимитов на модели в разных подписках: https://real-api-pricing.vercel.app/ (вкладка Monthly Allowance).
И этот сервис как раз прекрасно подходит для поиска таких вот дешевых моделей-исполнителей.
Главные инсайты оттуда:

1. 200$ подписка на Codex дает 145 миллиардов токенов в неделю на Luna - поэтому, если луна вас устраивает как исполнитель, то выбор очевиден в принципе. Я лично редко пускаю луну код писать, зато в кач-ве исследователя использую ее регулярно (иногда в десятки потоков).

2. 200$ подписка на Claude Code дает 40 миллиардов Sonnet 5 токенов. Признаюсь, соннет я вообще забыл как модель - уж очень она слаба в бенчмарках, да и на токены прожирлива. Но выглядит так, что если у вам доступна только подписка на Claude Code, то Sonnet medium/high - неплохой исполнитель с весьма большим лимитом.

3. Но, пожалуй, главная серая лошадка - это моделька Muse Spark 1.3 (Contributor) внутри OpenCode Go 10$ подписки. Это обновленная модель от Марка, которая на фоне более громких релизов осталась практически незамеченной, хотя результаты на бенчах она выбивает не хуже Опуса / Sol. Они пишут, что в OpenCode Go на нее сейчас недельный лимит 12.5 миллиардов токенов. А сами OpenCode указывают на ~45300 запросов в 5 ч. - в общем, выглядит очень жирно и вкусно. И работает она очень шустро. Единственный минус Contributor версии в том, что данные, которые вы отправляете в модель Марк потом сможет использовать для обучения новых моделей.
Моя рефка на OpenCode Go, если все-таки захотите попробовать.

А вот про Grok 4.5 на Grok Heavy там, кстати, явно брехня - между грок 4.5 и грок 4.6 разница в потреблении точно x10+.

И из моего опыта интересное открытие - Opus 5 low (особенно на 200$ подписке) лимитов хватает на довольно большой объем работы, сильно больше, чем Sol, например. Понятное дело, что она очень хороший исполнитель.

* Кстати, когда просите архитектора-оркестратора делегировать задачи мелким моделям, лучше сразу так и писать ему:

имей в виду, что эта модель глуповата и может как упускать детали, так и делать лишнюю отсебятину, поэтому ставь ей задачу предельно точно и по итогам работы проверяй ее код сам.

А еще, за эти полторы недели работы с Opus 5 / Fable 5.1 / Astra я несколько раз оказался свидетелем глупости Opus, которую очень здорово разруливали Fable / Astra, поэтому несмотря на бенчи, в которых Opus 5 в среднем идет почти в ровень с фейбл и астрой, в реальности на сложных задачах разница действительно ощущается.

Напомню, что для делегирования работы другим моделям/harnesses я использую скилл agents-consilium - он теперь поддерживает как muse spark, так и новую дипсик, и даже умеет перебивать исполнителя когда нужно (steer).
А какие модели вы используете для оркестрации?

@ai_driven

DS 4.1 Flash и галлюцинации

Там новый дипсик впечатляющие результаты показывает на бенчах и вообще выглядит как новый победитель по Парето-фронт (наиболее оптимальная модель по соотношению цены и качества). Но есть один нюанс, о котором мало кто говорит - это показатель модели в бенчмарке AA-Omniscience. И из топовых моделей довольно слабый результат: -5 в общем забеге (AA-Omniscience Index) и 95% в рейтинге галлюцинаций, и это прям антирекорд. Для сравнения у GLM-5.3-Flash 7 в AA-Omniscience Index и 28% показатель галлюцинаций.
Понятно, что AA-Omniscience измеряет родные знания моделей, без внешних tools - тем не менее, если ваш RAG агент все-таки не найдет релевантное, дипсик с большей вероятностью выдумает ответ.

Ну и конечно, напомню, что всегда следует проверять новые модельки на ваших evals, измеряющих возможности модели в ваших конкретных задачах - сейчас наличие таких бенчмарков особенно важно, т. к. новые модели выходят практически каждый месяц и потенциально могут уменьшить расходы компании на LLM в разы, не теряя при этом в качестве. Поэтому когда я на консультациях узнаю, что у команда до сих пор нет автоматизированных evals, это удивляет - ведь без них компания теряет как в деньгах, так и в качестве и вообще приходится двигаться практически вслепую. Гибкость, кстати, тоже уменьшается, т. к. с ручными проверками эксперименты становятся слишком трудозатратными, да и попросту необъективными.

А возвращаясь к ds flash - предыдущая версия на наших бенчмарках работала очень медленно нестабильно, и от коллег тоже слышал подобные отзывы. Поэтому конкретно дипсики еще более важно тщательно тестировать.

А как вам DeepSeek 4.1 Flash? Особенно интересно как она себя показала на ваших бенчмарках.

@ai_driven