Вчера просмотрел интервью с создателем Claude Code (крутым технарем по имени Борис с лицом чувака из соседнего подъезда). Интервью одновременно легкое и инженерное, но при этом очень емко упакованное смыслами.

https://www.youtube.com/watch?v=AmdLVWMdjOk

Свои полные заметки с комментариями хочу отрефлексировать и превратить в статью позже, но почти с первых минут была произнесена мысль, максимально резонирующая со мной и агентизацией. Борис говорит, что ему очень нравится работать с "универсалами". Сейчас в основном иерархия в мире построена на разделении ролей, и многие вообще не знают (и не хотят знать!) что делают парни в соседней комнате и их специфику. Универсалы же могут как поделать что-то в инфре, так и в продукте, да и в столовой покастдевить коллег. Да, за пределами ключевой компетенеции будет хуже, но это вообще не важно, тем более сейчас.

Я всю жизнь занимался всем подряд: и фронт, и бэк и продуктами и железо банкомата поковырял, и чего только не было. Когда-то лет 9 назад я захотел сделать еще и мобильную аппку, но вообще ничего про них не знал. Месяца за два кое-как разобрался, причем отфоркался от maps.me, где была как куча легаси из c++, завернутого в objective-c и java, так и бридж от них на свежий код на swift и многое другое. Мой код был очень так себе, а помимо него пришлось поделать ASO, юнитку, изучить аппстор, изучать картографию, писать тексты, искать иллюстраторов, переводчика и много всего неприятного, чего я не знал и не умел. Но аппка в итоге была сделана, даже Apple в свой московский офис на закрытую вечеринку позвал.

Я многое делал сам, но были вещи, которые невозможно было доделать самому просто в силу экспертных навыков. Сейчас "найти подходящие спецов" - уже больше не преграда и не стопер, а огромное количество задач агентизируются и смещаются из уровня "невозможно" на "ну да, придется позаморачиваться и посидеть недельку". При должной технической сноровке, желании и дисциплине, конечно же.

Иногда я все же задавал себе грустный вопрос "ну как у людей получается заниматься ТОЛЬКО Х столько лет, а я постоянный оркестр из всего и вся", но сейчас...Сейчас универсальность превратилась в супер силу, и я давно не испытывал такого воодушевления, это что-то феноменальное. А интервью - очень хорошее, рекомендую! Про сам Claude Code там не супер много, но майндсет у гостя интересный 👍

Идеальный DX
Одна из самых мощных фичей агентов, за которую мы их так любим, - это планирование. Можно проектировать законченные по смыслу фичи (двигаясь итерациями) или же просто бабахнуть верхнеуровневое описание чего-либо и затем получить нечто готовое, что надо аккуратно довести до ума. Любой более-менее умный агент имеет функцию предварительной оценки поставленной задачи - "мне идти ее делать сейчас или сначала стоит немного подумать".

Как правило, с планом результат получается сильно лучше, но я люблю разрабатывать именно фичами, поэтому даже если планирование и включается, то требует лишь визуального ревью и с которым я сходу согласен.

Но тут я влез в большой рефакторинг и наткнулся на феноменальную фичу в Claude Code. CC разработал план, но в некоторых пунктах он засомневался над тем, как сделать лучше - и прерывается на обратную связь, предлагаю варианты и кратко описывания плюсы/минусы каждого из них.

Это очень круто само по себе, но я обратил там внимание на не самую заметную штуку "Chat about this" и это просто нереальный DX (это как UX, только именно developer experience): вот CC спрашивает у меня хочу ли я дропнуть какую-то таблицу в рефакторинге. А? Что? Какая таблица? Я вообще не помню что это за таблица и когда была заведена.

Мы переходим в "chat about this" без отрыва от производства и дальше временно создается отдельный чистенький тред, в который прокинута основная инфа и заполнен контекст по теме, и который готов к тому, что вы можете углубиться в данный вопрос вот прям сразу. Как только вопрос решен - тред удаляется, а решение по выбору следующего шага уже в сто раз более осмысленное.

Все это настолько круто, что возвращаться во времена IDE уже решительно не хочется. Но есть огромный минус - мы не заметили, как наше любимое программирование сделали платным, а на 23 февраля теперь хочется попросить уже не носки и бритву, а подписку на CC Max с безлимитным овердрафтом 🤩

Кто узнал себя? Всех с пятницей и побольше сгенеренного кода на выходных 🤙

P.S.: Claude Code/Codex вышли совсем недавно, а уже непонятно, как вообще без них жили 😀 и готовлю материал про телеметрию и экономику agentic разработки, скоро 🚀

Terminal POWER |

Всю жизнь я был терминальщиком - безумно люблю консольку большой любовью, и когда вел классическую жизнь управления разработкой, у части моих пацанов это постоянно вызывало вопросы вида "А ЧЕГО НЕ В IDE?". Ну типа, выдели функцию, нажми комбо клавиш, вжух и - вот ваш код, пожалуйста. Но зачем все это нужно, если grep -nirh "func_name" --include="*.py" -A 30 дает тебе ответ прямо вот здесь и сейчас?

Когда приходилось что-то вместе раздебаживать странное, до нужного куска кода я добирался чаще быстрее, потому что терминал безумно эффективен. И составить некую картинку про происходящее в терминале гораздо проще. Потому что ты не тратишь время на смену контекста - всякие вкладки, интерфейсы и прочий обвес. Еще у консольки есть просто невероятная суперсила - все, что ты можешь сделать в консольке - можно переиспользовать автономно, скрыв за любым интерфейсом (вот я сильно верю в будущее voice-first).

Единственное, что я в консольке делать не любил - это писать код (хотя vimовцы это каким-то образом делают успешно). Но большая часть кодинга уже мертва, именно писать код больше не нужно, а вот все остальное вокруг кода стало еще сильнее живее всех живых. И здесь с моим terminal-mind кажется, что революция уже произошла.

Claude Code своим выходом показал, что в терминале можно делать дела. И дело тут не в том, что внутри можно теперь делать почти все, и не в том что можно держать параллельно открытыми 20 вкладок (зачем, кстати?), а в том что любая консольная команда это in, out и PID. Когда эта консольная команда внутри себя может делать все что угодно и писать любой код, а ее stdin/stdout/stderr/PID мы можем перехватить и до их содержимого дотянуться, то значит вокруг них можно пробовать построить все что угодно.

Например, весь классический флоу разработки целиком и весь SDLC вообще. Я не зря писал, что вокруг кода в консольке можно было делать многое еще до появления агентов, а магию пайплайнов в никсах придумали задолго до первой версии ленгчейна. Не нравится код, который агенты пишут? А как мы раньше его убивали еще до прода? Кто сказал "жесткая стейт-машина и тикеты в jira?" 🤔

Пока я провожу этот безумно интересный эксперимент, узнал что для консольки есть целые фреймворки, в которых можно наколупать вообще интерфейсы любой сложности. Например, good old times лоадер: сначала танцуем, потом лунная походка, потом нижний брейк, потом колесо в сторону 🤩🤩🕺👯‍♀️

Ну какой кайф!

💁‍♂️ Это просто перевод

Я сделал достаточно много переводов различных статей на хабре и там регулярно прилетает несколько минусов или даже комментов, что это "всего лишь перевод". Казалось бы, иди просто дальше, но нет. И, мне кажется, это супер классная тема для отдельного поста.

Задача перевода подарила нам архитектуру трансформера, при этом сам перевод является отличным прокси-примером на весь AI.

У нас у всех есть кнопочка автоперевода для всех типов контента и качества этой кнопочки хватает для большинства быстрых задач. По условной аналогии с Канеманом, у нас есть быстрый контент и медленный контент: первый мы потребляем автоматически и нам его абсолютно достаточно. В первый год после выхода ChatGPT в видео-переводах он часто переводился как "чичипт". Это было забавно, но этого хватало, чтобы послушать интервью, все понять и тем самым решить задачу - тут все ок.

Но есть как бы медленный контент, который мы потребляем по другому и где нюансов слишком много и автоперевод превращается в карикатурный. Игра слов, непереводимые или устоявшиеся термины, культурные различия и много всякого разного, что руинит смысл или даже повышает когнитивную нагрузку от прочтения.

Я говорю, пишу и думаю на русском, весь мой трейсинг и внутренний ризонинг происходят на русском, и несмотря на то, что с английским у меня нет никаких проблем, статьи на английском я читаю гораздо медленнее и откладываю их на дольше, поэтому наличие хорошего перевода меня всегда радует. Читать оригинал техрепорта квена без погружения сложно, но читать его в автопереводе невозможно в принципе, потому что конструкции вида "off‑policy sequence masking when they reuse rollout data" превращаются в бебебе мумуму.

Чем проще задача перевода сводится к общечеловеческой, тем лучше она закрывается автопереводом. Но сериальчик мы лучше посмотрим от профессиональной студии озвучки, а комментировать футбол любимой команды лучше тому, кто знает наш менталитет.

И так везде про весь AI. У нас у всех профессиональные камеры в руках, но на важное событие мы позовем фотографа с большим фотоаппаратом, у нас есть дорогие и оочень умные роботы-пылесосы (которые на самом деле такие тупые, что даже хуже алисы), но все равно иногда хочется заказать клининг, побазарить за анализы можно и с клодом, но если он что-то найдет, то только дорогой врач и без вариантов.

AI заберет всю работу, которую можно свести к общечеловеческой, но нюансы и специфика вообще беспощадны, к ним он тоже будет подбираться, но на несколько порядков медленее. А "просто перевод" - он вообще нифига не "просто" 🤩

Стрррррраайк! 🤩

Вчера забанили мой 200$ акк. Когда банят разовые, то пропускаешь мимо себя, а здесь был хороший качественный акк с историей в полтора года платной подписки. Но claude -p не щадит никого! Пришлось рефлексировать 🤔

Поделал выводы как с этим жить на хабре, приятного чтения 🤗
https://habr.com/ru/articles/1021936/

Ушла эпоха 🤩
13 октября 2012 года я арендовал себе свой первый bare metall хостить маленький сайтик, вообще не понимая какую махину я себе арендовал, что это вообще такое и зачем. Это была рабочая лошадка, которой с запасом хватило на следующий 10+ лет и которая беспрекословно вывозила любую нагрузку всех моих пет-проектов и экспериментов с чем угодно.

За это время с ним чего только не происходило - горели диски, память, отказывали все компоненты по частям. Потом были мягкие апгрейды железок - докидывалось немного тут и там. За это время через этот барик прошла, наверное, половина техрадара всего интернета - если мне надо было что-то поизучать, будь это либа для плюсов или миникубер, то я разворачивался там и тыкал, или же если нужно было поднять новый проектик на сокетах на новой нодежс или что-то еще.

За это время на нем накопилось столько всего, что я уже несколько лет хотел переехать на другой - потому что технологии беспощадны, новые поколения железа быстрее - там больше ядер, скорости и всего, они за меньшую стоимость выдают буст в 2-3 раза просто за счет своего существования.

Но меня безумно тяготило, что нужно разворачивать несколько проектов на совершенно разных стеках, большинство из которых было сделано в додокерную эпоху, вот эти все конфиги, чарты, базы, кроны, нжинксы с уникорнами и прочей радостью. У одного только вот этого проекта было 230гб офлайн-карт. По прикидам переезд не мог занять никак меньше недели полного погружения ̶а̶ ̶з̶а̶ ̶н̶е̶д̶е̶л̶ю̶ ̶в̶ ̶A̶I̶ ̶в̶с̶е̶ ̶м̶е̶н̶я̶е̶т̶с̶я̶ ̶и̶ ̶я̶ ̶в̶с̶е̶ ̶п̶р̶о̶п̶у̶щ̶у̶ ̶(̶ш̶у̶т̶к̶а̶)̶

На этих выходных я заказал новый барик, подключился, установил claude code, попросил прокинуть ssh ключ на тот хост, дальше просто "тут rsync всей папки", "забери вот этот конфиг", "развернись на поддомене", "забери базу и конвертни ее попутно в utf8mb" и тд. Два вечера на лайте с перерывом на посидеть у костра, три бутылочки бельгийского пива, и все готово🍺 Он сам ходил с одного хоста на другой, чекал дифф чего надо, устанавливал зависимости типа конкретной версии ffmpeg, изолировал проекты, сам создал unix юзеров под каждый проект, раскидал прав и ВООБЩЕ СДЕЛАЛ ВСЕ. Я писал командочки и потом менял A-записи.

Мир изменился. Я безвозвратно потушил свой любимый сервачок - ушла эпоха не просто моего барика, ушла эпоха вот этого низкоуровнего ВСЕГО. Тебе не нужно полвечера читать про lua, чтобы написать хитрый перехват-обработчик в nginx, это теперь вопрос одной минуты и 1 команды. И так - со всем.

При этом, вокруг все еще полно людей, который не верят и не хотят верить в то, что сейчас происходит. Да этот ваш AI галлюцинировывает, да это стохастический попугай, да это вообще и не интеллект вовсе и вообще сначала докажи мне, а потом я, может быть, соглашусь. После этого переезда я просто больше не буду спорить с этими людьми - не работает, окей, не просите потом отзыв после поездки оставить 🥹🤣

Могу за них лишь поднять бокальчик - не чокаясь и не сочувствуя, всем остальным - добро пожаловать в новый мир 🤩👍

"LLMка вызвала инструмент". Нет, не вызывала 🤩🪚

Мы ежедневно употребляем фразы про вызов тулов ллмками, но по факту это лишь инженерная абстракция, давайте разбираться почему 🤔

Шаг 1: инъекция тулов в промпт
Модель ничего не вызывает, у LLM нет рантайма, она не ходит в сеть и даже не исполняет код. Единственное, что она умеет (и этого хватило для AI-революции) - предсказывать следующий токен. Тулы - это просто текст в контексте: раннер движка инференса собирает описания инструментов и кладет их в промпт. Для самой модели "системное описание тулов" не является какой-то сущностью и ничем не отличается от "привет, как дела?" - все это тот же самый тензор input_ids.

Шаг 2: попадание в "нужный режим"
А вот способность "вызвать тул" - результат файнтюна, а не архитектуры. Чтобы модель умела такое делать - ее специально обучают на примерах таких диалогов. То есть, собирают обучающий пример "контекст->задача->вызов тула->результат". Скормив модели тысячи таких диалогов, мы добиваемся, что она статистически выучивает закономерность: при наличии <tools> в контексте и подходящем запросе высоковероятны токены вызова, а не какой-либо текст.

И здесь есть важный момент про гарантию правильности всей схемы. Есть вариант доверия - мы просто ждем от модели, что она вернет правильную схему вызова тула, но здесь начинаются галлюцинации, битый json и прочие нерадости. Вариант так себе.

Второй вариант - насильное ограничение, именуемое так же "constrained decoding". В этом подходе на каждом шаге сэмплинга выбираются только подходящие под грамматику токены, а логиты, ведущие в невалидное состояние, обнуляются до -inf еще до софтмакса и json schema инструмента компилируется в автомат, который на каждом шаге допускает только валидные продолжения. Условно, если мы ожидаем закрытие кавычки, то модель физически не может выдать что-то другое.

Шаг 3: момент остановки
Модель генерирует вызовы и в какой-то момент ей надо остановиться. И это так же делается через stop-токен (условный "<|tool_call_end|>"), после которого декодирование завершается. Инференс-раннер должен это распознать и прекратить генерацию, то есть мы просто сгенерировали моделью блочок с намерением что-то вызвать, а дальше все передается на слой выше.

Шаг 4: оркестратор выполняет тул
Раннер выполняет намерение, получает результат, а затем просто точно так же весь вывод подает в модель. С точки зрения модели, здесь нет никакого "вызова" функции, она видит текст намерения, потом текст результата, а затем продолжает только то, что умеет хорошо - предсказывает следующий токен.

Здесь есть важный нюанс. Каждый тул-кол - это новый префилл - результаты добавляются в конец контекста и его надо прогонять через все слои. KV-cache предыдущих токенов переиспользуется, но новые токены результат требуют полноценного префилла для дельты - а значит чем короче будет ответ тула (и сам диалог перед ним!), тем лучше.

Ну вот и все!

Поэтому фраза "LLM вызвала инструмент" на самом расшифровывается так: модель, дообученная на соответствующих траекториях, сгенерировала и, возможно, под жестким контролем грамматики — последовательность токенов, похожую на структурированный вызов; затем выдала стоп-токен; затем внешний оркестратор распарсил эти токены, нашел реальную функцию, исполнил ее и закинул результат обратно в контекст новой пачкой токенов.

Но мы, конечно, будем продолжать говорить как говорили 🤩🙂