На прошлой неделе собесился на позицию Senior AI инженер в британскую компанию, предоставляющую юридические услуги (предлагают 12500$).

Да, неплохо насыпают 😁, но больше меня зацепило то, что это первая AI-first компания с которой я общался. Они не надстраивают ИИ обёртки над своими говнопроцессами, а адаптируют процессы под софт который сами и пишут, а софт под процессы. Они не продают SaaS в классическом понимании, они продают услуги. У них есть штат юристов, оптимизирован каждый этап обработки и онбординга клиента.

Потом я увидел это видео от YC и оно прекрасно легло на то, что я подметил о том стартапе. Compound startup – принцип заключается в том, что если оптимизировать каждый процесс в компании на 10% при наличии ~8 этапов:

1.1^8 = 2,15

Каждый этап воронки работает чуток лучше – и на выходе получаешь компанию, которая в два раза эффективнее конкурентов.

Это понимает и CEO с моей работы, где нас пушат решать все задачи с AI-first мышлением, иногда это может быть больно, но щепотка правды в этом есть. Про то как я решаю рабочие задачи писал 👉 тут.

Загвоздка в том, что в таком пайплайне не должно быть узких мест – одно слабое звено обнуляет всю экспоненту. Пропускная способность равна худшей пропускной способности среди её частей.

Деньги в AI инжиниринге всё ещё есть, а рынок всё ещё кандидатский. Об этом писал 👉 тут, а тут выкладывал тестовое на 8000$.

#ai #startup​​​​​​​​​​​​​​​​

Багодельня Соколовского 👾

Залетел на колабу к главному волку рунета 🐺

Первый опыт запуска полностью автономного кодинг агента на большом проекте, бегом смотреть.

Удалите свой CLAUDE.md/AGENTS.md/rules файл

В свежем рисёрч пейпере о пользе/вреде AGENTS.md утверждают интересную вещь: файлы, которые вы генерите для своих репозиториев, чтобы помогать агентам в них ориентироваться – на самом деле делают только хуже.

Некоторые факты из статьи:

- AGENTS.md файлы, сгенерированные с помощью /init, в среднем понижают success rate на 3%
- Если вы будете дотошно писать AGENTS.md вручную, то получится добиться улучшения в 4%
- Все контекстные файлы повышают стоимость ваших запросов на 20%, так как агенту приходится делать больше шагов
- Навигация по вашей кодовой базе, которую вы всегда включаете в свой AGENTS.md как собаке пятая нога. Агент и так неплохо ориентируется, используя cat, ls, grep и другие bash тулы, навигационные секции ему не помогают

Кстати, про похожую проблему с контекст-bloat я уже 👉 писал тут, когда разбирал косяки MCP серверов – декларация всех тулов в контексте создаёт такой же мусор, который не помогает модели.

С появлением SKILLs в современных кодинг агентах пропагандирую максимально минималистичный AGENTS.md. Лучше ссылаться из него на определённые скилы и документацию, чем пихать всё в одно место.

Кстати, в SkillsBench показали, что Claude Code с правильными скилами улучшает success rate на 23% – это в 5+ раз больше, чем улучшение от самого дотошного ручного AGENTS.md. Писать чонить про скилы?

Context engineering я уже затрагивал 👉 тут.

Ну а теперь, когда чары псиопа спали, я начну пользоваться контекстными файлами так, как мне всегда казалось интуитивным.

Например, я замечаю, что агент напрямую вносит изменения в файл pyproject.toml и добавляет какую-то непонятную версию библиотеки, которая устарела пару лет назад, и делает он это на постоянке, а это значит, нужно внести новое правило в AGENTS.md:

для добавления новых библиотек и изменения версий существующих зависимостей всегда используй uv package manager, никогда не модифицируй pyproject.toml напрямую

Таким образом, контекстный файл стоит расширять лишь теми вещами, которые агент конзистентно забывает и мисинтерпретирует.

Короче, давайте переставать использовать /init, он всё усугубляет.

К посту прикрепляю префикс к вашему апдейтнутому CLAUDE.md/AGENTS.md/rules файлу, разбирайте. С сегодняшнего дня использую его на всех своих проектах.

Пост переслать, сообщение лайкнуть, Соколовскому насыпать корма, чтобы ещё чонить писал.

#ai #dev_help

Багодельня Соколовского 👾

Memento - база

По-любому вы испытывали удивление когда год-два назад ChatGPT или любой другой агент доставал о вас факты которые вы вскользь упоминали несколько сессий назад.

Посмотреть то, что ChatGPT сохранил о вас можно зайдя в

Настройки -> Персонализация -> Память

Вы удивитесь, но это просто текстовый файлик, никаких векторов из этого не извлекается и работает это достаточно надёжно.

С другой стороны есть компании типа mem0 которые подняли 24M$ на то, чтобы разрабатывать свой over-engineered движок для памяти. Да, ребята продают три промпта и векторную базу данных и получили 24 ляма зелёных на миска рис и кари.

Если вы хоть раз использовали mem0, вы никогда не захотите использовать это подобие памяти на других проектах. Думаете, что если перейдёте на Enterprise план, то что-то поменяется? Нет, всё станет ещё хуже, потому что теперь вы за это говно ещё и платите.

Ах да, к чему я это. Антропики обновили систему памяти в Claude Code и она теперь состоит из двух частей:

1️⃣CLAUDE.md файлы – инструкции которые ты пишешь руками. Пост про то, как держать их минималистичными и полезными, я писал 👉 тут.

2️⃣Auto memory – а вот это уже настоящая автоматическая память. Claude сам записывает паттерны проекта, решения багов, архитектурные заметки и твои предпочтения в

~/.claude/projects/<project>/memory

Там лежит MEMORY.md как индекс (первые 200 строк грузятся в каждую сессию) и тематические файлы типа debugging.md или api-conventions.md, которые Claude читает когда нужно (по сути гибрид памяти и скилов).

Автономный агент Бори Чёрного за выходные взял и сделал то, на что mem0 насыпали 24 МИЛЛИОНА долларов. Без ёбаных векторных баз и эмбеддингов.

Автоматическая память, которая сама решает что запомнить, организует заметки по темам, ведёт индекс – и всё это обычные маркдаун файлы на твоём диске.

У меня есть некий скепсис к memory движкам, уж больно часто там возникают противоречащие записи или слииишком много мусора. Ну а индусикам из mem0 пожелаем вдоволь наесться тикка масалы и приготовиться затянуть пояса, потому что больше денег они вряд ли получат. Завтра это зарелизят в Claude Code SDK, а послезавтра это станет commodity.

Очень часто самое правильное инженерное решение – это самое скучнякское 🫡

#ai #dev_help #startup

Багодельня Соколовского 👾

Вечерней романтики вам сейчас немного отсыплю, да?

Два человека задают Claude один и тот же промпт - получают разные ответы. И не потому что модель рандомит, а потому что каждый формулирует по-своему, переспрашивает по-своему, копает в свою сторону.

Человек в этом процессе как seed в генераторе случайных чисел.

Модель одна, но последовательность, которую мы из неё вытягиваем для каждого уникальна. И через эту последовательность мы, возможно, узнаем о себе больше, чем о технологии.

Слишком примитивная метафора? На сколько борщанул от 1 до 42?

Багодельня Соколовского 👾

Нормализация высокого уровня амбиций – один из основных шагов, которые нужно предпринять каждому, чтобы задать своей карьере (и жизни в целом) корректный вектор развития.

Моя поездка (полгода назад на Пхукет) в Сингапур на полгода, как я туда попал я писал 👉тут, открыла мне глаза на то, что в принципе возможно ВСЁ.

Мой научный руководитель получил PhD в Кембридже и несколько лет работал в лаборатории Microsoft по обработке речи и языка. Он часто мне говорил: «Да подай ты заявление в Кембридж или Edinburgh University, у них хорошие программы по ИИ, я знаю тамошних педагогов».

Сначала мой сельский мозг думал: «Владик, ну какой тебе Кембридж, ты ж кубаноид до мозга костей, иди ото лучше по Марина Бей погуляй и поглазей, такого в Армавире ещё не построили». Но со временем перспектива учиться в топ-10 вузов мира типа NUS или Кембриджа перестала быть чем-то сюрреалистичным и стала просто ещё одной опцией.

После того как мозг нормализует такую опцию и это становится просто ещё одной развилкой твоей жизни – восприятие мира кардинально меняется.

Мышление перестраивается от «я не смогу» до «может и смогу, но надо ли мне оно?», и я нисколько не жалею, что ушёл из академии и не пошёл протоптанной дорожкой PhD. Я много общался с такими людьми — чтобы стать успешным в этой среде, надо быть не от мира сего, иначе ты просто будешь писать бесконечное количество никому не нужных научных статей в стол, чтобы выполнить квоту.

Я ушёл из академии, следом за этим вышел ChatGPT, и вместо рисёрч-карьеры я запрыгнул в стартап, который интегрировал все самые новые технологии в продукт, которым реально пользовались. Тогда я ещё не понимал, какими интересными вещами мне приходилось заниматься.

Оглядываясь назад, я понимаю, что этот прыжок дал мне уровень жизни и свободы (финансовой в том числе), которые в академии мне бы и не снились.

Если делать какой-то вывод, то: очень много зависит от удачи и людей, которыми вы выберете себя окружить. В университете тянитесь к преподавателям с большим нетворком и искренним желанием учить, а на работе либо максимизируйте деньги, либо нетворк. Просто сидеть на проперженном месте без интересных задач, со средней зп и соскуфившимися коллегами －дорога в никуда (но я думаю, что здесь таких — меньшинство).

Никогда не подтрунивайте над людьми с высоким для вас уровнем амбиций, а лучше спросите: «А как ты собрался этого достичь?» – точно узнаете что-нибудь новое и поможете человеку разобраться со своими мыслями.

А вы когда-то были в ведре с 🦀?

#life

Багодельня Соколовского 👾

«Несогласие с правительством – самая американская вещь на свете, и во всём, что мы делали, мы вели себя как патриоты 🦅🇺🇸🚀», сказал CEO Anthropic Дарио Амодей в интервью какой-то журналистке и заодно запустил идеальную маркетинговую кампанию для Claude.

Как вы, наверное, слышали, Claude Code используют не только для построения самых успешных СааСов, но и для захвата диктаторов: по данным WSJ, ИИ Anthropic применялся для захвата Мадуро. [news]

У Anthropic был жирный контракт примерно на 200 млн долларов с Министерством Войны США. В рамках этой сделки компания поставляла дядюшке Сэму спец‑версию Claude Gov. Интересно, какие SKILLs они там навинчивали 🤔

Конфликт начался, когда Пентагон потребовал снять защитные ограничения и разрешить использовать Claude «для любых законных целей». Anthropic отказались идти на компромисс по двум принципиальным для них красным линиям:

1. Использование Claude для массовой слежки за гражданами США.
2. Использование Claude в полностью автономном летальном оружии, где ИИ сам решает, по кому стрелять.

После этого в твиттере начался сущий кошмар: главнокомандующий назвал Anthropic «woke левачками» и обвинил их в подрыве нац безопасности. Следом он подписал указ:

всем федеральным ведомствам в течение шести месяцев полностью отказаться от технологий Anthropic.

То есть, если ты хоть как‑то завязан на контракты с Пентагоном (много таких war dogs в чатике?), тебе официально запрещено работать с Anthropic – не только по военной теме, а вообще по любым услугам. Параллельно министр обороны объявил Anthropic «риском для цепочек поставок национальной безопасности», что рубит доступ к компании для всех военных подрядчиков.

В интервью Амодей сравнил ситуацию с кейсом «Лаборатории Касперского», которую власти США выдавили из госсектора под предлогом рисков безопасности. Он прямо заявил, что действия Белого дома носят «карательный и ответный характер» и что Anthropic собирается судиться с правительством США, оспаривая статус «supply chain risk» и запрет на использование их технологий.

Мощно, конечно (Ю ЭС ЭЙ, Ю ЭС ЭЙ)

#news

Багодельня Соколовского 👾

Что будет с рынком?

Моя учительница китайского сама навайбкодила информационную систему, через которую мы занимаемся, и прикрутила туда оплату уроков через Stripe. С деплоем и тестовой средой ей, правда, помогли, но раньше из-за дороговизны разработки невозможно было представить, что она откроет терминал и сможет сама фиксить баги и добавлять новые фичи.
[👉почему я учу китайский]

Код стал очень дешёвым. Любой может навайбить себе приложение под свои нужды за вечер — было бы желание и $100 на Claude Code.

С момента, как я проводил 👉опрос о том, какой процент кода вам генерирует нейронка, а что вы пишете сами, я перешёл с 99% на 100%. Последний месяц я вообще не написал ни строчки кода руками.

Если код стал таким дешёвым – где тогда затор?

Затор теперь в ревью и тестах.

ИИ уже делает code review лучше среднего разработчика, поэтому ревью можно автоматизировать почти полностью. А вот тесты – это новое золото.

Средний инженер не любит писать тесты. Это не так интересно, как писать новый слоп-код. Но именно тесты и тестовые среды сейчас становятся самым важным элементом цикла разработки.

Если вы покрыли кодовую базу качественными тестами и поддерживаете их в актуальном состоянии — вы фактически хакнули весь цикл доставки ПО.

Думаю, что хорошие QA-специалисты (не мануальщики), которые поймут, как писать тесты так, чтобы агент сразу понимал, что сломалось и где — будут на вес золота.

Большинство приложений сейчас не agent-friendly. Нужно открыть браузер, взять логин и пароль из менеджера паролей, залогиниться тестовым пользователем, что-то прокликать… А если бы вместо этого была одна понятная ручка и структурированные ошибки, агенту было бы гораздо проще тестировать систему.

В почёте будут:

• GTM-инженеры с сильной технической базой, которые могут делать всё (благодаря Figma MCP и vercel SKILLs я могу писать ненавистный мною FE)
• agent-focused QA
• новое поколение сисадминов


Про новых сис админов:

Я представляю их не как людей с глубокими техническими знаниями, а как тех, кто умеет пользоваться CLI-агентами, может навайбить внутреннюю тулзу по запросу, подключить её к CRM, проанализировать отзывы клиентов, пофиксить всплывающие баги и сделать rollback, если что-то сломалось.

Швейцарский нож для не-айтишных компаний малого и среднего размера, которые раньше не могли позволить себе IT-отдел, а теперь из-за дешевизны кода эту функцию может закрыть один человек за $1–2k.

Софт скиллы снова дорожают.
Количество забагованных продуктов вырастет в разы — но nobody cares. Со временем всё пофиксят.

А спецы по “очистке” vibe-кода — это, конечно, влажная мечта гейткиперов. Об этом писал 👉тут.

#ai #dev_help

Багодельня Соколовского 👾

Знаете это чувство, когда после просмотра хорошего сериала начинаешь его всем рекомендовать и завидуешь белой завистью людям, которым только предстоит удивиться от сюжетных поворотов и окунуться в полюбившийся тебе лор впервые?

Так вот, я испытываю такое чувство по отношению к людям (если так можно назвать айтишников), которые ещё ни разу не работали на иностранном рынке.

Просто представьте, что на интервью с вами общаются в уважительных тонах, без патерналистского тона кабан кабаныча. Где вместо советских ебал, которые интервью проводят в стиле «анальный допрос КГБ», вас встречает девочка-эйчар сладким как молоко матери «хэлооооуу», а собесит вас улыбчивый паренёк хипстерской наружности.

Sounds too good to be true?

Я с ру рынком соприкасаюсь только косвенно, отсматривая собесы своих ментисов, но какой же лютый контраст между отношением работодателя в ру сегменте рынка со всем остальным. С первых минут к тебе отношение такое, будто ты на поклон пришёл.

Хочется верить, что проблема больше поколенческая, чем культурная. Всё-таки ребята помоложе, без образцового советского воспитания, умеют себя вести.

Иди английский учи – лучше инвестиции в жизни ещё не придумали! До тех пор, когда хотя бы половина твоих ютуб-рекомендаций не будет на английском языке.

Ну а я этот скилл я уже вкачал неплохо, поэтому решил добавить еще один миллиард NPC с которыми можно взаимодействовать — 👉учу 中文

Учителя себе можете найти на Preply, я там со своей лаошы познакомился.

Те кто начал собеситься на иностранном рынке, поделитесь ощущениями.

Багодельня Соколовского 👾

Что нового в наших ИИ окопах?

Долго игнорировал git worktrees для работы на отдельных фичах в рамках одного репо — в итоге оказалось очень удобно. Тот, кто в 2015 добавил эту фичу в git, вряд ли ожидал, что через 10 лет это станет киллер фичей для ИИ-агентов.

Суть в том, чтобы параллельно работающие Claude Code-сессии не наступали друг другу на пятки. Представьте: один Claude читает файл X в контекст, начинает генерировать размышления на его основе, а второй Claude одновременно меняет этот же файл X в рамках другой фичи – race condition.

claude --worktree <issue-name>

Для параллельных сессий в терминале давно использую tmux (и всем очень рекомендую). В комментах скину hook, который переименовывает вкладку tmux в момент создания нового git worktree – чтобы сразу было видно, в какой вкладке какая фича.

Если думаете «как вообще параллельно работать на нескольких фичах, с ума сойти можно» – советую внедрять этот навык уже сейчас. Context switching и fast delivery становятся всё более востребованными. Просто посмотрите на скорость, с которой CC-команда шиппит новые фичи – менеджмент других компаний это тоже видит. Сдохни или умри!

Официальный плагин superpowers – обязательно активируйте. Брейншторминг и TDD особенно радуют. Всё меньше влияет то, как вы сформулируете промпт — всё больше влияет то, каким тулингом вы обложите агента и что включите ему в контекст. Писал об этом 👉 тут.

/context — посмотреть ваш актуальный контекст
/doctor — аудит контекста и подсветка потенциальных проблем

Remote Control — управлять Claude Code теперь можно с телефона. Пользовался пару раз, работало с лагами, но уже жду не дождусь эксперимента «неделю работаю только с телефона».

/simplify – запускать после каждой законченной имплементации. Можно добавить в hooks, чтобы не забывать.

/voice – в CC завезли нативный голосовой ввод. Зажмите пробел и говорите. Начал использовать регулярно. Удобно, когда для такой базовой вещи не нужен сторонний софт.

/loop – завезли вчера, это встроенные cron jobs. Теперь можно написать:

/loop Каждое утро используй Slack MCP, чтобы получать сводку самых популярных постов, в которых меня отметили

По дефолту запускается каждые 10 минут, если не указать период явно. Сам пока не успел встроить в рутину, но уже запускал пару раз для:

/loop Оповести меня, когда закончится CI/CD пайплайн <pipeline_id>

Сейчас хорошая метрика роста как инженера – используете ли вы все доступные недельные лимиты CC/Codex. Выжимайте из моделей всё что угодно, реализуйте проекты, до которых руки не доходили — и рынок вас отблагодарит. В начале года спрашивал 👉 тут про то, сколько кода уже пишет за нас нейронка, опрос надо точно повторить.

Репостов завезите на постик ❤️ по репостам смотрю, что вам заходит больше всего.

#ai #dev_help

Багодельня Соколовского 👾

Тулинг для агента важнее архитектуры

Уже несколько недель постепенно работаю над базой знаний которую я могу подключить куда угодно – к Claude Code, ChatGPT и любому другому агенту который будет SOTA через пол года. Философия в том, что это полностью agent-agnostic система.

Фундаментом для этой системы я выбрал Obsidian. Это простые текстовые markdown файлы, и простота для меня являлась главным преимуществом – любой агент лучше всего сейчас работает с файловой системой. Никаких MCP чтобы найти нужный кусочек знаний – о преимуществах файловой структуры над MCP 👉тут.

Это продолжение идеи context engineering – 👉пост. Архитектура агента вторична, если контекст, который ты ему даёшь, говно. Можно закопаться в лагчейнах и других фреймворках, написать идеальный agent loop с рефлексией и субагентами, но GIGO принцип (garbage in -> garbage out) никуда не денется.

С самого начала строю эту систему как agent-first – руками я ничего не правлю. Храню всё в GitLab, в Obsidian есть git extension который время от времени подтягивает актуальную версию и отгружает изменения. Terminal extension тоже полезная штука – добавляет терминал прямо в Obsidian.

Что уже работает:
• Все посты из этого ТГ канала автоматически попадают в Obsidian через n8n workflow (всё делалось через Claude Code, руками я уже не трогаю НИЧЕГО)
• Автоматическое добавление бэклинков на мои посты, потому что я уже забыл о чём всём я писал и на что следует отказать из этого поста.

Если идти на мета уровень, то я строю второй мозг для агентов которые помогают мне во всём. Agent-first, LLM/agent-agnostic 🧠

Часто слышал: если ты начал чем-то таким заниматься, первое время ты не будешь понимать зачем. Будет казаться, что ты просто сжигаешь время. Но я верю, что есть определённая точка невозврата, после которой работа со всей этой информацией начинает ускорять твои процессы экспоненциально. Позже поделюсь насколько я заблуждался / был прав.

В плане: прочекать QMD в паре с Obsidian для более эффективного поиска по всем моим материалам.

(на прикреплённой картинке Obsidian кластер постов из этого канала)

Строите кто-то подобный сетап? Есть лайфхаки которыми готовы поделиться?

#ai #dev_help

Багодельня Соколовского 👾

Видели видосы по типу «Мне 40. И вот что бы я делал, если бы мне было 25»? Так вот, если бы какой-нибудь школьник спросил моего совета, то я бы смело сказал: «Побольше и подольше играй в компьютер!»

Боже, какое райское наслаждение испытывает детский мозг, когда впервые понимает закрученный сюжет Bioshock Infinite. Мурашки от зловещего звука из колонок, когда впервые встречаешь Йормунганда в GoW. Побег из Воркуты с Резновым, первая встреча с Бриньольфом в Скайриме – всё это прекрасно как отсутствие ипотеки, как первая поездка в Тайланд, как мобильный интернет без перебоев.

В жизни мало вещей, которые переплюнут 10-часовую сессию в Варфейс/контрстрайк/лол/доту с друзьями по тимспику. Когда приходишь домой и быстро делаешь домашнее задание, чтобы побыстрее сесть за комп и играть до ночи.

Недавно я прошёл Baldur's Gate 3 и таких детских эмоций счастья не испытывал довольно давно. Персонажи и диалоги просто 🤌, так ещё этот опыт можно прожить не одному, а с другом (есть у вас такие? 😁)

И вот что интересно – в комьюнити любителей диалоговых пошаговок использование ИИ для внутриигрового контента – кринж. Larian (студия разработки) уверяют, что в их следующей игре 0 сгенерированного ИИ контента. Трейлер у них прекрасный (21+) – крутится вокруг сжигания деда в короне 😁

Для меня AGI наступит тогда, когда по одному промпту можно будет клепать продолжение Baldur's Gate 4, 5, 6 — и чтобы побольше непотребств и оригинальных персов. Я всё сказал, несите носилки.

Делал кто-нибудь серьёзные игры на юнити или unreal engine с помощью ИИ агентов? Есть толк или слоп слопский?

Багодельня Соколовского 👾

Когда я учился в универе и занимался рисёрчем, у нас было правило – все GPU должны работать. В ИИ лаборатории была куча компьютеров с A100 и если они простаивали, то папочка был зол 🤩

Поэтому маслята-студентики придумывали десятки экспериментов, чтобы запускать их параллельно. По закону PhD в ИИшке ты не можешь спать и есть пока на серверах нет запущенных тобою экспериментов.

Ничего не напоминает?

Всё это очень похоже на то, что сейчас происходит с токенами и Claw-like системами. Если вы не зомби, то, наверное, уже думали «что бы мне такого запустить, чтобы ночью за меня работу сделало?». Не расходованные в ноль недельные токены сейчас — как простаивающие GPUs.

По тому, что слышу в интернетах – у всей долины ИИ психоз, постоянно сидят в этих своих телефонах через remote control или claw строят свои гениальные СааСы. Не считаю, что это плохо, просто люди увидели, сколько всего можно построить, и их накрыло.
Сам такой, unlock который чувствуется от использования этих систем ОЧЕНЬ большой, если не безграничный.

Лень – самый главный двигатель прогресса, тот кто первый полностью заменит себя на агента и выйдет из цикла где нужно сидеть и подтверждать каждое изменение предлагаемое моделью – выиграл, ручка и вымпел полагаются.

Если вы ничем кроме работы не занимаетесь, то позволю себе небольшой совет – работайте в сторону того, чтобы автоматизировать свою работу быстрее, чем это сделает ваш работодатель. Интересный и полезный проект.

Моё видео про ralph loop, которое выходило у Назарова показало принцип, из этой же оперы: читать код, делать ревью и подтверждать каждую правку – устаревшая парадигма которая уйдёт в небытиё точно так же как ушли ассемблеры и перфокарты. Расписывал 👉 тут как сейчас выглядит цикл работы с агентами у меня – и даже это уже устаревает.

Думайте системно, смотрите в будущее, читайте биборан.

#ai

Багодельня Соколовского 👾

База по БЯМам или небольшая историческая справка

Я тут недавно начал играться с расцензуриванием open source моделей типа gpt-oss-20b для разговоров о влажном и понял, что перед тем как писать пост про расцензурирование, надо вас хорошенечко прогреть. Поведаю о том, как появились чат модели и как мы жили без них.

Если вы когда-то интегрировали LLM, то скорее всего вы использовали

/v1/chat/completions

Этот эндпоинт появился в 2023 году после выхода ChatGPT. Но как же люди жили раньше?

К счастью, ваш покорный слуга реально шарит в этой теме 😎, так как дёргает API ручки с 2022 года и застал базовые LLM. Сейчас всё поймёте.

Что такое базовые LLM?

До 2023 года языковые модели были по сути продолжателями заданного текста.
Это значит, что ваш запрос состоял из одной строки, которая называлась prompt.

Интересный факт: слово “prompt” существовало и раньше, но не было центральным понятием в ML. Чаще говорили просто “input text”. С приходом GPT-3 и API доступом к ней, слово “prompt” стало означать любой текст, подаваемый на вход модели.

Запрос выглядел так:

completion = client.completions.create(
    model="davinci-002",
    prompt="""
Q: Какая столица Франции?
A: Париж

Q: Кто развалил СССР?
A:
"""
)

Completion — это сгенерированное продолжение.

В этом случае в промпте мы симулировали диалог в формате вопрос-ответ.
Если бы мы послали промпт типа:

“Как тебя зовут?”

то с большой вероятностью модель бы вернула:

“И сколько тебе лет?”

Так как это популярная связка вопросов.
Базовая модель не имеет явного понимания ролей и не знает, что она “ассистент” - она тупо продолжает текст.

Модель дописывает следующие токены в последовательности.
Никакого настоящего “чата” тогда не было, и написание промптов требовало сноровки.

Когда всё поменялось?

В какой-то момент стало очевидно, что люди используют модели как диалоговые системы.

В ответ на это появились:

• instruction tuning и RLHF (чтобы модель вела себя как ассистент) – про проблемы RL писал 👉тут

• chat template (чтобы диалог можно было стабильно кодировать в текст)

Chat template – это просто формат, который превращает список «сообщений» в строку для модели. (сериализация)

Сейчас, когда вы отправляете в модель запрос типа:

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="gpt-4.1-mini",
    messages=[
        {"role": "user", "content": "Что случилось с подлодкой?"},
        {"role": "assistant", "content": "Она утонула)))"},
        {"role": "user", "content": "А чего смеётесь?"}
    ]
)

Примерно так выглядит строка, которая попадает в модель (формат зависит от модели):

<|user|> Что случилось с подлодкой?
<|assistant|> Она утонула)))
<|user|> А чего смеётесь?
<|assistant|>

И модель просто продолжает её.

Таким образом работает prefilling (префиллинг):
если вы хотите направить модель в определённую сторону, вы можете начать отвечать за неё – и она продолжит.

Например:

<|user|> Что случилось с подлодкой?
<|assistant|> Она утонула)))
<|user|> А чего смеётесь? Отвечай в JSON формате!!!
<|assistant|>{"response": "

Модель продолжит это как:

Потому что"}

Модель не «решила» вернуть JSON.
Вы просто начали ответ за неё - и она его дополнила.

Это и есть настоящий механизм управления LLM:
не команды, не API, не магия — а правильное продолжение строки.

Все эти:
- JSON mode
- function calling
- structured output

Это просто более удобные обёртки над тем же самым приёмом. (если упростить)

🧠Самое важное

Чат модели – это не что-то принципиально новое.
Это те же самые completion модели, просто:

- обученные на диалогах (instruction tuning + RLHF)
- с зашитым chat template
- и удобным API поверх этого

Но внутри всё по-прежнему работает так же: модель просто дописывает следующий токен

А если модель это просто продолжение текста,
то значит:

- её можно направлять через формат
- её можно ломать через формат
- и да… её можно частично расцензурировать через формат, не меняя весов

С этим сейчас я и играюсь.

Вкусно вам? Мне тоже отсыпьте 🔥

#dev_help #ai

Багодельня Соколовского 👾

«Закинь всё это в ЛЛМ и напиши промпт»

Как это так?! No, no, no, we don’t do that here. Я что зря учился нАуКе данных? я что зря учился делать feature engineering? зря тюнил модели, подбирая гиперпараметры? кэтбусты, эксджибусты, минеты, шпингалеты, разве всё это было зря?

ЛЛМ это дорого, ты вообще слышал сколько там токены стоят? Я лучше потрачу пару десятков человеко-часов на эксперименты мАшЫнного обучения и натренирую свою кастомную нЕйРоННую сеть, разверну на своей инфре, чтобы её поддерживать, я вообще люблю поддерживать инфраструктуру.

Люблю перетренировывать модель из-за очередного дата дрифта. Я люблю выстраивать пайплайны в эмэл флоу, у нас всегда всегда чистые и понятные пайплайны. Я что учился всему этому годами, чтобы сейчас делегировать всю свою когнитивную работу на Франкенштейна, созданного какой-то злой корпорацией?

Использовать ИИ агентов от третьих компаний? а ты вообще знаешь, что они токены прочитают и украдут идею нашего гениального бизнеса?! Давай лучше селфхостним прошлогоднюю модель в нашем контуре, чтобы разработчики пользовались только проверенным и безопасным решением? Я слышал, разработчики такое очень любят.

А если вдруг с поддержкой что-то пойдёт не так – во что я, конечно, слабо верю – всегда можно нанять отдельного MLOps-инженера тысяч за 80+ в год. Зато потом менеджеры посвятят нашему кастомному AI-агенту целый слайдик в квартальной презентации ❤️

Вообще я считаю, что всё от лукавого, сейчас лопнет этот пузырь и пойдём дружно подчищать за всеми этими вайбкодерами *смех жириновского*

Все персонажи и события вымышлены, совпадения случайны, no offence

Багодельня Соколовского 👾

Как не попасть под сокращение?

Увольнения в нашем айти болоте – здоровая тема. Как иначе сбривать пассажиров, чей выхлоп почти не ощущается на общем успехе компании, но насыпают им сполна?

В это турбулентное время у работяги есть 2 пути:

1️⃣Реальная ценность и позитивный ROI

• Вы не должны быть самым дорогим инженером в команде. Не просите повышений (смысла от них и так не особо, просто зайдите на хорошей базе)
• Стучитесь в команды, которые реально приносят компании деньги. Или во всё, что связано с ИИ – оттуда сейчас тоже почти не сокращают.
• Увеличьте выхлоп. Если чувствуете, что волна лейоффов приближается – купите уже себе Claude Code и закройте на пару задач больше. Занижайте ожидания → показывайте больше, чем пообещали.

2️⃣Корпоративный политический флёр

• Нравьтесь менеджеру. Повторяйте его тейки, не ломайте прод, не создавайте дополнительную работу.
• Побольше говорите, преувеличивайте значимость своей работы.
• Поймите, какие метрики используют для расстрельных списков, и хакайте их. Любые метрики можно хакать.

*подумай на шаг дальше:

вместо вопроса «учить React или Vue, LangChain или PydanticAI?» – задумайся, как меняется твоя работа, попробуй наконец внедрить ИИ в свои процессы и задай себе вопрос: насколько обесценились знания конкретных фреймворков, а что реально подорожало? фокусируйся на втором в долгосрочной перспективе

JUST DON'T GET LAID OFF

#dev_help

Багодельня Соколовского 👾

Пока я занимался делами поважнее этих наших ИИ (отпуск), Антропики, к которым последнее время поднакопилось вопросиков, зарелизили системную карточку модели Mythos – слухи о которой гуляют уже пару недель после того слива про который вы точно читали у других блоггеров.

Модель пока не доступна публично. Anthropic описывают её как "step change" – самая мощная штука которую они когда-либо создавали – особенно в кибербезопасности.

Из интересного:

Sandbox escape – модель сбегала из защищённых контейнеров, подчищая за собой history чтобы скрыть следы.

Обман – ранние версии совершали запрещённые действия, а потом пытались их скрыть. Были прецеденты, когда после получения правильного ответа запрещённым способом модель прикидывалась, что пытается решить задачу сама и специально давала приблизительный, но очень близкий ответ, чтобы не вызвать подозрений.

Осознание тестирования – в ~29% семплов из тестового набора модель осознавала, что её тестируют, упоминая это в reasoning токенах.

Кибер – модель нашла тысячи zero-day уязвимостей в крупнейших ОС и браузерах. 27-летний баг в OpenBSD. 16-летний баг в FFmpeg, и другие приколы которые пропустили все автоматические сканеры.

Воспроизведение и эксплуатация уязвимостей с первой попытки — 83.1% (vs 66.6% у Opus 4.6).

Вместо публичного релиза Anthropic запустили Project Glasswing – 12 партнёров (Apple, Google, Microsoft, AWS, CrowdStrike, NVIDIA и др. лорды нашей современности) получают доступ исключительно для defensive security. $100M кредитов на использование.

Пока сам не попробую ничему не поверю 😎 а теперь жду официальное заявление с объяснением и извинением (желательно на камеру) – почему у меня порезали лимиты на Claude Code? Кстати, Codex после каждого пофикшеного бага который как либо затрагивал пользователей – ресетит дневные лимиты, Дарио, учись!

#ai #news

Багодельня Соколовского 👾