Реальные кейсы внедрений, ошибки и подходы, которые можно унести в свою команду

Здорово, когда в ру-пространстве есть ивенты, которые не стыдно рекомендовать

Иду на ежегодную конфу Conversations от Just AI, про которых я уже как-то писал

25 и 26 июня в Питере (и онлайн)

2 дня, 65+ спикеров, 700+ участников, 300+ компаний, а еще афтерпати (вот уж где обычно самые важные инсайты). Всего будет 4 трека:

Бизнес / AI-Native / Продукты / Технологии

Если коротко сформулировать суть конфы – тут про то, чем отличаются ИИ-инициативы, которые не умирают на этапе пилота, а реально начинают приносить деньги. А главное – про грабли на этом пути – такое любим. Лично мне отдельно интересно посмотреть, чем подводные камни в энтерпрайзе отличаются от проблем, с которыми сталкиваются мои SMB клиенты

Выбрал доклады, которые мне ближе всего (значит, вероятно, и вам, раз вы меня читаете) + пару слов от себя, почему их

AI-powered департаменты: новая операционная модель бизнеса – Наталья Артамонова, директор по внедрению genAI, Норникель (так как эту штуку я сам во всю наблюдаю и распространяю, буду запоминать энтерпрайзные аргументы и кейсы)

Почему между прототипом за 2 недели и работающим AI-продуктом — ещё 6 месяцев инженерии, фидбека и интеграций – парный доклад, один из докладчиков – Станислав Округ, техдир в R77 (это супер крутые инженеры с топовыми кейсами внедрения ИИ – от анализа поведения свиноматок до сегментации сосудов в мозге. их точно стоит послушать)

Опыт перехода от maas к selfhosted/on-premise моделям: проблемы, боли, решения – Сергей Нотевский, AI platform lead, Битрикс24 (Сережу читаю лично, у него – лучшие русскоязычные материалы по промт-кэшингу, искренне рекомендую)

В лайнапе еще Lenta Tech, VK, Лаборатория Касперского, X5, Северсталь, BIOCAD, MWS AI, hh и другой крупняк. Ну и со мной можно на чашечку пива или кофе словиться – не так часто я где-то оффлайн бываю, а тут как раз в Питере в эти даты

Промокод на скидку для подписчиков: CVS26sGiA

Подробности на сайте

Все обсуждают opus-4.8, но почти никто не обсуждает гораздо более важную штуку, которую выпустили антропики – workflows

Может быть не совсем очевидно, почему я считаю это реально важным. Давайте откатимся чуть назад и посмотрим на типичный путь AI инженера в последние годы:

1. Пилит детерминированные форкфлоу на последовательных вызовах модели. Вдруг:

"Вау, есть structured output и можно на нем делать SGR – схлопывать несколько сложных шагов, где в один запрос последовательно заполняем output схему"

2. Пилит детерминированные воркфлоу, использует SGR, делает нормальные эвалы. Считает агентов чем-то плохо валидируемы (хотя даже не пробовал 😅). Но в какой-то момент:

"Вау, оказывается можно не расписывать логику на все edge-кейсы. Агент сам разбирается с ними в процессе. Агенты – это круто!!!"

3. Во всю пользует агентов. в половине случаев вообще встраивает готовые codex/opencode/pi вместо того, чтобы писать свои велосипеды. Тысячи строчек кода сложных переходов схлопываются в один AGENTS.md или пару скиллов. Но просыпаясь в один из дождливых четвергов, обнаруживает:

"Так, всю последнюю неделю я писал субагентов, которые должны вызываться в строго определенном порядке, и только при выполнении вот этого условия. А еще у меня есть файлик state.json, куда оркестратор заносит текущее состояние, чтобы все двигалось по конкретной стейт машине, хм-хм-хм"

———

И начинает пилить свой фреймворк для оркестрации агентов

———

Короче, самые прошаренные уже написали себе собственные оркестраторы для ведения недетерменированных ИИ-рабочих по вполне детерминированным рельсам процесса. И это нормально – почти любой процесс со времен устаканивается и там не нужно много свободы. Даже наоборот.

И теперь антропики дали возможность не костылить свои рельсы, а брать готовые. Уже встраиваю это в два клиентских проекта, столкнулся с первыми подводными камнями, но в целом доволен. Поделюсь на следующей неделе

Если еще не смотрели – советую глянуть. Ставлю, что это скоро станет стандартом

На рынке разработки ПО в последние пару месяцев происходит любопытный сдвиг, про который пока мало говорят в РФ

В четверг 4 июня пройдет панельная дискуссия с иностранным гостем – о том, как агенты становятся "рантаймом" для нового типа ПО. И про сопутствующие проблемы:

- Почему попытки сделать компании AI-native проваливаются
- Как тестировать и мониторить системы автоматизации на основе ии-агентов
- Как меняться роль разработчика и требования работодателя

Все спикеры работают с иностранными компаниями, где этот тренд начался раньше:

- Konstantinos Poulinakis - Co-Founder & CEO at ClaimsEvidence
- Nikolay Sheyko - AI Solutions Architect, Founder of Grably Tech
- Refat Ametov - Co-Founder & CEO at Devstark,
- Maxim Romanovsky - Head of AI & Product Engineering at Deutsche Bank

Эфир пройдет на английском

Регистрация тут

Эфир бесплатный, подписываться ни на кого не нужно

Эээээксперимент

Писал выше про идею сделать курс по ИИ для людей. Галяяяя, отмена

Мы решили сделать одну штуку, которую давно хотелось попробовать – марафон желаний заданий

1 день = 1 задание на пол часа (кроме выходных)

Не сделал = выбываешь

Заработал ачивки (например, помог кому-то в чате) = получаешь доп.жизни

Задания проводят за ручку по пути приручения ИИ агентов для помощи в обычной жизни

От выбора тапочек на озоне до заполнения душных табличек и документов и личных дайджестов в телеге

Начальных требований нет. Ок, если вы новичок, ок – если нет

Участие: 10к = месячный марафон
(цена одного дня хорошей онлайн конфы)

Старт сегодня

Группа уже набрана, но все еще можно залететь

Если вам или вашим близким актуально – пишите Саше

🤡 + 🔃

Леша Остриков недавно запостил спонтанный краудсорсинг по самому горячему вопросу последних месяцев:

Как дать экспертам (не технарям) доступ к агентам. И дать им возможность обновлять этих агентов через командные скиллы. Да еще и так, чтобы они могли коннектиться к инфре компании с правильными доступами

Я накатал там в комментах ответ исходя из горького опыта экспериментов во время внедрений.

Заметил, что пересылаю его уже третий раз кому-то, решил запостить – думаю, кому-то из вас сэкономит нервы:

—————————

Я бы вообще абстрагировал бота (у Леши в вопросе речь шла про тг бот) от агентной части. Сделать сначала бэк + простой веб фронтенд (будет быстрее для итераций, чем трахаться с телегой как только выйдете за базовую функциональность)

И отдельно решать вопрос именно настроек агента (скиллы, AGENTS.md и т.д.). Так же отдельно вопрос per-user доступов к корпоративным тулам. Код агента ничего про это не должен знать – это авторизация либо поверх MCP, либо поверх CLI (см. gh как пример)

———

По агентному бэку: к сожалению, я не знаю хорошего агента, который дефолтно умеет в мультиюзер, т.к. все они делались изначально под локальный запуск одним пользователем.

Поэтому:

1. либо писать свой на базе какого-нибудь pi sdk;
2. либо изолированно запускать готовые (тот же pi или opencode) под каждого пользователя в сэндбоксе (в порядке увеличения изоляции: unix user → docker → microVM), а из своей тонкой мультитенантной прокладки просто роутить запросы в эти сэндбоксы

Заведение нового пользователя = создание нового сэндбокса. А новый чат в рамках пользователя – просто новая сессия внутри его агента

———

По расширениям (MCP, CLI, SKILLS). Я бы забил на MCP (особенно, если нужно быстро). Оставил бы только CLI и SKILLS. Если не использовать git для хранения, то вы с нуля будете изобретать версионирование, диффы, RBAC, разрешение конфликтов и т.д

Если хотим быстро и без боли – нам такое не подходит. Проще создать репо со скиллами на гитхабе, включая скиллы для работы с ним. можно даже сразу копировать весь репо в папочку /srv/company_skills_marketplace и подлинковывать ее содержимое в ~/.agents/skills

1. Даем скиллы для загрузки на гитхаб, обновления с гитхаба и т.д.

2. В какой-то момент разделяем роли, кто какие скиллы можем менять.

3. Потом запрещаем пушить в main и назначаем ревьюеров.

4* В идеале – разносим каждый скилл в отдельный репо, чтобы можно было обновлять независимо. Тогда в самом скилле можно даже зашить проверку версии по хэшу коммита и делать автообновление (или запрос пользователю на апдейт)

———

По коннекторам:

Тут все по старинке – даем пользователям разные доступы на уровне самих инструментов, куда коннектимся, пусть агент просто логинится под аккаунтом пользователя через cli (см. gh, gcloud, etc)

——————

Короче, все сводится к тому, чтобы разбить одну задачу на 4 независимых задачи изоляции:

1. Изоляция истории сессий (не могу посмотреть чужие сообщения)
2. Изоляция execution environment (не могу залезть в чужие файлы через shell)
3. Изоляция прав на обновление shared логики (не могу менять скиллы чужой команды)
4. Изоляция доступов (не могу залезть в гугл таблички фин.дира и посмотреть зп команды)

1 решается своим кодом, 2 – docker/microVM, 3 – гитхабом со скиллами-обертками для нормальных людей, 4 – давно решено

Недооцененная фишка кодекса (или воркфлоу для бедных) ↑

По сути тупо насовываем сообщений в очередь на будущее

Про фичу знал давно, но не особо раньше пользовался. А последние пару месяцев часто накидываю сразу по три-четыре задачи в ряд – справляется на порядок лучше, чем если кидать сразу все. Видимо, как обычно – focus is a key

По сути на этом и подстроены все агентные воркфлоу, да и в целом идея оркестрации. Но там чет нужно думать, разбираться, тюнить

А часто это не нужно – ты сам точно знаешь, что нужно сделать после текущей задачи – вот и формулируешь

P.s. это очень тупо, но самое частое мое такое сообщение:

что мы еще упустили? нужно ли что-то проверить/поправить?

И работает!

Если не пробовали – советую. Когда в клоде работаю – стабильно страдаю, что нет такого

@ai_grably

В ту же тему ↑ заметил новый любимый паттерн

/goal делай задачи из папочки .tasks
ВАЖНО: читай и делай по одной за раз!

Транскрибация на телефоне своими руками

Казалось бы, что сложного: запись аудио → транскрибация → копирование в буфер обмена

Но ни одно из приложений, которое пробовал, не дает нормального UX

В итоге с подачи друга (спасибо, Паша), настроил себе нативный shortcut и повесил на Action Button / Double Tap

Инструкция, как сделать в домашних условиях

Создаем новый Shortcut (Команда). Добавляем:

1. Record Audio:
- start: Immediately
- finish: On Tap

2. Get Contents of URL:
- URL: https://api.openai.com/v1/audio/transcriptions
- method: POST
- headers:
Authorization = Bearer <сюда вставляем OPENAI_API_KEY с platform.openai.com>
- body: Form
- file = Recorded Audio, тип File
- model = gpt-4o-mini-transcribe
- response_format = text

3. Copy to clipboard

4. (Опционально) Show notification

———

Можно любой другой api использовать. Можно парсить json из ответа через Get Dictionary from Input. Можно поднять свою проксю на vps чтобы работало в рф без квн

@ai_grably

Вы тоже успели подсесть на Fable?

Что ж, ждем фронтир модели, которые будут сосать на бенчмарках, чтобы их не заблочили

Раньше был "бенчмаксинг", теперь будет "бенчмининг"

Удивляют люди, который ухмыляются над Антропиками. Мол, довыпендривались, теперь расхлебывайте

Кмк, Антропики на данный момент получили топовый пиар – признание государства о том, что их модель слишком опасна из-за своей крутости. То есть, буквально валидация их собственной позиции

Я думаю, закончится все тем, что они поправят джейлбрейки, отыграют публично послушание перед правительством, за что с них в какой-то момент снимут экспортные ограничения. И вот тогда то адопш мифоса/фэйбл взлетит до небес – все кому не лень захотят потыкать, что это тут у нас было под запретом

Где я не прав?

Вчера жестко прокрастинировал делать рабочие задачи. А что делает человек в 2026ом, когда отлынивает от работы?

Я вот увидел картинку, где fable помог разобраться с NSEvent.pressure в MacOS 26 и использует тачпад для взвешивания порошка (картинка в комментах). Короче, картинка оказалась сгенерированная, нет там публичной апишки, которая граммы возвращает

Но оказалось, что есть приватная😉

Спустя час дебага и экспериментов, мы находим правильное поле в структурке

там буквально был момент, когда агент пишет скрипт, который выводит разные значения, я давлю на тачпад с разной силой, а агент по 16 графикам – пытается понять, какое из этих 16 чисел отвечает за давление

В целом, на этом бы и остановиться – весы готовы. Но в процессе дебага я случайно решил вывести на экран все касания с учетом силы нажатия в реальном времени. Получилась красота на видео выше. Сразу стал думать, для чего можно было бы такое применить – это же супер детализированный инпут

Первая мысль, что можно в геймдеве прикольные механики делать. А вторая – midi контроллер – играть музыку. руками. на тачпаде

Проходит еще два часа

Добавлены отображение волны и спектра, триггер на улавливание фазы (чтобы она стоячая была по возможности), пространственный звук, кучу настроек и пресеты. Ну и блокировка тачпада до кучи – чтобы пока музицируешь случайно не кликать куда ни попадя

Скинул нескольким друзьям – оказалось жестко залипательной штукой

Ощущения от обратной связи визуала на нажатие – офигенное. Наверное, самая крутая моя экспериментальная поделка за очень долго

Залипнуть самому (только на Mac):

brew trust toolittlecakes/tremor
brew install toolittlecakes/tremor/tremor
tremor

@ai_grably

Лечим Dictation

Мой Wispr Flow чет совсем испортился, а вот встроенный диктейшн в Codex App – очень хорош. Но сделать нормально, чтобы он работал по всей системе (пост) у openai так и не получилось – у меня стабильно теряет результат

Психанул, раздебажил Codex App (благо написан на электроне), нашел internal url и параметры запроса, и воткнул его как новую модель в Handy – опенсорсный аналог Wispr Flow

Кастомные эндпоинты в Handy прописывать нельзя, так что он был быстренько клонирован и запатчен

Промпт для повторения:

Сделай кастомный Handy с моделью `Codex Dictation`.

Важно знать заранее:

Endpoint:
POST https://chatgpt.com/backend-api/transcribe

Auth читать кодом из локального Codex:
~/.codex/auth.json

Поля:
- tokens.access_token → `Authorization: Bearer ...`
- tokens.account_id → `ChatGPT-Account-Id: ...`, если есть
- refresh_token и id_token не использовать

Headers:
- originator: codex_desktop
- User-Agent: Codex Desktop/26.611.62324

Body:
multipart/form-data
- file: audio bytes, audio/wav, filename handy.wav
- language: optional; `auto` не отправлять; `zh-Hans/zh-Hant` → `zh`

Response:
```json
{ "text": "..." }
```

Склонируй github.com/cjpais/handy, найди, что в нем поменять, чтобы нативно встроить Codex Dictation в список моделей, собери приложение и установи

Так Handy будет мимикрировать под вызов из Codex App
Для работы нужен аутентифицированный codex (берем его секреты)

Disclaimer: это может являться нарушением ToS OpenAI, хотя мы тут просто получаем сервис, который нам обещают (если используем локально)

@ai_grably

Только сейчас узнал про флаг, который включает в codex'е request_user_question. Он и раньше был, но работал только в режима планирования, которым я не пользуюсь

[features]
default_mode_request_user_input = true

С чем особенно хорошо работает (в AGENTS.md):

Ты сам автономно идешь до результата, пока путь ожидаемый. Если уперся в неожиданную проблему – не нужно скрытно костылить воркэраунд. Правильно – объяснить проблему и дать варианты ее решения (и обхода). Иначе – будем ходить костыльными путями, а пользователь даже не будет в курсе

Бтв, узнал про флажок в чатике курса от @the_ai_architect, мб вы тоже не знали

Чем CC на самом деле круче Codex с точки зрения бизнеса?

В целом, будем честны, они уже плюс-минус одинаковые. Да, Claude лучше делает UI, а Codex педантичнее следует правилам. Обгоняют друг друга по разным фичам, но в основном в мелочах

Но есть одна особенность, которая может быть критической при выборе Codex vs Claude Code для компании. По крайней мере, для тех компаний, где разрешен гитхаб

Это automations (codex) vs routines (cc)

Просто один из самых частых запросов у бизнеса сейчас:

1. Научите наших доменных экспертов автоматизировать себе задачки
2. А потом сделайте, чтобы часть задачек запускалась в фоне, чтобы не тратить на них фокус (и не продалбываться)

Переход из первого во второе можно сделать с помощью Automations в кодексе

Но они работают только когда устройство включено. Так еще и хочется запускать их не только по таймеру, но и по какому-то событию (aka вебхук)

И честный переход в автономный режим означает деплой собственной системы, а это сразу приседания с CI/CD, Docker, Cron и кучей других слов, которые доменные эксперты учить не будут

Так вот, Routines в Claude Code берут это на себя – там вы пушите проект с AGENTS.md и скиллами на гитхаб (проверено, с этим справляются вообще все) и антропик сможет разворачивать его в своей песочнице, отправляя прописанный промпт

Можно по таймеру, можно по событию (вебхуки)

Главный вопрос – а че там с секретами для коннекторов: достаточно просто скопировать .env с нужными токенами прям в окне настройки

Короче, вся сложность по деплою, триггерам, и т.д. антропики берут на себя

И для компаний, где не достаточно разрабов на создание такой инфраструктуры, либо просто не хочется собирать велосипед – это прям киллер фича

@ai_grably

Астрологи объявили неделю fable 5, количество упоминаний Антропик в ИИ каналах увеличилось втрое (а сна – уменьшилось вдвое)

А если по сути, то гоняем в хвост и гриву до 7 июля на все 50% подписки и ждем GPT-5.6

Как человек, который успел провести в обнимку с ней двое суток, гонять советую на задачах, где нужно много неявного контекста, а старые модели не улавливают "вайба". Это либо архитектура core компонентов и либ, либо сложные рефакторинги, либо дизайн экспериментов

Короче, задачки, где нужно понимание "на кончиках пальцев". В остальных разницу скорее всего не заметите, не тратьте токены

UPD: reddit для вдохновения

Байки с полей

Сгонял в конце прошлой недели на Conversations, сейчас расскажу, что было интересного, а что полезного

Ну во первых, был очень рад контингенту на конфе – развиртуализовался с кучей селеб нашего ИИ-пузыря – от Ромы Куцева из llmarena и vsellm до Ярослава Шмулева из R77, попил пива с шашлыками у Валеры Ковальского и покатался на тачке Глеба Кудрявцева

Но мы же на такие конфы не за этим ездим? Вернее не только за этим

Если прям честно, я очень хотел пообщаться с ребятами из реального сектора (всегда говорю, что там гораздо больше простор для оптимизаций и гораздо меньше экспертизы как ее делать)

И они там были. Я смог добраться до КМЗ (Кенгиссепский Машиностроительный Завод), Московского Метро и еще кое-каких нефтянников. Ну все, похвастался, теперь расскажу, какие сейчас запросы нарыл:

- голосовой ввод для инспекторов ОТК (которые руками проверяют изделия)
- контроль рабочего времени конструктора (по камерами и записи экрана)
- сравнение цен/условий закупок у поставщиков
- и поиск у них просрочек + оформление претензий
- автоматизация ввода первички и номенклатур + регистрация чертежей в их системе
- семантическая аналитика 500 млн чат бот сессий в месяц
- ну и конечно, q&a боты по базе знаний компании (нормативка, поставщики, рынок и т.д.)

Еще из любопытного, узнал в кулуарах про схему, когда на тендер залетает компания однодневка, жестко демпингует, а потом требует откупные, чтобы выйти из тендера. А если не дать, то они выиграют тендер и потом ничего не будут делать, только жрать месяцы простоя, пока не получиться их выпнуть через юристов.

Из решений – нанять нормального тендерного специалиста, который поможет так составить тендер под конкретную компанию, что такие паразиты в него не пролезут

Ну и еще есть всратая история, как одна девушка смогла без опыта устроиться дата аналитиком не скажу куда, чтобы клеить CEO. И наняла себе реального аналитика за часть зп, чтобы он закрывал её таски. Эффективный менеджмент, получается. И такое бывает, вау

P.s. короче, конфа – огонь, теперь еду в мск на Agentic Dev Conf, приходите слушать доклад, зовите пить пиво

Нужен GUI агент для опенсорсных моделей?

Пока нет ничего лучше OpenCode. Шутка.

Z.ai сделали не только топовую опенсорсную модель, но и свой гуи агент ZCode – клон Codex App

Но codex работает по дефолту только с Responses API (который никто кроме OpenAI нормально не поддерживает). А ZCode нативно поддерживает кастомные эндпоинты всех трех типов (chat.completions, responses, anthropic)

Управление с мобилки тоже есть, правда не через аппку, а через веб (зато не заблочат в сторах)

P.s. можно и к codex подключать разные модели через отдельный враппер (cliproxyapi), но такое не всем подходит

Хз как люди пользуются OpenRouter

По дурости тестили на нем систему, которая на локалках должна будет работать в контуре клиента, и это такая боль:

- низкие лимиты у провайдеров
- хрен пойми у кого реально есть поддержка structured output, даже если заявлено
- а у кого есть, часто некорректная – натолкнулся на имплементацию с сортировкой ключей в алфавитном порядке 🥴
- нет моделей в целевом кванте
- в какой-то момент провайдер просто лег на два часа (а другие не поддерживают норм SO для нужной модели, ага)

Да, можно сразу тестить на целевой системе, но а) это нужно получать доступ в контур клиента и б) ждать пока одна его карточка все обработает

А у нас autoresearch-like флоу, где агенты в 4 потока эксперименты крутят, нам такое не подходит

Короче, надо было сразу арендовать GPU и поднимать там, а не страдать херней. Благо это делается в один промпт (если настроено управление браузером):

Codex, сходи через мой браузер на hf и подними мне vLLM на h200 с <model-name> на <context-len> токенов максимального контекста с <concurrency-num> параллельных запросов. Посмотри в документации и на реддите рекомендации по конфигам и проверь, что мои требования вообще выполнимы или предложи трейдоф

P.s. если нужно часто, установите huggingface_hub и дайте токен админский, чтобы агент через браузер не мучался

P.p.s. не забываем потом остановить ноду, а то можно без штанов остаться (если хочется автоматически, юзаем scale_to_zero_timeout=20)

Альтернативы: runpod.io, vast.ai, modal.com, cloud.ru (не реклама, а зря)

Хз, для кого-то это очевидно, но у нас это первый проект, на котором сошлись локальные модели, отсутствие доступа к железу клиента, и огромный трафик autoresearch подхода