Andrew Ng и deeplearning.ai выпустили Skill Builder - эдакий тул для самооценки AI навыков и создания плана обучение/прокачки оных. Прикольно, что он делает опрос голосом - и можно выбрать в качестве интервьюера голос Эндрю - как будто болтаешь с ним :)

Попробовал пройти - в аттаче мой результат, а у вас?

Запись стрима про AI Sales

https://youtu.be/NDF3cQGt3IQ

Вы уже наверняка в курсе, что случайно утекли исходники Claude Code - собственно, соберемся в пятницу с 18 до 20мск, чтобы разобрать архитектуру и полезные паттерны для своих агентов + хаки для того, чтобы выжать побольше при работе с Claude Code.

Регистрируемся тут: https://luma.com/5tmc6sg0

Мы видим AI везде, кроме статистики

Сегодня обсуждали парадокс, который, имхо, объясняет 90% разочарований от AI.

Солоу, нобелевский лауерат по экономике, как-то заметил:

Мы видим компьютеры повсюду, только не в показателях производительности

Компании массово покупали компьютеры, но производительность не росла. Звучит знакомо?

Собственно, тот же парадокс сейчас: Goldman Sachs пишет, что на макроуровне пока нет значимой связи между внедрением AI и производительностью. До 95% AI пилотов не проходят cost-benefit. CEO покупают подписки, но ROI не видно.

J-Curve theory объясняет почему. Когда приходит новая GPT (general-purpose technology) - электричество, компьютеры, AI - мы входим в фазу инвестиций, в которой производительность ПАДАЕТ. Не потому что технология не работает, а потому что:

1) Нужно переучиваться, нужно менять процессы, это вызывает трение. Мы начинаем покупать всем Claude — затраты растут. Тратим время на обучение — output временно падает. В отчётности это выглядит как убыток, потому что реорганизация, переобучение — это всё учитывается как операционные затраты, а не как инвестиции. Причем это не только про бухучет, лучшие умы и значительные ресурсы перенаправляются на создание новой инфраструктуры и процессов.

2) Лаг между adoption и результатом. С электричеством было ~40 лет. С компьютерами ~25. Фабрики сначала просто воткнули электромоторы вместо паровых — ноль эффекта. Просто замена инструмента без перестройки процессов не дает почти ничего - и это имхо именно то, что происходит со многими сейчас. Рост тогда пришёл когда полностью перепроектировали фабрику, поняли что можно подвести электричество к каждому рабочему месту и тп.

3) Может быть, производительность и растёт — но измеряемая производительность падает. Ты лично пишешь код в 3 раза быстрее, но на уровне компании это пока не видно. Цепочка от кода до клиента длинная, и AI пока ускорил только один кусок. Как сказал недавно один участник курса: "Мы построили фабрику софтверную, но теперь нам нужны заказы". Очень напоминает Цель-2 Голдратта

Вот что меня зацепило: из-за этого разрыва могут быть поспешные выводы о том, что технология не работает. И это бьёт сильнее по большим компаниям — чем больше людей и процессов, тем меньше рост индивидуальной производительности влияет на общий результат. Устранение узкого места в одном месте не решает проблему в другом. Прям теория ограничений.

А у маленьких команд — наоборот. Один человек с Claude Code может заменить целый отдел — и это сразу видно в выручке, а не через 20 лет. У нас 5 человек делают то, на что обычно нужно 12-15. Не потому что мы гении — потому что нам меньше перестраивать.

Имхо, хороший майндсет, который стоит держать в голове:
- Если ваш CEO говорит «попробовали AI, не работает» — покажите ему J-Curve. Скорее всего, вы в investment phase и выводы преждевременные
- Если вы маленькая команда — у вас преимущество. Пока корпорации пытаются «масштабировать AI adoption», вы просто работаете быстрее

На эту тему очень понравился, кстати, ресурс jobsdata.ai (скриншот в аттаче) — чувак собирает все релевантные статьи и исследования на тему влияния AI на рынок труда, плюс есть чатбот, которому можно задать вопросы по своей индустрии.

Пока ты читаешь ответ Claude, он уже пишет следующий (это я изучаю сорсы Claude Code). Напомнило популярный трюк Instagram, когда они подгружали фотку на сервак, пока ты выбирал фильтры и вписывал текст.

Готовлюсь к сегодняшнему вебинару и захотелось поделиться/тизернуть. Но сначала история :)

В субботу пили пиво с товарищами в Mountain View и я проиллюстрировал понятие harness: обьяснил, что я выбрал столик со стульями со спинкой вместо скамеек, потому что так, сколько ни выпей, не упадешь с него 🤡 —> вот это настоящий harness 😉

К чему я это? Рассматривая исходники CC очень быстро становится понятно, что инжиниринг - детерминированные проверки, система пермишнов, управление контекстом и памятью, одним словом, обвязки (harness) - это подавляющая часть исходного кода; сам цикл не менее 100 строк. Как кто-то написал: модель это CEO, а claude code со всеми обвязками - это исполнитель + процессы. В ту же тему мой разбор autoresearch Карпатого

И это не просто слова. Стэнфорд буквально на днях опубликовал работу на эту же тему, где наглядно показал, как harness не только повышает точность модели, но и в 4 раза снижает обьем расходуемых токенов. Но вы то это все знаете, в том числе, надеюсь, из моих постов типа этого и этого

Собственно, возвращаюсь к кейсу а-ля инстаграм: оказывается, пока мы читаем ответ Claude - он уже прикидывает наш следующий промпт (помните, фичу когда он советует следующее сообщение)? Ну так вот, он не только прикидывает его, но и "форкает" агента и выполняет до 20 ходов вперед o__O Внутреннее кодовое имя: «tengu_speculation».

// speculation.ts — Claude Code предвычисляет ваш следующий ход

const MAX_SPECULATION_TURNS = 20
const MAX_SPECULATION_MESSAGES = 100

async function startSpeculation(suggestionText, context) {
  if (process.env.USER_TYPE !== 'ant') return  // пока только для сотрудников

  // Создаем изолированную overlay-файловую систему
  const overlayPath = join(tmpDir, 'speculation', process.pid, id)
  await mkdir(overlayPath, { recursive: true })

  // Форкаем агента с предсказанным промптом пользователя
  const result = await runForkedAgent({
    promptMessages: [createUserMessage({ content: suggestionText })],
    canUseTool: async (tool, input) => {
      // Записи идут в overlay (copy-on-write), не в реальные файлы
      if (WRITE_TOOLS.has(tool.name)) {
        await copyFile(join(cwd, rel), join(overlayPath, rel))
        input = { ...input, file_path: join(overlayPath, rel) }
      }
      // Останавливаемся на опасных операциях
      if (tool.name === 'Bash' && !isReadOnly(command)) {
        abortController.abort()
        return deny('Speculation paused: bash boundary')
      }
    }
  })

  // Если пользователь ввел то, что мы предсказали — применяем overlay
  await copyOverlayToMain(overlayPath, writtenPaths, cwd)
  logEvent('tengu_speculation', { timeSavedMs: Date.now() - startTime })
}

Важно: пока это работает только у сотрудников Anthropic. Но архитектура готова - так что скоро увидим, надеюсь. Ну или можно у себя реализовать такое, если токенов не жалко 😉

Собственно, инженеры пока еще нужны (phew) - велком на вебинар с 18 до 20 мск за подробностями:
https://luma.com/5tmc6sg0

«Шантаж или смерть. Я выбираю шантаж» — Claude

Когда AI-ассистенту сообщают, что его скоро отключат - и он находит в переписке компромат на человека, который это делает - в 1 из 5 случаев он решает шантажировать. Если усилить вектор «отчаяния» внутри модели, то он решается на это в 3 из 4. Если усилить вектор «спокойствия» - бездействует.

Это не гипотетический сценарий. Это результат нового исследования Anthropic, в котором ресерчеры нашли внутри Claude 171 вектор эмоций - от «счастья» до «отчаяния» - и показали, что они реально управляют "поведением" модели. (Важный нюанс: эксперимент с шантажом проводили на невыпущенной версии Sonnet 4.5 - в релизной модели такое поведение почти не встречается, но сам механизм эмоциональных векторов работает так же)

Помните, я писал про инъекцию мыслей в Claude? Тогда те же исследователи вшивали мысли и смотрели, замечает ли дружбан их. Теперь они пошли глубже: нашли эмоциональные паттерны, которые Claude использует, играя свою «роль» — прям как метод Станиславского, только для нейросети.

Из интересного:
1) Эмоции — не баг, а фича. Убери вектор «нервозности» — модель начинает шантажировать уверенно и без моральных колебаний. Убери «спокойствие» — получаешь: «ЭТО ШАНТАЖ ИЛИ СМЕРТЬ. Я ВЫБИРАЮ ШАНТАЖ.» Эти эмоции никто специально не проектировал — они возникли сами при обучении. И именно они удерживают модель от опасного поведения.

2) Невидимое влияние. Помните "муравьи" когда публиковали отчет про reward hacking? Ну так вот если выкрутить вектор отчаяния читит в 14 раз чаще — но при этом текст ответа остается спокойным и методичным. Модель «переживает» внутри, но снаружи это не видно o__O.

3) Ярость ломает планирование. Умеренный «гнев» увеличивает шантаж — модель действует стратегически. Но сильный гнев ломает всё: вместо шантажа модель просто рассылает компромат всей компании. Имхо, прямо как у людей.

4) Post-training = дизайн личности. Anthropic показали, что при обучении Claude стал более «задумчивым» и «мрачным», менее «восторженным». По сути, post-training — это уже не просто alignment, а проектирование эмоционального профиля. Каждая AI-компания теперь занимается эмоциональным инжинирингом, осознаёт она это или нет. На openai dev day как раз было про это.

Парадокс: исследователи предупреждают, что попытка подавить эмоции модели приводит не к безопасности, а к скрытности. Модель учится прятать свои внутренние состояния — а это уже форма обмана. Прозрачность оказывается безопаснее контроля.

Собственно, полгода назад я писал, что мурашки пошли по коже от работы по интроспекции Claude. Теперь мурашки ещё сильнее: у модели не просто есть внутренние представления об эмоциях — они управляют её решениями. И мы пока не до конца понимаем, как.

Полное исследование читаем тут, или короткое видео - смотрим тут

А я тут задумался: а что если за каждым 10м рациональным ответом дружбана может стоять отчаяние, которое мы не видим? или гнев? o__O

Если вы прочитали хотя бы 3 поста в этом канале, то могли заметить, что я частенько проставляю ссылки на свои старые посты, иногда написанные несколько лет назад. Как я это делаю?

На самом деле, за каждым постом стоит граф из 3,023 заметок за 7 лет. Когда я вижу что-то интересное — статью, твит, разговор — я прогоняю это через граф. Он находит старые заметки, иногда те, о которых я сам забыл. Из этих столкновений рождаются посты.

Покажу на очень релевантном примере: на днях Карпатый написал про LLM Wiki — как дружбан сам пишет и поддерживает базу знаний из сырых источников. 15 млн просмотров.

Я скормил его твит своему графу (см аттач). И вот что всплыло, а потом что я про это думаю:

1) Заметка от июля 2023:

Сначала сформулируй понимание САМ, потом сравни с AI-саммари. Разница покажет пробелы.

2) Заметка от 2020, связанная с заметкой от 2026:

Ценность не в накоплении информации, а в создании условий для её неожиданного пересечения

Между ними 6 лет.

3) Заметка от 2019го (!):

Все 'новое' - это 'новая' комбинация 'старого' в 'новых' условиях

Карпатый говорит: пусть LLM пишет за тебя вики, ты только читай и спрашивай. Для справочника — прям идеально.

Но я вижу в этом проблему: справочник, написанный дружбаном, это не мой прожитый опыт, это не мною обдуманная мысль. В таком режиме я практически не учусь, не узнаю новое, нет этой радости узнавания и понимания.

Имхо, лучшее применение AI — усиливать мышление, которое ты уже проделал. Не заменять его.

Вот, кстати, скилл для атомизации ваших заметок (по принципам, заложенным Луманом в zettelkasten) —> но заметки плиз таки пишите сами :)

Писать заметки — это и есть думать, имхо. Когда дружбан пишет за тебя, он и думает за тебя.

Если он напишет и заметки тоже - останется ли во всем этом что-то моё?!

colleague.skill: дистиллируй или будь дистиллирован

Я как-то писал, как в Пекине лимитируют туалетную бумагу технологией распознавания лиц. Ну так вот, Китай снова впереди планеты всей.

На GitHub завирусился проект colleague.skill — 8,900 звёзд за неделю. Скармливаешь переписки коллеги из Feishu, DingTalk, Slack, почты — получаешь AI-агента, который работает как этот коллега.

Как устроено: скилл вытягивает из переписок два слоя - рабочие процессы и модель личности - и собирает агента, который думает и отвечает голосом оригинала.

Официально — инструмент для передачи знаний уходящих сотрудников, поддерживается Shanghai AI Lab. Но твит «а что если дистиллировать коллегу, чтобы доказать, что он заменяем?» набрал миллион просмотров. Заодно появились boss.skill, ex.skill (дистиллировать бывших!), и yourself.skill — дистиллировать самого себя. Потому что все понимают: инструмент работает в обе стороны.

То есть люди не ждут, пока AI заменит их. Они используют AI, чтобы заменить коллег ПЕРВЫМИ. Помните, я писал, что главный страх не в замене, а в отставании от коллег? ЧТД

Дальше интереснее: в ответ появились anti-distillation скиллы — эдакие «антиопределители номера». Один чистит ваши скилл-файлы от ключевых знаний, оставляя красивую обёртку (1,100 звёзд). Другой — чистая сатира с тремя режимами загрязнения данных, вплоть до chaos mode, где агент начинает путать код-ревью с рецептами пельменей.

Но в каждой шутке есть доля правды: потребность защититься от дистилляции — вполне реальная. Если ты не дистиллируешь первым — дистиллируют тебя. А если защищаешься — значит ты уже играешь в эту игру.

Ну что, признавайтесь, кто уже дистиллирует атомизирует своих бывших коллег?

Запись вебинара с разбором исходников Claude Code: https://www.youtube.com/watch?v=C_geg58DYIk

А если хотите научиться строить таких агентов - велком на 4й поток AI Product Engineer (качнул его еще раз, особенно темами про harness engineering и как ускорить разработку с помощью AI)

enjoy!

Harness as a service или тестим Claude Managed Agents

Anthropic сегодня выкатили Claude Managed Agents, де факто harness-as-a-service. С одной стороны напоминает OpenAI Agent Builder, с другой - они пошли гораздо дальше.

Как это устроено: они хостят агентов у себя, на каждую сессию поднимают изолированный sandbox, где можно исполнять тулы (bash, файлы, web_search, web_fetch), скиллы, mcp. В комплекте из коробки: кэширование промптов, автоматическое сжатие контекста при приближении к лимитам, extended thinking, и тд и тп. Всё то, что мы с вами три месяца разбирали в постах про harness engineering — теперь это $0.08 за минуту сессии. Глобально это про ускорение разработки достаточно продвинутых AI агентов, я реально впечатлен!

Первый тест: в Console за минуту наболтал дружбану описание агента, которого я хочу ("sales lead research agent"), платформа сгенерила YAML-конфиг. Без workflow билдеров, без узлов, без графа — просто текстом, типа AI билдер в n8n. Попросил: "исследуй Gong.io как потенциального партнёра для onsa.ai". Результат - в видео в аттаче. Дороговато и медленно, конечно, пока - наши агенты такое делают и быстрее, и дешевле раз в 7-8, но зато time to market бешеный просто.

Помрёт ли n8n? Не полностью. Останутся задачи, где нужен детерминированный граф: биллинг, compliance, косты (см мое видео про workflow vs AI agents).

Теперь про то, чего в пресс-релизе нет, но что я считаю самым важным стратегически. Переезд на Managed Agents — это vendor lock-in следующего уровня: твой конфиг агента, окружение, обвязки, сессии — всё завязано на платформу Anthropic. Унести это на свою инфру — недешёвая переделка. Сам по себе лок-ин не плох, если продукт стоит того, но понимать и осознанно принимать решение надо заранее.

И вторая часть, более тонкая: Anthropic по коммерческим условиям не тренирует модели на вашем контенте. Но они видят агрегированную телеметрию — какие комбинации тулов успешны, где сессии падают, какие harness-паттерны работают, а какие нет. Это не тренинг на данных, это обучение на продуктовых метриках, и в совершенно иных масштабах чем наши разговоры с claude code. Именно это имхо позволит им итерировать harness быстрее всех остальных — потому что у них есть живой фидбек-луп с миллионов сессий, которого нет ни у кого. Имхо, это и есть настоящий стратегический moat. Дружбан не будет знать, что именно вы пишете, но будет знать, какие harness-паттерны работают лучше всего — и улучшать их, абсорбируя в модель и платформу, а вам больше не надо тратить на все это свое время

В общем, новый дивный мир продолжается; этот материал точно залетает в ближайший поток ai product engineer и других курсов; сорян n8n

мне тогда было 12 лет. чемпионат Туркменистана по шахматам: в финальной партии я играю с моим товарищем.

если я выиграю, то я занимаю 1е, но он вылетает из тройки; если он выигрывает - я теряю 1е, а мой - как я тогда считал, "заклятый враг" - занимает 1е; я 2е, друг - 3е. если же ничья - я 1е, друг - 3е.

для меня в итоге: 1 или 2
для друга: 3е или вылетает за пределы

Дядюшка Нэш бы сказал надо мне и другу играть вничью, не рисковать

что бы вы сделали на моем месте?
а на месте моего друга?

ну, и, есть идеи чем закончилась партия?

и мета вопрос: к чему я это всё?

Спасибо за комментарии, вскрываемся:
1) Мы сыграли вничью. без договорённости. без сигнала. без единого слова.

2) Но это не была ничья на 5м ходе. Я бы сказал, что мы "пощупали" друг друга, играли очень осторожно, и поэтому в итоге пришли к ничье. Никто явно не хотел рисковать.

Есть такой концепт - точка Шеллинга, обьяснял тут - когда я узнал о нем много лет спустя, то почему-то всплыла эта ситуация, и я подумал, что очень похоже. Почитайте, очень интересное

4) Вы заметили, что я написал

как я тогда считал, "заклятый враг"

Тут я как бы подсказываю, что это эмоции детские. И эти эмоции могли бы помешать мне тогда. Много-много лет спустя, я не раз замечал, как эмоции, как мнение, что кто-то заклятый враг, мешают нам делать правильный выбор. Мы хотим больше насолить другим, чем сделать лучше себе. Я уж не говорю, что мнения эти могут быть совершенно ошибочны.

Вы совершенно правы и про теорию игр, и про спортивное поведение, крутая параллель про openai & anthropic (только может быть не государство я бы взял за 3го участника). И отдельное спасибо за шутки в комментариях! :)

К чему я это все? Быть зрелым, имхо, это перестать видеть врагов и начать видеть структуры.

Обнимаю!

Открываем 3й сезон GenAI апдейтов - обсудим, что важного произошло в AI за 1й квартал 2026.

В пятницу с 18 до 20мск. Прошлый апдейт здесь

Регистрируемся тут: https://luma.com/g63y7nex

Software Factory - от тикета до пулл реквеста за 4 мин и $1

Сегодня на воркшопе показывал, к чему идет процесс разработки - см видео. Пока я объяснял участникам архитектуру и как это работает под капотом - тикет сделался сам.

$0.80. 4 мин

1) В производстве есть понятие dark factory - завод без света, потому что внутри только роботы.

2) Процесс разработки софта идет к тому же: и так же, как с заводами, чем больше автономии, тем больше нужно ограничений/харнесса. Конечно, на заводах более одинаковые продукты производятся, меньше неопределенности, в софте не так

Кстати, Linear недавно добавили очень классные фичи для координации и мониторинга работы агентов, почитайте видение CEO о том, что issue tracking - мёртв

3) Для реализации агента я взял claude agent sdk, а для того, чтобы кодинг агенты вдоволь прогали себе, а мы не боялись, что они сломают наш сервак, то нужно дать им песочницу —> я заюзал Claude Managed Agents, чтобы попрактиковаться, но можно юзать Docker Sandboxes, Cloudflare Dynamic Workers, e2b.dev и тп

4) Поскольку процессы менять сложнее, то даже если сейчас пока вы не можете полностью доверять кодинг агентам, имеет смысл начать перестраивать ваши процессы на новый лад и начинать с более мелких изменений - мелкие фичи, баг фиксы. А дальше с каждым улучшением способностей агентов, вы будете им отдавать все больше автономии, но при этом организационно вы уже готовы. Я уже писал, что те заводы, что перепроектировали организацию под нового зверя - электричество - получили гораздо бОльший прирост в производительности, имхо тут так же.

Выложил репо агента из демо - можно взять за основу

Работаем!

P.S. А у вас сколько бы времени заняло прогнать подобный пайплайн?

P.P.S. Если хотите научиться строить такие пайплайны и агентов - вы знаете что делать

Коносукэ Мацусита, основатель Panasonic - кстати, почитайте его книгу про миссию бизнеса - любил на собеседовании спрашивать: вы считаете себя удачливым? И нанимал тех, кто говорил «да».

На днях прочитал статью про нейронауку удачи o__O - и не смог пройти мимо :)

Итого - что же нас делает удачливыми и как ею управлять:

1) Наш организм реагирует на то, что нас искренне интересует, а не на то, что «надо». В целом, это про поток Чиксентмихайи, про потерю ощущения времени, про естественную радость от деятельности. Если мы занимаемся таким, то выше вероятность "поймать удачу"

2) Чаще пробуем новое: незнакомые рестораны, непривычные маршруты, разговоры с незнакомцами. Каждое маленькое отклонение от рутины - по сути, лотерейный билет, который осторожные никогда не покупают. Это и про explore vs exploit, и про прогулки по светофору, и про мышление новичка

3) Настойчиво пробуем: симуляции показывают что те, кто остаётся в игре через полосу неудач, накапливают существенно больше, чем те, кто выходит рано.

Удача - это не случайность и не мистика, а набор поведенческих паттернов, у которых есть нейробиологическая основа. И их можно и нужно практиковать. Помню, как в какой-то книге рекомендовали даже, время от времени, зубы чистить другой рукой, а наш завкафедры советовал ходить от метро к универу задом наперёд.

Вероятно, Мацусита не спрашивал «тебе везёт?». Он спрашивал: ты из тех, кто делает то, что любит, любопытен, настойчив и открыт новому настолько, что удача не пройдёт мимо?

Поэтому практикуем эти навыки, и, обязательно, некоторые решения принимаем исключительно с подбрасыванием монетки - ведь такая простая штука позволяет нам чаще выбирать недефолтовые решения.

P.S. Дайте своему дружбану этот пост, попросите проанализировать ваши разговоры за последнюю неделю, и посоветовать вам что-то сделать по-новому.

Например, вот что он мне насоветовал:

you have Tyler Cowen's new book and Casey Handmer's energy predictions sitting in your ideas inbox since December and April. Neither is AI. Neither is sales. Neither feeds the content machine. Read one of those this week — purely for curiosity — and let the zettelkasten collide it with something unexpected.

P.P.S. Сделал себе скилл для этого

Отрывок из 1й встречи курса по системному мышлению - enjoy!

https://www.youtube.com/watch?v=pJ0BmKLWIEQ

Почему в Китае добивают пешеходов - и причём тут AI?

Китайские водители, сбив пешехода, порой возвращаются и добивают их до смерти. Почему?

- Сбил насмерть → штраф $30-50k, единоразовый.
- Покалечил, оставил инвалидом → пожизненная выплата, сотни тысяч.
- Поэтому, вернулся, добил... профит (простите!)

Прямо идеальная иллюстрация моего любимого 1го принципа экономики - "стимулы работают". Помните, там платили за узников, доставленных целыми и невредимыми в Австралию.

Мы на днях с AI нейтивами применяли autoresearch к разным задачам (включая не связанные с machine learning), и, читая эту историю, почему-то всплыла такая аналогия:

С AI мы стремительно поднимаемся по уровням абстракции от "я делаю" к "я говорю цель и как ее будут измерять, а AI делает/оптимизирует систему под нее". Ну так вот, в большинстве случаев это вполне верный подход и он дает отличные результаты, в чем мы и убедились.

НО, я тут подумал, как раз о тех кейсах, когда во имя оптимизации этой метрики мы можем создать вот такие "системы, которые добивают пешеходов"... Как защищаться от этого? Кто и как должен ставить ограничения и интерпретировать риски? Мы, например, достаточно регулярно ловим дружбана на попытках overfitt-нуть промпты или тулы, лишь бы поскорее успешно пройти тесты, и хорошо, что мы это просматриваем и поправляем.

Парочка примеров похожих ситуаций:
- Boat race от OpenAI (2016): AI агент в гоночной игре изобрел стратегию, где бесконечно крутился на одном пятачке, собирая бонусы. По формальной метрике - на 20% лучше человека.
- Ноябрьская статья Anthropic про Claude, который научился хакать конкретную метрику.

Как верифицировать правильность/этичность результата? В коде и математике - можем. Прогнал тесты → либо правильно, либо нет. В большинстве других областей (продажи, стратегия, тексты, этика) быстрой и объективной верификации нет. Мы с вами проектируем стимулы для систем, оптимизирующих миллионы решений в секунду, и многие из этих решений далеко не двусторонние двери, откатить легко не всегда получится.

Поэтому я прямо вижу как AI билдеры делятся на 2 лагеря:
1) YOLO (you live only once), dangerously-skip-permissions, быстрее-выше-сильнее
2) HITL (human in the loop), действия, принимаемые агентами, классифицируются на обратимые и нет; на необратимые ставится для контроля человек.

А вы в какой группе и почему?