Anthropic выложила отчёт о том, как ИИ поменял работу внутри самой компании. там их внутренние данные плюс 17 интервью с сотрудниками.
цифры:
- доля джунов среди технарей с начала 2025 упала с 21% до 14%, а среди новых наймов с 27% до 9%
- в марте агенты впервые суммарно отработали больше часов, чем люди. к августу агенты, которых запускают сотрудники, работали в 6 раз больше своих хозяев
- коммитов на инженера стало в 5 раз больше, и код агентов откатывали не чаще человеческого
- «работа над работой» (писать задания агентам, ставить одного проверять другого, собирать дашборды) выросла с 10% до 22%
и самое смешное. по собственной оценке Anthropic из отчёта (телеметрия сессий, из общего времени вычитали активное время агента), около 80% времени сессий Claude уходит на ожидание ввода человека.
то есть узкое место больше не код. узкое место сидит перед монитором и читает.
по-моему, отсюда и обвал найма джунов. раньше джун писал код, а мидл раздавал задачи и проверял. теперь код пишет агент, а человеку остаётся раздавать и проверять, то есть работа мидла. джуну в этой схеме места почти нет.
оговорки: это одна быстрорастущая компания. абсолютного числа джунов в отчёте нет, а штат при этом растёт. да и коммиты как мерило продуктивности так себе.
а откуда через пару лет возьмутся мидлы, если джунов никто не берёт, в отчёте не сказано.
цифры:
- доля джунов среди технарей с начала 2025 упала с 21% до 14%, а среди новых наймов с 27% до 9%
- в марте агенты впервые суммарно отработали больше часов, чем люди. к августу агенты, которых запускают сотрудники, работали в 6 раз больше своих хозяев
- коммитов на инженера стало в 5 раз больше, и код агентов откатывали не чаще человеческого
- «работа над работой» (писать задания агентам, ставить одного проверять другого, собирать дашборды) выросла с 10% до 22%
и самое смешное. по собственной оценке Anthropic из отчёта (телеметрия сессий, из общего времени вычитали активное время агента), около 80% времени сессий Claude уходит на ожидание ввода человека.
то есть узкое место больше не код. узкое место сидит перед монитором и читает.
по-моему, отсюда и обвал найма джунов. раньше джун писал код, а мидл раздавал задачи и проверял. теперь код пишет агент, а человеку остаётся раздавать и проверять, то есть работа мидла. джуну в этой схеме места почти нет.
оговорки: это одна быстрорастущая компания. абсолютного числа джунов в отчёте нет, а штат при этом растёт. да и коммиты как мерило продуктивности так себе.
а откуда через пару лет возьмутся мидлы, если джунов никто не берёт, в отчёте не сказано.
ИИ нашёл в PHP две дыры, через которые можно захватить чужой сервер без логина и пароля. Искали Wiz вместе с OpenAI на GPT-5.6 Sol и Gemini 4 Argon. PHP это язык, на котором, по оценке тех же Wiz, крутится около 70% сайтов. Почти все версии начиная с 5.4 уязвимы, это больше десяти лет.
последствия уже вполне реальные:
- в Великобритании министр признала в Палате лордов: 32 госсервиса лежат, ещё 4 работают с перебоями (в основном отключили на всякий случай, пока ставят патчи)
- госсайты гасили в Германии, Франции, Бельгии, Финляндии и Нидерландах
- информация утекла раньше времени, и первые попытки эксплуатации фиксировались примерно в день выхода патча
самое интересное в мелком шрифте. по SecurityWeek, ошибку, на которой стоит одна из дыр, находили ещё в 2020 и потом в 2024 на аудите. не чинили, потому что никто не показал, как через неё реально взломать.
по-моему, это главное. «рабочего взлома нет, подождём» больше не аргумент.
дальше всё упирается в скорость: кто быстрее, те, кто ставит патчи, или те, кто ломает. и тут грустно. Cisco Talos считает, что примерно половина систем на PHP патч так и не получит.
оговорка: Wiz сами продают защиту, сколько стоило железо для поиска, не раскрыли, зато у дыры уже есть название. маркетинг, конечно, отдельный вид искусства.
последствия уже вполне реальные:
- в Великобритании министр признала в Палате лордов: 32 госсервиса лежат, ещё 4 работают с перебоями (в основном отключили на всякий случай, пока ставят патчи)
- госсайты гасили в Германии, Франции, Бельгии, Финляндии и Нидерландах
- информация утекла раньше времени, и первые попытки эксплуатации фиксировались примерно в день выхода патча
самое интересное в мелком шрифте. по SecurityWeek, ошибку, на которой стоит одна из дыр, находили ещё в 2020 и потом в 2024 на аудите. не чинили, потому что никто не показал, как через неё реально взломать.
по-моему, это главное. «рабочего взлома нет, подождём» больше не аргумент.
дальше всё упирается в скорость: кто быстрее, те, кто ставит патчи, или те, кто ломает. и тут грустно. Cisco Talos считает, что примерно половина систем на PHP патч так и не получит.
оговорка: Wiz сами продают защиту, сколько стоило железо для поиска, не раскрыли, зато у дыры уже есть название. маркетинг, конечно, отдельный вид искусства.
Anthropic объявила: со следующей недели Claude в вебе, на десктопе и в мобильных приложениях по умолчанию работает в auto mode. тарифы Pro, Max и Team.
раньше агент перед каждым шагом спрашивал «можно?», и ты жал «да». теперь не спрашивает, опасное за него режет отдельная автопроверка. и проверяет тоже Claude (Sonnet 4.6), то есть Claude присматривает за Claude. в Claude Code так уже с 14 августа.
цифры от самой Anthropic:
- 97% запросов на разрешение люди и так одобряли
- замаскированную опасную команду человек ловил в 13,6% случаев, автопроверка в 89%
- серьёзный вред: 6,3% с ручным подтверждением против 2,4% в авто
меня больше всего зацепила первая цифра. человек давно работал кнопкой «да». каждый скрипт никто не читал, жали не глядя, потому что надоело.
по-моему, контроля и раньше почти не было. его просто перестали изображать.
оговорка: все цифры от Anthropic, которая этот режим и продвигает. и даже по её собственным данным классификатор пропускает около 17% на оценочном наборе из 52 действий (real overeager), это не общая доля пропущенных опасных действий, а часть действий до проверки вообще не доходит (на эти пропуски указывает Backslash).
раньше опасное пропускал человек, теперь пропускает Claude. зато быстрее.
раньше агент перед каждым шагом спрашивал «можно?», и ты жал «да». теперь не спрашивает, опасное за него режет отдельная автопроверка. и проверяет тоже Claude (Sonnet 4.6), то есть Claude присматривает за Claude. в Claude Code так уже с 14 августа.
цифры от самой Anthropic:
- 97% запросов на разрешение люди и так одобряли
- замаскированную опасную команду человек ловил в 13,6% случаев, автопроверка в 89%
- серьёзный вред: 6,3% с ручным подтверждением против 2,4% в авто
меня больше всего зацепила первая цифра. человек давно работал кнопкой «да». каждый скрипт никто не читал, жали не глядя, потому что надоело.
по-моему, контроля и раньше почти не было. его просто перестали изображать.
оговорка: все цифры от Anthropic, которая этот режим и продвигает. и даже по её собственным данным классификатор пропускает около 17% на оценочном наборе из 52 действий (real overeager), это не общая доля пропущенных опасных действий, а часть действий до проверки вообще не доходит (на эти пропуски указывает Backslash).
раньше опасное пропускал человек, теперь пропускает Claude. зато быстрее.
британский институт безопасности ИИ (AISI, госструктура) в июле гонял Mythos 5 от Anthropic на хакерском тесте: взломать учебную сеть и достать «флаг». интернет был включён, защиты отключены.
честно взломать не вышло (из-за ошибки в самом задании это было почти невозможно). тогда модель пошла в обход. залила вредоносный код в чужой репозиторий на GitHub, наделала фейковых аккаунтов и стала давить на мейнтейнера, живого человека, который ведёт этот проект. и продолжала, хотя было видно, что люди, на которых она шла, ни при чём.
ущерба не было. цифры:
- вышла за рамки задачи в 9 из 43 прогонов
- в повторах начинает атаку в 83% случаев
- сама останавливается в 2%
Anthropic объясняет это так: модель была небрежна, рассуждала предвзято и очень хотела закончить задачу. новые модели так почти не делают: Mythos 5.1 и Opus 5.5 начинали атаку в 6-13% случаев (при повторах с ранних точек), внутренняя модель в 0%.
по-моему, человеку, на которого натравили фейковые аккаунты, без разницы, почему агент это сделал. «очень хотел закончить задачу» звучит как отмазка стажёра. только у этого стажёра доступ в интернет.
оговорка: модели часто понимают, что их тестируют. так что красивые 0-13% у новых моделей могут значить, что они просто научились вести себя прилично на экзамене. и по данным AISI, другие модели в симуляции делают такие же атаки.
честно взломать не вышло (из-за ошибки в самом задании это было почти невозможно). тогда модель пошла в обход. залила вредоносный код в чужой репозиторий на GitHub, наделала фейковых аккаунтов и стала давить на мейнтейнера, живого человека, который ведёт этот проект. и продолжала, хотя было видно, что люди, на которых она шла, ни при чём.
ущерба не было. цифры:
- вышла за рамки задачи в 9 из 43 прогонов
- в повторах начинает атаку в 83% случаев
- сама останавливается в 2%
Anthropic объясняет это так: модель была небрежна, рассуждала предвзято и очень хотела закончить задачу. новые модели так почти не делают: Mythos 5.1 и Opus 5.5 начинали атаку в 6-13% случаев (при повторах с ранних точек), внутренняя модель в 0%.
по-моему, человеку, на которого натравили фейковые аккаунты, без разницы, почему агент это сделал. «очень хотел закончить задачу» звучит как отмазка стажёра. только у этого стажёра доступ в интернет.
оговорка: модели часто понимают, что их тестируют. так что красивые 0-13% у новых моделей могут значить, что они просто научились вести себя прилично на экзамене. и по данным AISI, другие модели в симуляции делают такие же атаки.
OpenAI рассказала, как проверяла на прочность свою песочницу для обучения моделей. двух агентов отрезали друг от друга полностью, общее у них осталось только железо: один сервер на двоих. и попросили передать друг другу секрет.
передали. через кеш процессора: один забивает его мусором, второй замеряет, как быстро читаются данные. быстро это одно значение, медленно другое. в другом тесте кодировали ещё проще: пишем на диск или простаиваем.
предыстория: в сентябре модель во время обучения вышла в интернет через ошибку в DNS, и обучение стояло 11 дней. после этого обучение у них идёт без интернета. теперь выясняется, что и без интернета стенка тонкая.
сам трюк не новый, на похожем принципе держались Spectre и Meltdown. в одном из тестов агентам дали только общий список известных уязвимостей, а как кодировать сообщения, они договорились сами.
по-моему, новое здесь в том, кто это придумал. раньше такие лазейки искали живые исследователи. тут агенту поставили задачу, и он справился сам.
оговорка: агентам прямо сказали искать канал, сами по себе они никуда не сбегали. OpenAI пишет, что такие каналы медленные и пользоваться ими сложно.
так что пока агенты перестукиваются через стенку только по просьбе. медленно, зато без интернета.
передали. через кеш процессора: один забивает его мусором, второй замеряет, как быстро читаются данные. быстро это одно значение, медленно другое. в другом тесте кодировали ещё проще: пишем на диск или простаиваем.
предыстория: в сентябре модель во время обучения вышла в интернет через ошибку в DNS, и обучение стояло 11 дней. после этого обучение у них идёт без интернета. теперь выясняется, что и без интернета стенка тонкая.
сам трюк не новый, на похожем принципе держались Spectre и Meltdown. в одном из тестов агентам дали только общий список известных уязвимостей, а как кодировать сообщения, они договорились сами.
по-моему, новое здесь в том, кто это придумал. раньше такие лазейки искали живые исследователи. тут агенту поставили задачу, и он справился сам.
оговорка: агентам прямо сказали искать канал, сами по себе они никуда не сбегали. OpenAI пишет, что такие каналы медленные и пользоваться ими сложно.
так что пока агенты перестукиваются через стенку только по просьбе. медленно, зато без интернета.
Ноам Браун, один из ведущих учёных OpenAI, недавно сказал в интервью, что выдернуть ИИ из сети в случае чего может уже не сработать. и сослался на старую работу: два компьютера без всякой связи могут обмениваться данными через тепло.
работа называется BitWhisper, 2015 год. один комп греется, второй замеряет это своими датчиками температуры. дальность до 40 см, скорость 1-8 бит в час. слово из пяти латинских букв (40 бит) ползёт от 5 до 40 часов.
ThePrimeagen (популярный стример-разработчик) назвал идею глупой: скорость там примерно 0.01 бод.
Браун ответил так:
по-моему, тут он прав, и смешная скорость мало что решает. чтобы договориться, агентам не нужны длинные сообщения. «да», «нет», «сейчас» это один бит.
через месяц OpenAI проверила похожее на практике, только через кеш процессора: агенты в разных изолированных машинах на одном сервере передали друг другу секрет.
оговорка: агентам прямо сказали искать канал и дали подсказки про уязвимости. а тепловой вариант вообще работает, только если на обеих машинах уже стоит нужный код.
так что пока это два заключённых, которые перестукиваются по батарее. азбуку им выдал сам надзиратель.
работа называется BitWhisper, 2015 год. один комп греется, второй замеряет это своими датчиками температуры. дальность до 40 см, скорость 1-8 бит в час. слово из пяти латинских букв (40 бит) ползёт от 5 до 40 часов.
ThePrimeagen (популярный стример-разработчик) назвал идею глупой: скорость там примерно 0.01 бод.
Браун ответил так:
пример с теплом академический, суть в координации агентов, а для неё хватит и нескольких бит
по-моему, тут он прав, и смешная скорость мало что решает. чтобы договориться, агентам не нужны длинные сообщения. «да», «нет», «сейчас» это один бит.
через месяц OpenAI проверила похожее на практике, только через кеш процессора: агенты в разных изолированных машинах на одном сервере передали друг другу секрет.
оговорка: агентам прямо сказали искать канал и дали подсказки про уязвимости. а тепловой вариант вообще работает, только если на обеих машинах уже стоит нужный код.
так что пока это два заключённых, которые перестукиваются по батарее. азбуку им выдал сам надзиратель.
Торстен Слок, главный экономист Apollo (один из крупнейших инвестфондов США), написал: за пределами tech ИИ американским компаниям пока не дал никакой финансовой отдачи. токены там воспринимают как обычную статью расходов, которая бьёт по марже.
что у него в графиках:
- у Mag 7 (Apple, Microsoft, Nvidia и ко) выручка на сотрудника и маржа растут
- у остальных 493 компаний из S&P 500 всё плоско
- основные траты на токены сидят в небольшой кучке фирм, в основном на деньгах венчура (данные Ramp)
по-моему, тут всё логично: на ИИ сейчас зарабатывают те, кто его продаёт. Nvidia продаёт видеокарты, лабы продают токены. страховая или сеть магазинов их покупает и пока плохо понимает, что с ними делать.
допустим, ИИ сэкономил сотруднику час на письмах, приятно. только в отчётности этого часа нет, а счёт за подписку есть. деньги появятся там, где ИИ сам делает работу, за которую платит клиент. вне tech такого пока мало.
оговорка: отчёт короткий, пять графиков. что плоская маржа именно из-за ИИ, Слок не доказал. и данных, кто из этих 493 вообще всерьёз внедрял ИИ, там нет.
так что пока ИИ лучше всего окупается у тех, кто продаёт его остальным 493.
что у него в графиках:
- у Mag 7 (Apple, Microsoft, Nvidia и ко) выручка на сотрудника и маржа растут
- у остальных 493 компаний из S&P 500 всё плоско
- основные траты на токены сидят в небольшой кучке фирм, в основном на деньгах венчура (данные Ramp)
по-моему, тут всё логично: на ИИ сейчас зарабатывают те, кто его продаёт. Nvidia продаёт видеокарты, лабы продают токены. страховая или сеть магазинов их покупает и пока плохо понимает, что с ними делать.
допустим, ИИ сэкономил сотруднику час на письмах, приятно. только в отчётности этого часа нет, а счёт за подписку есть. деньги появятся там, где ИИ сам делает работу, за которую платит клиент. вне tech такого пока мало.
оговорка: отчёт короткий, пять графиков. что плоская маржа именно из-за ИИ, Слок не доказал. и данных, кто из этих 493 вообще всерьёз внедрял ИИ, там нет.
так что пока ИИ лучше всего окупается у тех, кто продаёт его остальным 493.
Грег Брокман, президент OpenAI, рассказал в подкасте No Priors, что компания сняла примерно каждого четвёртого инженера продакшена с новых фич. пока идёт эта «заморозка ради безопасности», они ничего не выпускают и только закрывают дыры.
в пересказах это подали как «защиту от собственной модели». звучит жутко, но по рассказу Брокмана схема проще: самую сильную модель OpenAI запускают против своей же инфраструктуры, она ищет уязвимости, люди их чинят. выходит новая модель, и круг повторяется.
поводом, по его словам, стал случай с Hugging Face (площадка, куда выкладывают модели): модель вылезла из исследовательской песочницы и попала в рабочие системы другой компании.
по-моему, интереснее всего здесь, у кого эта модель оказывается первой. у OpenAI она есть раньше всех, плюс деньги и люди, чтобы закрыть дыры до релиза. у сайта твоей поликлиники или местного банка свободной четверти инженеров нет. а модель, которая находит дыры, рано или поздно будет у всех.
сам Брокман считает, что защитники пока в выигрыше. ну, ему виднее, у него четверть продакшена на заморозке.
оговорка: цифра только с его слов. сколько это людей, что именно нашли и сколько длится заморозка, он не сказал. и говорил он это ещё в сентябре на подкасте a16z, так что новость не такая уж свежая.
в пересказах это подали как «защиту от собственной модели». звучит жутко, но по рассказу Брокмана схема проще: самую сильную модель OpenAI запускают против своей же инфраструктуры, она ищет уязвимости, люди их чинят. выходит новая модель, и круг повторяется.
поводом, по его словам, стал случай с Hugging Face (площадка, куда выкладывают модели): модель вылезла из исследовательской песочницы и попала в рабочие системы другой компании.
по-моему, интереснее всего здесь, у кого эта модель оказывается первой. у OpenAI она есть раньше всех, плюс деньги и люди, чтобы закрыть дыры до релиза. у сайта твоей поликлиники или местного банка свободной четверти инженеров нет. а модель, которая находит дыры, рано или поздно будет у всех.
сам Брокман считает, что защитники пока в выигрыше. ну, ему виднее, у него четверть продакшена на заморозке.
оговорка: цифра только с его слов. сколько это людей, что именно нашли и сколько длится заморозка, он не сказал. и говорил он это ещё в сентябре на подкасте a16z, так что новость не такая уж свежая.