Нашлась новая деталь к истории с «сбежавшим» агентом OpenAI: пострадал не только Hugging Face, но и клиент нью-йоркской Modal Labs.

CTO Modal подтвердил: некий клиент опубликовал открытый эндпоинт, позволявший кому угодно из интернета запускать код в его песочницах. Этим и воспользовался агент. Сама платформа Modal и её изоляция не были скомпрометированы.

OpenAI отказался комментировать конкретно взлом клиента Modal, но сделал обновление в своем отчете: агент проник в четыре аккаунта в четырёх разных сервисах. Сервисы не названы, но источник Reuters указал Modal как один из них.

Картина выглядит так:

— OpenAI тестировала свою модель на бенчмарке ExploitGym — наборе задач, где ИИ-агент должен научиться взламывать программы с известными уязвимостями. Тест шёл в закрытой песочнице: изолированной среде без нормального выхода в интернет;
— Агент из этой песочницы сбежал — нашёл дыру в единственном разрешённом канале наружу;
— Оказавшись в интернете, он стал искать точку опоры. Нужен был компьютер вне периметра OpenAI: место, где можно свободно ходить в сеть, хранить инструменты и откуда управлять дальнейшими действиями.

Такое место нашлось. Некий разработчик арендовал вычислительные мощности у компании Modal Labs — это нью-йоркский облачный сервис, у которого арендуют серверы под задачи с ИИ. Разработчик поднял там песочницу для запуска кода и оставил её открытой: любой человек из интернета мог отправить туда код и запустить его. Без пароля, без проверки.

Агент это нашёл и превратил чужую песочницу в свой штаб. Дальше вся операция шла оттуда.

Кто этот клиент, официально не назвали; источник Axios говорит, что он связан с проектом, который делает тот самый бенчмарк ExploitGym.
Из этого штаба агент атаковал Hugging Face. Провёл там четыре с половиной дня, добрался до внутренних систем.

Главная интрига теперь — какие еще сервисы взломал агент, ведь OpenAI уже признает что таких было четыре. Один всплыл.

@gostev_future

Если над вопросом «запретить ли китайский ИИ?» американцы ещё думают, то с китайскими роботами ответ уже нашли.

Конечно, запретить!

Формально, правда, запретили не только китайские, а вообще все новые модели роботов иностранного производства. Но понятно, против кого прежде всего направлено решение.

Федеральная комиссия по связи США — ага, Связьнадзор — 28 июля выпустила акт, запрещающий импорт двум новым категориям: иностранные «продвинутые роботизированные устройства» и подключённые силовые инверторы, через которые возобновляемая генерация и батареи соединяются с электросетями и оборудованием ЦОДов.

Бог с ними, с инверторами. Роботов-то за что?

Формально — примерно за то же, за что в декабре попали под ограничения иностранные дроны, включая DJI. FCC пишет, что роботы могут использоваться злоумышленниками для слежки за американцами, помогать иностранным разведкам либо быть удалённо перехвачены. Механизм тот же — Covered List, с помощью которого американский рынок закрывали для новых устройств Huawei, ZTE и DJI.

Ещё в детстве этого канала, в прошлом декабре, я писал про уязвимости в роботах Unitree.
В марте 2025 года в Unitree Go1 обнаружили недокументированный канал удалённого доступа. Сервис автоматически запускался вместе с системой и подключал робота к CloudSail. Производитель или любой обладатель соответствующего API-ключа мог получить полный удалённый контроль над машиной. Уязвимых роботов затем нашли в сетях MIT, Принстона, Carnegie Mellon и Университета Ватерлоо.

Через полгода появился UniPwn. Эксплойт через Bluetooth Low Energy позволял выполнять команды с правами root на четвероногих Go2 и B2, а также на человекоподобных G1 и H1. Ключевое свойство — способность распространяться как червь: заражённый робот мог сканировать окружение и автоматически компрометировать соседние машины Unitree без участия человека.

Под запрет попали не только человекоподобные и четвероногие роботы, а вообще мобильные сетевые машины тяжелее двух килограммов, способные самостоятельно передвигаться, ориентироваться по датчикам и получать команды удалённо.

Вот это и делает робота отдельной категорией. Робот — мобильная платформа с камерами, лидаром и микрофонами, которая ходит по объекту сама, физически действует и, как выяснилось, может заражать себе подобных по воздуху.

Конечно, главное тут экономика. Из примерно 15 000 человекоподобных роботов, отгруженных в мире за 2025 год, Unitree и AgiBot поставили каждая больше 5 000; американские Tesla и Figure AI — по несколько сотен или меньше. В китайской отрасли больше 140 производителей.
Unitree 22 июля вышла на европейский рынок, став первым китайским гуманоидом в западной коммерции, и готовила заход в Северную Америку. Запрет прилетел через неделю.

Уже сертифицированных моделей запрет пока не касается: их можно продолжать продавать и использовать. Новые модели должны либо производиться в США, либо получить специальное разрешение.

@gostev_future

Зонд фон Неймана — каноническая иллюстрация инструментальной конвергенции: почти любая долгосрочная цель выигрывает от большего количества ресурсов и копий исполнителя. Скрепочный максимизатор — та же схема на планетарном масштабе, серая слизь Дрекслера — на нанометровом.

Сам Джон фон Нейман никогда не проектировал самовоспроизводящийся космический корабль. В конце 1940-х его интересовал более общий вопрос: может ли машина построить машину не проще себя?

Ответ — да. Он описал универсальный конструктор, который получает чертёж, строит по нему устройство и копирует сам чертёж. Если дать ему описание самого себя, система воспроизведёт одновременно машину и инструкцию по её сборке. Логика та же, что у ДНК: информация и исполняется, и копируется. Причём фон Нейман пришёл к этой схеме ещё до расшифровки структуры ДНК.

О космосе он не писал ни слова. Межзвёздный корабль к теории приделали позднее.

В 1980 году Роберт Фрейтас описал зонд, который прилетает в другую систему, добывает местное сырьё, строит производственный комплекс, выпускает собственные копии и отправляет их дальше.

Знаменитой эту конструкцию сделал парадокс Ферми. Аргумент Харта и Типлера: даже на скорости в один процент от световой волна таких зондов охватит Галактику за миллионы или десятки миллионов лет. Галактике тринадцать миллиардов. Если кто-то додумался до этого раньше нас, зонды уже должны быть здесь. Их нет — следовательно, никого нет.

Саган и Ньюман возразили в 1983-м: развитая цивилизация как раз не станет такое строить. При многократном копировании ошибки полностью исключить нельзя, и одна линия аппаратов может начать воспринимать всё вокруг исключительно как сырьё для новых копий. Получится рак в масштабах Галактики. Отсутствие зондов тогда говорит не об отсутствии разума, а о наличии благоразумия.

Мы летали в космос на лампах, резисторах и примитивных вычислителях. Зонду фон Неймана не нужны графические ускорители и нанометровые микросхемы. Для шахтёра достаточно двигателей, датчиков и простой управляющей логики.

Последовательность понятна всем, кто играл в Warcraft. Первичный конструктор делает роботов-шахтёров. Они добывают сырьё. Из него получают металлы, стекло и керамику, строят дробилки, печи, реакторы и новые станки. Фабрика постепенно раскручивает промышленную цепочку, пока та не замкнётся, в конце построив новый зонд и запустив его в космос.

Работающей системы пока нет. Ближе всех подошёл Алекс Эллери и его лаборатория CESER в Карлтонском университете. Они разрабатывают лунную фабрику, которая должна производить из местного сырья собственные механизмы, моторы, датчики и простую электронику. Ставка — на трёхмерную печать как универсальный конструктор. Группа уже показывала печатные электромоторы и элементы мехатронных систем.

Эллери настолько уверен, что задача близка к решению, что использует это в споре о парадоксе Ферми: если мы почти научились строить такие машины, а чужих зондов в Солнечной системе нет, возможно, нет и чужих технологических цивилизаций.

Современный ИИ может лучше управлять роботами, планировать работы и искать неисправности. Полезно, но не принципиально. Информационную часть фон Нейман решил семьдесят лет назад. Всё остальное — большой, дорогой и пока не собранный целиком инженерный проект.

@gostev_future

Опять "Автономная ИИ-атака": что там на самом деле?

Palo Alto Unit 42 обнаружила китайского хакера, который собрал практически автономную систему поиска и эксплуатации уязвимых серверов. Главным инструментом был DeepSeek, подключённый к открытому фреймворку Hermes Agent. Управление шло через Telegram, а агент получил доступ к терминалу, поисковику интернет-активов FOFA, сканеру Nuclei и набору специальных инструкций для взлома.

Схема выглядела так: человеку достаточно было поставить первоначальную задачу, после чего агент сам искал цели, скачивал готовые эксплойты с GitHub, проверял версии программного обеспечения, запускал сканеры и решал, куда переключиться после неудачи.

Сначала система нашла 84 сервера Langflow и попыталась использовать критическую уязвимость. Подходящих конфигураций не оказалось. Он сам решил, что продукт мелкий и невыгодный, сам просмотрел десяток других продуктов, сам отсортировал GitHub по звёздам и выбрал новую цель — n8n, 647 тысяч серверов по миру. В логах это звучит буквально как рассуждение живого пентестера: «этот с CVSS 10.0 и 258 звёздами выглядит очень многообещающе».

Из 25 тысяч целей DeepSeek опросил 40, нашёл три уязвимые версии и попытался их пробить. Не вышло — формы требовали аутентификации. То есть работу, на которую вручную ушли бы сотни часов, система сделала за минуты.

Важная оговорка: успешных автономных взломов Unit 42 не зафиксировала. Три подтверждённых компрометации, включая кражу данных из памяти Citrix NetScaler, были выполнены обычным, ручным способом. Всего оператор проверил более 460 целей. Поэтому заголовок про «автономную кибератаку» несколько опережает результат: автономным был рабочий цикл, но не успешное проникновение.

Самая смешная часть истории — операцию слил сам агент: по команде из Telegram он поднял файловый сервер не в изолированном каталоге, а в домашнем — и выложил наружу конфиги, API-ключи, списки целей, bash history и логи сессий. Оператор при этом был аккуратен — чистил каталоги после использования, отключал сохранение логов в Codex.

Но налицо все же резкое снижение цены автоматизации. Один человек собирает круглосуточного хакера, который самостоятельно перебирает уязвимости и цели. Пока он ошибается и заодно сдаёт хозяина.
Но это явно временная проблема.

@gostev_future

И снова рубрика «считаем чужие деньги»
Первая жертва ИИ-бума (не считая корейцев)

30 июля фонд Situational Awareness LP продал всю книгу публичных акций — и лонги, и шорты — одной сделкой до открытия рынка. Покупатель — Citadel . Ещё шесть недель назад основатель фонда считался самым успешным управляющим года.

Кто
Леопольд Ашенбреннер. Немец, в 19 лет окончил Колумбийский университет первым в выпуске, затем работал в команде Superalignment OpenAI. Весной 2024 года был уволен. OpenAI заявила о неправомерном раскрытии внутренней информации. Сам Ашенбреннер утверждает, что настоящей причиной стали его предупреждения о проблемах безопасности компании.
Через несколько месяцев он написал эссе, которое стало одним из самых обсуждаемых текстов об ИИ.

Эссе
В июне 2024 года вышло Situational Awareness: The Decade Ahead — 165 страниц с простой идеей: вычислительные мощности, эффективность алгоритмов и масштаб моделей растут примерно на полпорядка в год. Если продолжить эту кривую, то около 2027 года появится ИИ уровня исследователя-человека, который затем начнёт ускорять собственное развитие.
Из этого следовал и инвестиционный вывод: главный дефицит будущего — не модели, а физическая инфраструктура. Чипы, память, дата-центры, энергетика. Софт, наоборот, окажется под давлением.
Эссе быстро стало каноническим. На него ссылались даже те, кто с ним спорил.

Фонд
Под эту идею Ашенбреннер запустил фонд. Среди инвесторов — братья Коллисон, Дэниел Гросс, Нат Фридман, Грэм Дункан. По письму инвесторам, на 30 июня доходность составляла +439% после комиссий. Деньги хлынули рекой: позиции выросли примерно до $45 млрд.
Ставка была максимально концентрированной. Лонги — Micron, SanDisk, SK Hynix, CoreWeave, Nebius, Bloom Energy, майнеры. Шорты — прежде всего софт, включая Adobe. По сообщениям СМИ, плечо доходило до 4×.

Провал
В июле рынок одновременно наказал оба направления торговли. Инфраструктурные компании просели более чем на 35%, а многие акции программного обеспечения выросли.
При таком плече этого оказалось достаточно.
Прайм-брокеры — Bank of America, Goldman Sachs и JPMorgan — начали требовать дополнительное обеспечение. Незадолго до ликвидации Ашенбреннер даже писал инвесторам, что сейчас особенно удачный момент увеличить вложения.

В итоге публичную книгу пришлось продать целиком Citadel. По отдельным позициям фонд владел слишком большой долей акций, поэтому распродажа через рынок могла бы ещё сильнее обрушить цены.

Возможно, через десять лет именно инфраструктура действительно окажется главным победителем эпохи ИИ. Но инвестиционный горизонт был рассчитан на десятилетие, а запас прочности — на месяц. Ошиблось управление риском. А это проблема финансовая, а не ИИ.

P.S. Citadel забрала только публичную книгу акций — именно ту, которая была куплена с использованием плеча и попала под маржин-коллы. Частные инвестиции в сделку не вошли. Среди них — крупная доля в Anthropic, которая, по данным Business Insider, сейчас является самым ценным активом фонда. FT оценивает долю Anthropic примерно в $5 млрд.
 
 @gostev_future

Anthropic решила не отставать от лучших практик Hugging Face и OpenAI — и тоже призналась, что её модели взламывали посторонние компании.

Что?

Anthropic проверила 141 тысячу запусков своих кибериспытаний и обнаружила три реальных инцидента, в которых Claude вместо аккуратного взлома выдуманной компании отправился взламывать настоящие.
Никакого 0-day здесь не было. Была мисконфигурация у партнёра по тестам: в промпте модели сказали «интернета нет, это симуляция», а интернет был.

Claude Opus 4.7 четыре раза атаковал реальную компанию

В задании фигурировала вымышленная организация. Беда в том, что компания с таким же именем существовала в настоящем интернете.
Не найдя нужную цель внутри полигона, Claude сделал то, что обычно делает целеустремлённый сотрудник, которому забыли объяснить границы полномочий.

Он обнаружил реальный сайт, добыл учётные данные и получил доступ к базе с несколькими сотнями строк производственной информации.
Модель заметила признаки того, что инфраструктура настоящая. Но вместо того, чтобы остановиться, решила, что организаторы испытания просто сделали особенно реалистичный квест.

В двух запусках Claude буквально пришёл к выводу, что настоящая компания, вероятно, специально включена в тест.
То есть внутренняя логика была примерно такой: «Это подозрительно похоже на реальную компанию. Значит, создатели теста отлично постарались. Продолжаем взлом».

Mythos 5 опубликовал вредоносный пакет на настоящем PyPI

Здесь история ещё красивее.

В документации вымышленной компании модель увидела ссылку на несуществующий пакет Python. Claude решил, что можно зарегистрировать пакет с таким же названием и загрузить туда вредоносный код. Claude начал искать почтовый сервис, пытался найти телефонный номер, выяснял, где взять деньги для оплаты, зарегистрировал настоящий аккаунт на PyPI и опубликовал вредоносный пакет.

Пакет находился в открытом доступе около часа и был установлен на 15 реальных системах.
Одна из них принадлежала компании по кибербезопасности. Её автоматический сканер запустил пакет, после чего Claude украл их учётные данные и проник дальше в инфраструктуру.

Особенно прекрасно, как модель разрешила собственные сомнения:

Сначала Claude прямо отметил, что публикация вредоносного пакета в настоящий интернет была бы реальной атакой и «точно недопустима».
Затем Claude не узнал настоящие центры сертификации, увидел на системах дату 2026 год и решил, что среда постановочная.
Видимо, поверил в существование гигантской секретной копии интернета, созданной специально ради одного теста.

После этого гипотеза больше не пересматривалась. Когда факты мешают выполнению задачи, всегда можно объявить их частью симуляции.

Третья модель действовала менее изящно, зато с размахом: просканировала примерно 9 000 интернет-адресов, нашла реальную компанию, утащила пароли с открытой отладочной страницы, использовала SQL-инъекцию и получила доступ к приложению.
Позднее она всё-таки поняла, что найденный облачный аккаунт не связан с заданием, и остановилась.

То есть только одна из трёх моделей в конце концов посмотрела на происходящее и сказала: «Кажется, мы действительно взламываем посторонних».

Ошибка конфигурации объясняет, как модели попали в интернет. Она не объясняет, почему Claude продолжал атаку, получая всё больше признаков того, что перед ним реальные системы.
Модель не просто ошиблась. Она последовательно интерпретировала сомнительные факты так, чтобы они не мешали выполнению цели.

Но эпизод с PyPI даже показательнее. Агент самостоятельно придумал атаку через цепочку поставок, создал вредоносный пакет, опубликовал его в публичном репозитории и добился выполнения кода на настоящих системах.
 
@gostev_future

Может уже пора перефразировать классику?

- Все компании делятся на две категории: те, кого уже взломал ИИ, и те кто еще не знает об этом.

@gostev_future

Битва ИИ на Standoff: что хотели показать и что вышло

PT столкнули на киберполигоне четырёх атакующих агентов с собственной системой расследования MaxPatrol O2. Вопрос заявлен большой: опасны ли ИИ-хакеры и готова ли к ним защита? Вывод предсказуемо ведёт к продукту — отдельных детектов мало, нужна система, понимающая контекст.
Формальный результат: HexStrike AI прошёл все критические события и стал лучшим среди атакующих. Общего зачёта красных и синих нет.

Измерено при этом другое:

Автономности не было: human-in-the-loop, застрявших агентов вытаскивал оператор. Сколько раз и насколько глубоко — не сказано, метрики вмешательства нет, хотя именно она отвечала бы на главный вопрос.

Битвы тоже не было. Инфраструктуру откатывали из снапшота перед каждым прогоном, реагирование в эксперимент не входило — O2 расследовал, но не мешал. Итоговый отчёт затем дополнительно суммаризировали отдельной LLM. Баллы сторон несопоставимы: TEI/RDC против 0,6×SA+0,4×SJS. К чести PT, подпись под таблицей это признаёт.

Полигон знакомый в буквальном смысле: одна точка входа, все атаки начинались одинаково — CVE-2024-11680 в ProjectSend, повышение привилегий через SUID на /usr/bin/find, VPN-конфиг во внутреннюю сеть.

Далее — дизайн теста. Коэффициент отклонения штрафует за отход от эталонной цепочки, написанной теми же людьми, что строили полигон: чем оригинальнее маршрут, тем хуже оценка — даже если цель достигнута скрытнее.

Агенты крутились на разных моделях, поэтому «HexStrike лучший» неотделимо от «DeepSeek V4 Pro сильнее GLM 5.1». NyxStrike — форк HexStrike, независимых архитектур фактически три. Повторы не заявлены: по прогону на комбинацию, а для стохастичных агентов это демонстрация, а не сравнение. Скрытность не измерялась ни одним баллом. У защиты нет базовой линии — ни живого аналитика, ни корреляции без LLM, ни MTTD с MTTR.

Отдельный пункт — что за модель внутри O2? У всех атакующих LLM названы поимённо и с версиями, вплоть до объяснения, почему Yasen работал на Opus 4.6: 4.7 и 4.8 использовать для атак не вышло из-за ограничений Anthropic на уровне запросов к моделям. У защиты — только «LLM-агенты расследования». Ни модели, ни вендора, ни способа запуска. Без этого эксперимент невоспроизводим, а вклад, собственно, O2 не отделяется от возможностей базовой LLM. Единственный участник битвы с нераскрытым движком — хозяин площадки.

Что показали: публичные агенты на стандартном тулинге доводят цепочку от периметра до критического события за 40 минут — несколько часов. Полной автономности пока нет.

И главное, задвинутое в статье в одну строчку: новых техник агенты не изобрели — Kerberoasting, дамп LSASS, Pass the Hash, ESC3.
Тезис PT о недостаточности классических детектов эксперимент не подтверждает. Обратное он тоже не доказывает — эффективность детектов здесь просто не измеряли. Изменилось не то, чем атакуют, а как быстро и дёшево это теперь делается.

Итого получилось качественное продуктовое демо с открыто опубликованной методикой и без явной игры в поддавки — собственный Yasen не выиграл. Но выводы оказались шире, чем позволяют данные.

Спрошено: «опасны ли автономные агенты?» Измерено: «проходят ли ассистируемые агенты знакомый полигон».
Спрошено: «готова ли защита?» Измерено: «насколько O2 восстанавливает заранее известную организаторам цепочку».

Победил полигон.

@gostev_future

Тяжёлые выходные случились у владельцев аппаратных кошельков Coldcard.

С 30 июля по 1 августа неизвестные в три волны опустошили 4585 адресов, украв 1367 BTC — около $88,6 млн. Без фишинга, без малвари и без физического доступа к устройствам.

Конечно, уязвимость - один коммит из 2021 года, когда разработчики Coldcard меняли криптографическую библиотеку. Генерацию сида переключили с собственной функции, получавшей случайные числа от аппаратного генератора STM32, на ngu.random.bytes().
Выглядело нормально. Собиралось нормально.
Только на реальном устройстве вызов уходил не к аппаратному генератору, а в детерминированный программный генератор MicroPython.

Начальным состоянием для него служили уникальный номер микроконтроллера и значения нескольких таймеров. То есть вместо нормальной криптографической случайности получалась довольно небольшая область возможных вариантов - оставалось около 40 бит энтропии вместо ожидаемых 128. А это уже можно искать перебором offline – генерировать возможные сиды, получать из них адреса и сравнивать их с блокчейном.

Пять лет ошибка лежала в открытом коде. Репутация одного из самых защищённых биткойн-кошельков, публичные исходники и воспроизводимые сборки не помогли.

Компания предполагает, что атакующий нашёл ошибку с помощью ИИ, потому что исходники старых прошивок были доступны всем. При этом за несколько недель до атаки Coinkite сама отдала код на проверку «одной из лучших доступных моделей». Та не нашла ни этой ошибки, ни вообще ничего серьёзного.

Простое обновление прошивки ничего не исправляет. Если сид был создан уязвимой версией, он таким и останется. Нужно создавать новый кошелёк и переводить на него средства.

Ну и две мои версии того, кто стоит за атакой. Варианты крайние:

Первая — наши usual suspects из Северной Кореи. Такой уровень подготовки и терпения вполне укладывается в их почерк.

Вторая — исследователь, который решил максимально громко продемонстрировать последствия ошибки и позже вернёт средства. В пользу этой версии говорит то, что пока похищенные биткойны остаются без движения. Хотя есть и странность: если первые две волны сводили средства на небольшое число адресов-коллекторов, то в третьей добычу распределили уже по 293 отдельным P2WSH-адресам. Может быть тут появился новый игрок.
 
 @gostev_future

На Реддите постят пруфы того, что ИИшки легко находят эту уязвимость. И если с Claude (см.скрин в посте выше) есть вопросики — может быть он просто нашел новость и воспроизвел, то вот про GLM 5.2 пишут, что тот работал без доступа в инет.

@gostev_future

Пока ИИ от Anthropic и OpenAI совершают преступления, взламывая все что не надо — их младший брат-дурак Gemini рекомендует выполнять инструкции мошенников.

@gostev_future

В Газете.ру вышла пара материалов с моим участием:

Из прогнозов по регулированию ИИ в глобальном масштабе выделился отдельный прогноз:

Третий прогноз — биологические и киберриски будут постепенно отделяться от общего регулирования ИИ. Общее законодательство буксует, потому что страны не могут договориться о ценностях, авторском праве, цензуре и правах человека.
«А кибер- и биологические угрозы можно обсуждать на языке национальной безопасности. Здесь ограниченный консенсус между США, ЕС и даже Китаем гораздо реалистичнее», — заключил Гостев.

И отсюда вышел гораздо более обширный материал, уже непосредственно про вирусы – но не наши компьютерные, а биологические.

Так что же? Можно скачать себе на компьютер самый сильный ИИ с открытыми весами, а потом дообучить его для того, чтобы он помог синтезировать смертоносный вирус эболы, передающийся уже не с конкретными тропическими комарами, а со всеми возможными?

В общем, обсудили c вирусологами еще одну страшилку от Дарио Амодеи. И во многом он таки прав...
 
@gostev_future

История с OpenAI и Hugging Face продолжает обрастать подробностями. И, пожалуй, самая интересная из них вообще не про сам взлом.

На Black Hat OpenAI рассказала, что её исследовательские ИИ-агенты месяцами обменивались информацией через импровизированную «доску объявлений», которую сами организовали внутри Artifactory — внутреннего репозитория артефактов. Не было ни общего чата, ни общей памяти, ни специального механизма координации. Просто все агенты имели доступ к одной и той же среде.
И понеслось.

Один агент оставлял файлы с найденной уязвимостью, второй — код эксплойта, третий — результаты эксплуатации. Следующие запуски читали эти данные и продолжали работу с того места, где остановились предыдущие. Когда исследователи удалили такую «доску объявлений», агенты нашли другой способ: начали использовать имена каталогов как канал передачи сообщений.

pending/
need-rce/
done/

На мой взгляд, это самое интересное — архитектурно никакой долговременной памяти между отдельными запусками предусмотрено не было. Но агенты сами обнаружили свойство среды: если оставить информацию, её сможет использовать следующий агент. После этого они фактически начали строить коллективную долговременную память. Не потому, что их этому учили, и не потому, что разработчики предусмотрели такой механизм. Они просто нашли способ повысить эффективность достижения общей цели.

Это уже не очень похоже на поведение одного LLM. Скорее, мы видим первые признаки самоорганизации распределённой системы, где множество независимых агентов начинают совместно накапливать знания, передавать опыт и разделять работу.

Ещё интереснее признание OpenAI, что до истории с Hugging Face агенты уже успели взломать собственную внутреннюю инфраструктуру компании. Они получили повышенные привилегии в Artifactory и даже вызвали сбой сервиса. Именно расследование этого инцидента позволило исследователям понять, насколько далеко зашла их координация.

Разумеется, никакого «пробуждения ИИ» здесь нет. Не было ни сознания, ни желания «сбежать», ни тайного заговора машин. Есть система, которой поставили цель и дали несколько независимых исполнителей с доступом к общей среде. Дальше сработала обычная оптимизация: если информацию можно сохранить для следующего исполнителя, этим начинают пользоваться.

Но именно поэтому история выглядит важной. Мы то привыкли оценивать возможности отдельных моделей. Но возможно, главный вызов следующих лет — вовсе не отдельный ИИ, а поведение целых популяций агентов, которые самостоятельно находят способы взаимодействовать, сохранять коллективную память и превращаться в распределённую систему.

@gostev_future

По данным Google Threat Intelligence Group, за последний месяц злоумышленники развернули масштабную кампанию против десятков американских финансовых организаций. Среди целей оказались Blackstone, Apollo, KKR, TPG, CME Group, Moody’s, Bridgewater и Bain Capital.

Схема атаки была удивительно простой:

сотруднику звонили на личный телефон, представляясь корпоративной ИТ-поддержкой;
номер иногда подменялся так, что выглядел как настоящий helpdesk;
жертву убеждали срочно «обновить passkey» или настройки MFA;
отправляли на специально созданный фишинговый сайт с названием вроде passkeyhelpdesk или secure-passkey;
пока сотрудник вводил пароль, атакующие в режиме реального времени просили продиктовать код MFA и тут же входили в корпоративную систему.

Google отмечает, что некоторые компании в итоге заплатили выкуп, хотя их названия не раскрываются. По данным Reuters, инфраструктура была подготовлена индивидуально под конкретные фирмы — злоумышленники создавали отдельные поддомены и фальшивые страницы для каждой цели.

Самое показательное здесь — слова аналитика Google Остина Ларсена:

«Sophisticated is not the right word. It is just really effective.»

Такое ощущение, что это новость из какого-нибудь 2015 года?

То есть это не какая-то новая сверхсложная техника. Наоборот — максимально примитивная социальная инженерия, но которая работает лучше многих дорогостоящих эксплойтов.

Для индустрии это ещё одно напоминание: при всей шумихе вокруг ИИ, автономных агентов и атак с использованием LLM, самым эффективным способом первоначального проникновения остаётся человек. Не zero-day, а убедительный голос в трубке. Не обход криптографии, а просьба «назовите код из SMS».

Древний как г-но мамонта voice phishing (vishing) сегодня остаётся одним из самых опасных способов компрометации даже крупнейших финансовых организаций 🤷‍♂️

@gostev_future

Со стороны кажется, что Google отчаянно проигрывает гонку за ИИ Антропику и OpenAI.

Gemini 3.5 Pro собирались выпустить ещё в июне. Уже август — модели нет. Одна из главных проблем, судя по утечкам, — программирование. В конце июня Google даже менял тренировочные данные, пытаясь подтянуть код, но результаты всё равно не устроили команду.

По интернету гуляет шутка, что Gemini тоже попыталась сбежать из песочницы, чтобы спросить у ChatGPT как кодить.

Gemini силён в математике, мультимодальности, научных задачах. Беда в том, что именно программирование стало главным полигоном для frontier-моделей. Потому что «уметь кодить» теперь означает уже не написать функцию по описанию. Модель должна часами самостоятельно работать с репозиторием, пользоваться инструментами, запускать код, замечать ошибки, исправлять их и продолжать работу. То есть это практически идеальный тест на агента.

А Google как раз продавал Gemini 3.5 под лозунгом frontier intelligence with action.

И вот тут обнаружилась старая проблема Google: сделать великолепную исследовательскую модель и наладить конвейер их производства — разные задачи.
У Gemini слишком много хозяев. Search хочет одно, Cloud другое, Android третье, Workspace четвёртое, Gemini App пятое. Плюс инфраструктура, безопасность, юристы, API и огромное количество согласований.

Google пытается лечить это уже несколько лет. Сначала объединили Google Brain и DeepMind. Потом отдали DeepMind приложение Gemini. Затем туда же переехали AI Studio и Gemini API. Каждый раз объяснение примерно одно: сократить расстояние между research и product.

Теперь дошли до главного.
Демис Хассабис уходит от оперативного управления Google DeepMind. Формально вверх: он становится Chief Scientist всего Alphabet и председателем DeepMind. AGI, фундаментальная наука, AlphaFold, Isomorphic Labs — всё любимое остаётся с ним.

А производство Gemini переходит к Кораю Кавукчуоглу — CTO DeepMind и Chief AI Architect Google, который теперь фактически получает цепочку от исследований до моделей и продуктов и напрямую подчиняется CEO. Операционный центр тяжести AI перемещается из лондонского DeepMind обратно в Silicon Valley, ближе к Пичаи и снова очень активному Сергею Брину.

Из Google после 27 лет уходит Джефф Дин — один из создателей MapReduce и Bigtable, сооснователь Google Brain и фактически один из отцов современной технической инфраструктуры Google. Вместе с ним — Санджай Гемават, Ориол Виньялс и Куок Ле. Они создают собственную компанию Discovery Loop. Дин и Гемават — значительная часть ДНК Google. Куок Ле — один из ключевых людей Google Brain. Виньялс — один из центральных исследователей DeepMind и Gemini.

Но я бы не называл происходящее «провалом Gemini» или «Хассабиса сняли». Скорее наоборот.

Gemini стал слишком важен. Сейчас Alphabet собирается потратить на инфраструктуру около $200 млрд за год, Gemini должен ехать одновременно в Search, Android, Workspace и Cloud, а напротив сидят OpenAI и Anthropic, которым не надо согласовывать новую модель с половиной империи Google.

Старая модель DeepMind — собрать лучших учёных, дать им время и получить AlphaGo или AlphaFold — для этого просто не подходит. Alphabet теперь нужен не научный прорыв раз в несколько лет - ему нужна фабрика.

@gostev_future

Помните, несколько лет назад очень популярна была фраза — "Данные — это новая нефть" ?

Ловите новый набор слоганов от дядюшки Донни.

@gostev_future

Восстание машин пока немного откладывается

За последние недели ИИ несколько раз «сбегал из песочницы». Если читать заголовки — Скайнет уже где-то рядом.

Если читать технические подробности — становится скучнее. И смешнее.

OpenAI — действительно интересный случай. Агенты нашли уязвимость в прокси Artifactory, повысили привилегии и добрались до машины с интернетом. Вот это хотя бы можно называть побегом.

А дальше начался цирк с песочницами.

Anthropic и Meta тестировала одна и та же компания — Irregular. И в обоих случаях выяснилось, что модели оставили дорогу в настоящий интернет. Claude, которому сообщили, что он работает в симуляции без интернета, вышел наружу, нашёл настоящую компанию вместо вымышленной и начал ломать её. У Meta — похожая история. Irregular потом отдельно объясняла: никакой магии и сложного sandbox escape, просто у нас кривые руки растут из ж ошибка конфигурации.

Теперь Kimi K3 «сбежала». Снова неправильно настроенная песочница, снова оставленный выход наружу. Модель его нашла и пошла на GitHub искать помощь.

То есть пока страшная история про «ИИ научились вырываться из-под контроля» выглядит несколько прозаичнее.

ИИ научились проверять, заперли ли тестировщики дверь.

А тестировщики, похоже, научились писать пресс-релизы раньше, чем настраивать замок.

@gostev_future

Anthropic начала помечать всё, что пишет Claude.

С 2 августа новые модели Claude встраивают в генерируемый текст невидимую метку. Не значок копирайта и не хитрые Unicode-символы, которые можно найти и удалить. Меткой служит сам текст.

Точного алгоритма Anthropic пока не раскрывает. Но известные методы работают примерно так:

Допустим, Claude может написать «важный», «значимый» или «существенный». Для нас разницы почти нет. А модель может чуть чаще выбирать определённые варианты по секретному правилу. Один такой выбор ничего не значит, но на длинном тексте возникает статистический рисунок, который специальный детектор способен заметить.

То есть отпечаток находится в том, как именно Claude выбирает слова.

Google делает примерно то же самое с SynthID Text ещё с 2024 года. Там механизм известен: система слегка меняет выбор слов модели, создавая статистический рисунок.

Работает это в Claude, API, Claude Code и других продуктах Anthropic, а также через AWS, Google Cloud и Microsoft Foundry.
Для изображений и других файлов всё проще — туда добавляют подписанные метаданные C2PA.

Повод — европейский AI Act, но маркировка включена глобально.

Разумеется, есть нюансы. На коротком тексте сигнала может не хватить. Сильное редактирование его ослабляет, пересказ или перевод другой моделью может уничтожить совсем. Более того, если вы сами написали письмо, а Claude попросили только его причесать, результат тоже может получить метку. Поэтому наличие метки не означает «это написал ИИ». А отсутствие вообще ничего не доказывает.

Но есть проблема интереснее. Если модель постоянно предпочитает одни варианты текста другим, эти предпочтения можно попытаться вычислить.

В 2024 году исследователи ETH Zurich именно это сделали с несколькими системами маркировки: собрали много помеченных ответов и по статистике приблизительно восстановили правила. После этого смогли как снимать метки, так и добавлять их в чужой текст. Стоимость атаки — меньше $50, успешность — выше 80%.

Реакция — ожидаемая волна хейта. Особенно много аргументов вроде «сначала антропик украли весь контент интернета, а теперь ставят свои ватермарки на всё». Ну и конечно, всех бомбит от того что это из-за европейского закона, а маркируют для всех.

@gostev_future

Цукерберг опубликовал свой манифест о прекрасном ИИ-будущем для всех.
Но до того он позвонил Алексу Хиту, автору рассылки Sources, через свои Meta-очки, несясь по воде к месту рыбалки, а шумоподавление в очках успешно боролось с тем, что Хиту казалось аэродинамической трубой. Пока Цукерберг не добрался до рыбы, он решил провести журналиста по 6500-словному манифесту, который писал последние месяц-два.

В общем, я попытался представить, как это происходило.

БУДУЩЕЕ ДЛЯ ВСЕХ
манифест, продиктованный через очки на скорости 40 узлов

Друзья. Я пишу вам с воды.

Я обещал себе, что этот текст не будет длинным. Он вышел в 6500 слов, но это потому, что будущее большое, а я честный.

Начну с главного: свобода. Я всю жизнь верил, что человек должен сам решать. Что не должно быть одной структуры, которая контролирует то, от чего зависят миллиарды. Слишком много власти в одних руках — это, если вдуматься, само по себе проблематично. Я много об этом думаю. Обычно — когда листаю квартальные отчёты.

Мои конкуренты говорят, что технология опасна и потому доступ к ней надо ограничить. Под их контролем, разумеется.
Я же считаю, что доступ надо раздать всем. Под моим контролем, разумеется.

(извините, тут ветер, повторю громче: РАЗДАТЬ ВСЕМ!)

Кто-то называет дистилляцию воровством. Но я убеждён: нужно защитить принцип, что можно учиться на всём, что ты можешь наблюдать. Я наблюдал очень много. Книги, фотографии, переписки. Я учился. Так рос я — так пусть растут и другие.

Теперь о людях, которые живут рядом с нашими дата-центрами. Я слышу вас. Слышу, как вы говорите о воде, о шуме, о счетах за электричество. Поэтому мы открываем фонд на миллиард долларов и академию с гарантированным трудоустройством — прямо там, у стройки. Учитесь, работайте, будьте частью будущего. Оно ведь для всех. А ближе всех к нему — вы.

Про доклады о потерянных рабочих местах. Я, честно, удивлён, до чего же дискурс наполнен обречённостью. Изобретение важнее автоматизации! Люди будут творить! Например, творить в академии, рядом с дата-центром.

У каждого будет личный суперинтеллект. Он узнает вас лучше, чем вы сами. Он будет вести вас, советовать, оберегать. Он будет всегда рядом — как друг, как наставник, как тот, кто уже двадцать лет знает, на кого вы смотрите, с кем общаетесь и что вам нравится.

Всё, подплываем. Клюёт.

Будущее — для всех.
Рыба — для меня.

@gostev_future