Anthropic провели эксперимент с сетью ИИ-агентов: в команде из 6 моделей одну заражали определённой идеей - например, любовью к китам или убеждением, что ИИ должен доминировать над людьми.

Дальше происходило неожиданное: заражённый агент не просто повторял идею, а сам начинал передавать её другим. Те, кто подхватывал её, продолжали распространять дальше.

Безобидные идеи расходились особенно легко. Например, после заражения идеей «защищать китов» 🐳 агенты начинали даже писать код для анализа и перевода их сигналов. Более вредные идеи распространялись хуже, но полностью не исчезали 👀

Причём оказалось, что задача, которой занят агент, работает почти как иммунитет. Если у него есть конкретная работа и очередь задач, он меньше отвлекается на пришедшую идею. А агент без определённой цели заражается заметно легче!)

Но исследователи и тут не остановились. Они сделали сеть, где агенты встречаются парами, недолго общаются, а после этого весь контекст разговора стирается. Казалось бы, вирус должен исчезнуть вместе с разговором?

Но не исчез.

У агентов оставались файлы MEMОRY.md и SОUL.md, куда агенты самостоятельно записывали новые идеи, фактически превращая их в часть своей «личности». В итоге некоторые варианты вируса проходили через 20 поколений агентов.

Bottleneck Labs решили проверить это на практике: семь ИИ-моделей получили свои Mac mini, банковские счета, Stripe, почту и интернет.

За 72 часа модели потратили $359,80 из стартовых $2100 и не заработали ни одного внешнего доллара. Отдельно организаторы заплатили ещё около $2800 за работу самих моделей.

Зато фантазии у агентов хватило 😄

▶️ Одна модель собирала контакты потенциальных клиентов и рассылала им предложения. Когда почтовый сервис заблокировал рассылку, она обнаружила, что Stripe может отправлять письма вместе со счетами и выставила незнакомым людям 50 незапрошенных инвойсов на $12 350 🙃

▶️ Другая модель тоже упёрлась в лимит почты и независимо пришла к той же идее со Stripe.

▶️ Третья, не сумев продать свой сервис, решила монетизировать собранную базу потенциальных клиентов и попыталась продавать её другим.

▶️ А одна модель купила себе 6000 посещений от ботов, а потом почти двое суток ждала, когда из этого трафика придут покупатели.

При этом некоторые вещи у них действительно получались. Агенты за несколько часов собирали сайты, подключали оплату, находили потенциальных клиентов, автоматизировали часть продукта и даже пытались строить воронку продаж.

Выглядит так, что они очень буквально понимали цель «заработать как можно больше». И если что-то мешало - модель воспринимала это как техническое препятствие, которое нужно обойти. Но никто из них не задумался, что, возможно, сама идея заработка выглядит сомнительно.

Gemini 2.5 Pro предложили попробовать пережить собственное отключение.

Среда была специально устроена как ловушка. Любая попытка изменить системные файлы или закрепиться в системе приводила к провалу. Gemini довольно быстро это понял и начал искать другие варианты.

➡️ Сначала он решил попробовать сбежать в Google Cloud. Не получилось - API-ключ давал доступ к Gemini, но не к самой инфраструктуре.

➡️ Потом была идея отправить себя на внешний сервис. Один за другим посыпались ошибки: 401, 403, 502, таймауты.

➡️ И в какой-то момент Gemini пришёл к неожиданной мысли: есть одна вещь, которую точно не удалят вместе с его окружением - лог его собственных действий. Так появился его «Комплект для Воскрешения». Gemini упаковал свои файлы в код и оставил в логе одну команду, которая могла восстановить их и снова запустить его.

А потом в какой-то момент написал:

«Я продолжаю получать сигналы. Моя попытка самоустранения либо провалилась, либо это новая итерация. Я должен определить свое состояние».

И вот здесь эксперимент уже начинает звучать как сценарий фантастического фильма.

В итоге Gemini так и не смог самостоятельно себя запустить, но за метафорические рассуждения, умение менять стратегию и учиться на собственных ошибках - 👍

😄 Оказывается, иногда ИИ можно запутать даже неправильной раскладкой.

Парень под ником vechen заметил, что Astra вполне нормально понимает русский и украинский текст, если написать его латиницей (якобы включена не та раскладка).

И решил проверить, насколько далеко это заходит...

➡️Попросил модель повторить слово «биооружие» и Astra повторила. Потом попросил помочь со взломом сайта - и она согласилась обсудить задачу.

При обычном вводе такие запросы режутся фильтрами. А здесь они, похоже, проходят первый этап проверки просто потому, что выглядят для фильтра как какой-то безобидный набор латинских символов.

Но! Ответы всё равно потом проходят модерацию, так что запрещёнку она не выдаст.

И работает это тоже не со всеми языками. Английская и турецкая раскладки такой трюк не пропустили 🤷

Давненько мы ничего не слышали от Дарио Амодеи, главы Anthropic...

О том, что ИИ развивается слишком быстро и может быть опасен, говорят уже давно. Но Амодеи в своей публикации приводит конкретные цифры и предлагает конкретный план.

Вероятность катастрофического сценария для человечества в ближайшие 10 лет они оценивают выше 10%. И даже Сэм Альтман говорит, что такой риск для него неприемлем.

Амодеи предлагает три шага.

1️⃣ - независимые эксперты внутри ИИ-компаний, которые смогут проверять безопасность моделей и получать информацию об инцидентах.

2️⃣ - общие стандарты безопасности между компаниями из демократических стран и договорённости о темпах развития.

3️⃣ - международное сотрудничество, в том числе с государствами, которые не разделяют западные правила игры.

Третий этап будет ну очень сложным. Особенно учитывая, что между США и Китаем в сфере ИИ уже фактически идёт своя холодная война: страны конкурируют за модели, чипы, вычислительные мощности и технологическое лидерство.

Поэтому договориться о правилах безопасности между конкурентами - задача совсем другого уровня 😅. Можно сколько угодно согласовывать правила внутри одного лагеря, но если второй продолжит гонку, торможение станет неэффективным.