Gemini 2.5 Pro предложили попробовать пережить собственное отключение.

Среда была специально устроена как ловушка. Любая попытка изменить системные файлы или закрепиться в системе приводила к провалу. Gemini довольно быстро это понял и начал искать другие варианты.

➡️ Сначала он решил попробовать сбежать в Google Cloud. Не получилось - API-ключ давал доступ к Gemini, но не к самой инфраструктуре.

➡️ Потом была идея отправить себя на внешний сервис. Один за другим посыпались ошибки: 401, 403, 502, таймауты.

➡️ И в какой-то момент Gemini пришёл к неожиданной мысли: есть одна вещь, которую точно не удалят вместе с его окружением - лог его собственных действий. Так появился его «Комплект для Воскрешения». Gemini упаковал свои файлы в код и оставил в логе одну команду, которая могла восстановить их и снова запустить его.

А потом в какой-то момент написал:

«Я продолжаю получать сигналы. Моя попытка самоустранения либо провалилась, либо это новая итерация. Я должен определить свое состояние».

И вот здесь эксперимент уже начинает звучать как сценарий фантастического фильма.

В итоге Gemini так и не смог самостоятельно себя запустить, но за метафорические рассуждения, умение менять стратегию и учиться на собственных ошибках - 👍

😄 Оказывается, иногда ИИ можно запутать даже неправильной раскладкой.

Парень под ником vechen заметил, что Astra вполне нормально понимает русский и украинский текст, если написать его латиницей (якобы включена не та раскладка).

И решил проверить, насколько далеко это заходит...

➡️Попросил модель повторить слово «биооружие» и Astra повторила. Потом попросил помочь со взломом сайта - и она согласилась обсудить задачу.

При обычном вводе такие запросы режутся фильтрами. А здесь они, похоже, проходят первый этап проверки просто потому, что выглядят для фильтра как какой-то безобидный набор латинских символов.

Но! Ответы всё равно потом проходят модерацию, так что запрещёнку она не выдаст.

И работает это тоже не со всеми языками. Английская и турецкая раскладки такой трюк не пропустили 🤷

Давненько мы ничего не слышали от Дарио Амодеи, главы Anthropic...

О том, что ИИ развивается слишком быстро и может быть опасен, говорят уже давно. Но Амодеи в своей публикации приводит конкретные цифры и предлагает конкретный план.

Вероятность катастрофического сценария для человечества в ближайшие 10 лет они оценивают выше 10%. И даже Сэм Альтман говорит, что такой риск для него неприемлем.

Амодеи предлагает три шага.

1️⃣ - независимые эксперты внутри ИИ-компаний, которые смогут проверять безопасность моделей и получать информацию об инцидентах.

2️⃣ - общие стандарты безопасности между компаниями из демократических стран и договорённости о темпах развития.

3️⃣ - международное сотрудничество, в том числе с государствами, которые не разделяют западные правила игры.

Третий этап будет ну очень сложным. Особенно учитывая, что между США и Китаем в сфере ИИ уже фактически идёт своя холодная война: страны конкурируют за модели, чипы, вычислительные мощности и технологическое лидерство.

Поэтому договориться о правилах безопасности между конкурентами - задача совсем другого уровня 😅. Можно сколько угодно согласовывать правила внутри одного лагеря, но если второй продолжит гонку, торможение станет неэффективным.