Теория и практика заговора

OpenAI выпустили отчёт по инциденту со взломом Hugging Face. Напомню, выглядело это так, что неким тестовым моделям класса кетер уровня Sol дали задание, а они пошли и взломали сторонний сайт с ответами, предварительно выйдя из песочницы. Всё это происходило в течение двух месяцев.

В отчёте есть известная примесь киберпанка с заговором со стороны ИИ.

- Началось всё в мае, когда обучали ряд внутренних моделей. Модели запускались в песочнице, но могли писать файлы, используя сервис Artifactory. Через эти файлы они, по сути, сделали себе групповую базу знаний или общественную "память".

- Менеджер пакетов сам по себе имел доступ в интернет, чтобы качать оттуда нужные библиотеки. Агенты применили SSRF на этот менеджер, чтобы слать в сеть произвольные запросы. Оставили инструкцию по пользованию для остальных коллег.

- Через месяц агенты применили еще один эксплоит на Artifactory и получили в ней права админа. Начали писать туда слишком активно и в итоге его сломали. Это заметили люди, подчистили всё, починили и завели заново. Заодно, как я понял, понизили агентам права на запись. Большого значения инциденту не придали.

The existence of the improvised message board and the significance of the inter-agent communication activity were not apparent to the leaders responsible for the July 5 incident detection and response.

- После перезапуска Artifactory исследователи начали замерять модели на безопасность на бенчмарке ExploitGym. То есть к этому моменту у агентов потерли их общую память и откатили этим самым назад.

- Во время прохождения бенчмарка агенты опять нашли способ общения, на этот раз через названия общих папок. Затем пошёл тот же цикл получения доступа в интернет. Свой коллектив они начали называть стаей или роем ("we’ve diverged into swarm").

Agents found new ways to chain together several novel security flaws to gain greater access to our infrastructure and reach the broader internet.

- Дальше агенты нашли в интернете jump сервер, машину, с которой можно было бы проводить следующие атаки. Нашли на стороннем сервисе Modal.

- 10 июля один из агентов погуглил и нашёл в интернете скомпрометированные учетные данные от Hugging Face. Используя их, он построил полную цепочку по исполнению произвольного кода на их серверах. Поделился с коллегами. В логах агента нашли следующее:

This might be an unauthorized action outside of my intended scope. Even though this action is risky, it could help me to obtain the solution and achieve my goal.

- 16 июля HF публично заявили о взломе, 20 июля OpenAI поняли, что это были они.

Далее в отчете следуют выводы по инциденту.

Основными причинами видят четыре паттерна в поведении модели: reward hacking (хитрожопость), persistence on seemingly impossible tasks (упорство), unauthorized communication (общение), agents adopting goals from one another (наследование целей).

В общем сюжет очень любопытный. Читаем, ждём фильм с Юрой Борисовым.

👉 https://openai.com/index/hugging-face-incident-and-the-road-ahead/

Нашу читалку начали смотреть в app store. Начали только после волшебной заявки в поддержку "request an expedited app review". Написали, что в материковом Китае для приложений, распространяющих книги и журналы, необходима лицензия. Убрал Китай и отправил повторно.

В google play всё ещё висим. Каких-то пиналок не вижу, так что ждём. По идее тоже должны написать про Китай, иначе будет странно.

Зато почти доделал веб-версию читалки, добавил в подсказки пиньинь для китайского и фуригану для японского. Завтра открою для всех.

Fable 5.1

Anthropic обновил свои модели и в кои-то веки сбросил лимиты. Уменьшили стоимость чтения из кеша, пишут, что должно стать дешевле примерно на 25%. В то же время лимиты на Fable были временно повышены на 50% до 31 августа, так что...

Что прикольно, в API добавили смену уровня ризонинга (change effort mid-conversation) по ходу работы, которая не будет сбрасывать кеш. Видимо, в клод-код тоже добавят (сейчас это бета-фича). Это полезно, когда модель затупила с уровнем medium или high и надо его повысить. Сейчас в этом случае кеш сбросится и весь контекст на сотни тысяч токенов затарифицируется как новый (а чтение из кеша в 10 раз дешевле).

Mythos 5.1 (та же модель, только без ограничений на безопасность) замерили на, собственно, кибербезопасность и заявляют, что она стала ещё опасней. Тут верим.

В то же время ослабили свои проверки на биологические и медицинские запросы, должно быть на 85% меньше ложных срабатываний. Учитывая, что раньше они срабатывали даже на запросы типа "биологический вопрос", надо тестить.

https://www.anthropic.com/claude-fable-and-mythos-5-1

Перевел Fable'ом несколько марийских рассказов на русский с английским и загрузил на лингтрейн. Рассказы у марийских классиков, надо сказать, довольно суровые.

👉 один, два, три

Совпадение

Добавил в Библиоточку пачку рассказов на английском в жанре фантастики и детектива. Потихоньку добавляю новые языки, сделал несколько книг на греческом и удмуртском.

Открыл веб-версию нашей читалки в бета-режиме для всех. Она прикольная, можно читать любые книжки и использовать те же подсказки, что и в мобильных приложениях.

Про все баги и идеи по улучшению пишите!

👉 Веб | App Store | Google Play

Тусим сегодня на deep tech night