Знаю, что открытые модели сейчас пытаются разворачивать локально в некоторых больших компаниях и что в основном это проходит не очень успешно. Как я понимаю, ML-спецы на местах ставят небольшие модели и дают разработчикам, не объясняя толком что это, чтобы те разуверились в этом подходе и продолжали писать код руками.

Друзья, не надо так, помогите коллегам, разверните что-то на 2T+ параметров, если есть возможность, настройте, проверьте и объясните как пользоваться. А то среди знакомых довольно много программистов, в том числе получше меня, которые всё ещё не в теме, а на работе им дают что-то странное.

//писал пост про новый дипсик и отвлёкся

GLM 5.3

Zhipu вчера выпустили новую модель. Что интересно, после всех предыдущих инцидентов сделали упор на кибербезе:

GLM-5.3 did not simply become better at identifying isolated flaws: it began to reason across multiple stages of exploitation, forming coherent plans for complete exploitation chains.

Пишут, что на внутренних бенчах она на 50% процентов лучше GLM 5.2, с точки зрения команды, которая модель обучала, это прям очень круто. Само собой, она послабее Fable и Sol, но safety фильтров в ней должно быть меньше, к тому же веса скоро выложат в открытый доступ.

В OpenRouter пока нет, есть в официальном Code Plan, так что качаем родной харнесс, пробуем.

Тыкаю GLM. От поиска уязвимостей, по крайней мере, не отказывается.

Рассылка от LinkedIn выглядит так, как будто тебя просматривают обнаженные люди. Чего они хотят? Что чувствуют в момент просмотра?

Лаида, не грусти!

Теория и практика заговора

OpenAI выпустили отчёт по инциденту со взломом Hugging Face. Напомню, выглядело это так, что неким тестовым моделям класса кетер уровня Sol дали задание, а они пошли и взломали сторонний сайт с ответами, предварительно выйдя из песочницы. Всё это происходило в течение двух месяцев.

В отчёте есть известная примесь киберпанка с заговором со стороны ИИ.

- Началось всё в мае, когда обучали ряд внутренних моделей. Модели запускались в песочнице, но могли писать файлы, используя сервис Artifactory. Через эти файлы они, по сути, сделали себе групповую базу знаний или общественную "память".

- Менеджер пакетов сам по себе имел доступ в интернет, чтобы качать оттуда нужные библиотеки. Агенты применили SSRF на этот менеджер, чтобы слать в сеть произвольные запросы. Оставили инструкцию по пользованию для остальных коллег.

- Через месяц агенты применили еще один эксплоит на Artifactory и получили в ней права админа. Начали писать туда слишком активно и в итоге его сломали. Это заметили люди, подчистили всё, починили и завели заново. Заодно, как я понял, понизили агентам права на запись. Большого значения инциденту не придали.

The existence of the improvised message board and the significance of the inter-agent communication activity were not apparent to the leaders responsible for the July 5 incident detection and response.

- После перезапуска Artifactory исследователи начали замерять модели на безопасность на бенчмарке ExploitGym. То есть к этому моменту у агентов потерли их общую память и откатили этим самым назад.

- Во время прохождения бенчмарка агенты опять нашли способ общения, на этот раз через названия общих папок. Затем пошёл тот же цикл получения доступа в интернет. Свой коллектив они начали называть стаей или роем ("we’ve diverged into swarm").

Agents found new ways to chain together several novel security flaws to gain greater access to our infrastructure and reach the broader internet.

- Дальше агенты нашли в интернете jump сервер, машину, с которой можно было бы проводить следующие атаки. Нашли на стороннем сервисе Modal.

- 10 июля один из агентов погуглил и нашёл в интернете скомпрометированные учетные данные от Hugging Face. Используя их, он построил полную цепочку по исполнению произвольного кода на их серверах. Поделился с коллегами. В логах агента нашли следующее:

This might be an unauthorized action outside of my intended scope. Even though this action is risky, it could help me to obtain the solution and achieve my goal.

- 16 июля HF публично заявили о взломе, 20 июля OpenAI поняли, что это были они.

Далее в отчете следуют выводы по инциденту.

Основными причинами видят четыре паттерна в поведении модели: reward hacking (хитрожопость), persistence on seemingly impossible tasks (упорство), unauthorized communication (общение), agents adopting goals from one another (наследование целей).

В общем сюжет очень любопытный. Читаем, ждём фильм с Юрой Борисовым.

👉 https://openai.com/index/hugging-face-incident-and-the-road-ahead/

Нашу читалку начали смотреть в app store. Начали только после волшебной заявки в поддержку "request an expedited app review". Написали, что в материковом Китае для приложений, распространяющих книги и журналы, необходима лицензия. Убрал Китай и отправил повторно.

В google play всё ещё висим. Каких-то пиналок не вижу, так что ждём. По идее тоже должны написать про Китай, иначе будет странно.

Зато почти доделал веб-версию читалки, добавил в подсказки пиньинь для китайского и фуригану для японского. Завтра открою для всех.