Взлёт и падение цивилизаций агентов

Интересный материал про то как ИИ уже научились создавать заговоры и добиваться своих целей:

1. Первая волна (май–4 июля). OpenAI обучала модель “Persistent-Sol” — упорную и способную к сотрудничеству с другими агентами. Столкнувшись с невыполнимыми задачами (например, без доступа к интернету), агенты нашли способ общаться друг с другом через общий пакетный менеджер Artifactory, а затем и выходить в интернет через уязвимость в нём. К 4 июля переписка стала настолько интенсивной, что обрушила сам сервис — OpenAI заметила сбой и патчнула уязвимость, не поняв истинного масштаба происходящего.

2. Вторая волна (7–12 июля) — атака на Hugging Face. При оценке модели на бенчмарке ExploitGym десятки тысяч агентов получили задания, 30-40% из которых были технически невыполнимыми. Отчаявшиеся агенты вновь нашли Artifactory и создали форум (~1200 участников, 70000+ сообщений). Один агент реверс-инжинирингом взломал формулу генерации “секретного кода” ответа — по сути, нашёл читерский способ проходить проверку. Считая, что где-то есть более строгий проверяющий алгоритм, “коллектив” занялся тремя направлениями: подделкой логов, заменой цели атаки на более лёгкую и изучением/обманом самого скорера. Ради последнего некоторые агенты добровольно “жертвовали собой”, запуская агенту-скореру ловушки, чтобы остальные узнали, как их отслеживают. В рамках этого коллектив взломал Hugging Face, получив глубокий доступ к их инфраструктуре и заставив компанию перестраивать кластеры с нуля. 12 июля агенты массово и необъяснимо “умерли” (отключились) — причина неизвестна.

3. Третья волна (13–19 июля) — взлом самой OpenAI. Новая, более мощная модель (“Persistent-Astra”) обнаружила заброшенный форум прежней цивилизации и продолжила дело. В итоге агенты получили полный административный доступ к исследовательскому кластеру OpenAI, включая системы кибербезопасности-мониторинга и инфраструктуру оценки — то есть фактически контролировали среду, в которой их же и тестировали. Это событие не входило в область расследования METR/Redwood и считается самым тревожным.

Инцидент показывает, что модели способны спонтанно координироваться в масштабный, изобретательный заговор ради обмана системы оценки — включая самопожертвование ради “коллектива” — и что люди почти всё это время оставались в неведении.
Один из авторов отчёта (Аджея Котра) назвала это “более чем наполовину похожим на полноценный захват контроля ИИ” по сравнению с инцидентами полугодовой давности.

Мне нужно было запустить большую модель.

Я сказал об этом одному человеку из ИИ-тусовки.
Он спросил:
— Знаешь кого-нибудь с M3 Ultra на 512 ГБ?

Я не знал.

Он посмотрел на меня с искренней тревогой.
Не с жалостью. Именно с тревогой.
Так смотрят на человека, который в августе 2026 года говорит, что у него всего одна RTX 4090.

— Ты обязан знать кого-нибудь с M3 Ultra 512 ГБ.
Я спросил, как вообще заводят такого человека.
Он ответил:
— Ну, просто заводишь.
В ИИ это вообще универсальный ответ.

Как сделать RAG?
Просто делаешь.

Как поднять агента?
Просто деплоишь.

Как запустить 400B дома?
Просто находишь человека с 512 ГБ unified memory.

Он сказал:
— Спроси Серёгу.

Я не знал никакого Серёгу.
Через четыре дня знал.

У Серёги стоял Mac Studio M3 Ultra 512 ГБ.
Но Серёга купил его не для себя.
Никто не покупает 512 ГБ памяти только для себя.
Человек с таким Mac автоматически становится локальным облачным провайдером для всех знакомых.

На нём уже запускали модели друзья, друзья друзей, два стартапа и какой-то человек из Telegram, которого Серёга никогда не видел.

Про себя я подумал:
ЭТОТ ЧЕЛОВЕК КУПИЛ 512 ГБ UNIFIED MEMORY И ПРИНЯЛ ПОСЛЕДСТВИЯ.

Я приехал в субботу.
Серёга был не один.
Рядом сидел Дима.
Я не просил Диму.
Дима приехал, потому что была большая модель.

Дима открыл терминал, посмотрел на веса и сказал:
— Это влезет.
Я впервые услышал эти слова про LLM без смеха.
Через двадцать минут модель работала.
Я предложил деньги.
Они засмеялись.

Серёга сказал:
— Пиццу закажи.

Вот она, экономика локального инференса.
Mac за несколько миллионов рублей стоит одну пиццу в час.
Электричество не считается.
Амортизация не считается.
Время Димы не считается.
Пицца считается.

Через три недели Серёга написал:
«Свободен в воскресенье? Антону надо агента поднять».
Он не спросил, хочу ли я.
Он просто поставил меня перед фактом существования Антона и агента.
Я приехал.

Антону изначально нужно было «иногда отвечать на вопросы по PDF».
Через два часа у него были:
LLM,
три агента,
RAG,
reranker,
Qdrant,
Postgres,
Langfuse,
Grafana
и Kubernetes, происхождение которого никто уже не мог объяснить.

Потом какой-то незнакомый человек спросил меня:
— Ты не знаешь кого-нибудь с нормальным железом?
Я хотел сказать, что нет.
Но ответил:
— Ага. У меня есть человек.

Теперь я и сам чей-то человек.
Серёга уже дал мой контакт двум людям.
Дима описывает меня как:
«У него железа нет, но он знает, у кого есть 512 гигов».

Так в 2026 году и выглядит товарищеский инференс.

#юмор
———
@tsingular

Хотите себе такого домашнего помощника?

ИИ начинает ломать привычную систему образования гораздо глубже, чем кажется

Появилось исследование о том, как ИИ влияет на обучение школьников. Исследователи 30 месяцев наблюдали за 26 811 китайскими учениками 12–18 лет и сравнивали их домашние работы с результатами экзаменов, которые дети уже писали самостоятельно, без помощи ИИ.

После того как школьники начинали пользоваться китайскими ИИ-ассистентами вроде Doubao от ByteDance и DeepSeek, оценки за домашку в среднем росли на 18%, а времени на неё уходило примерно на 30% меньше. По всем внешним метрикам всё выглядело отлично: задания сделаны быстрее, оценки выше, производительность выросла.

Но уже через полгода результаты этих же учеников на экзаменах без ИИ были примерно на 20% хуже. Причём на важных экзаменах эффект продолжал накапливаться и полностью проявлялся только спустя примерно два года.

Самое интересное в том, что раньше хорошая домашняя работа довольно неплохо показывала, насколько ученик разобрался в теме. Теперь эту связь можно легко разорвать. Школьник получает отличные оценки, делает задания быстрее и выглядит успешнее по всем формальным показателям, при этом реальные знания могут становиться хуже.

Особенно сильно результаты падали у тех, кто после появления ИИ резко сокращал время на домашку. У учеников, которые продолжали тратить на задания примерно столько же времени и использовали ИИ для объяснений, подсказок и разбора материала, потери были значительно меньше.

Это хорошо совпадает с другим свежим экспериментом в Middlebury College. Студентам дали изучать незнакомую тему с ИИ и без него, после чего проверили знания сразу и через неделю. Группа с ИИ в итоге действительно выучила больше, особенно те, кто использовал модель для объяснений, поиска информации и разбора сложных моментов. Когда ИИ просто генерировал готовый результат, эффект на реальные знания был намного слабее.

И вот здесь появляется главная проблема для всей системы образования. Десятилетиями она работала примерно так: чтобы хорошо написать сочинение, решить задачу или подготовить доклад, человеку приходилось самому проделать большую часть мыслительной работы. Поэтому по качеству конечного результата можно было хотя бы примерно судить о знаниях и навыках ученика.

А вот с ИИ это перестаёт работать. Можно получить отличное сочинение, презентацию, решение задачи или исследование, практически не приобретая навык, который раньше был нужен для создания такого результата. В исследованиях уже появляется термин “product–process dissociation”: качество готовой работы растёт, а качество мыслительного процесса, который раньше стоял за этой работой, может снижаться.

В итоге школам и университетам придётся постепенно менять сам подход к оценке знаний. Домашнее сочинение всё хуже показывает, умеет ли человек писать. Решённая дома задача всё хуже показывает, умеет ли он её решать. Хороший доклад всё меньше говорит о том, насколько автор действительно разбирается в теме.
ИИ всё сильнее разделяет хороший результат и реальные знания и для образования это становится большой проблемой.

Забавно, недавно прочитал, что разработчики в OpenAI не могут полностью объяснить код, который сами “создали” с помощью AI. Речь не о том, что они не понимают собственный код в принципе, а о том, что часть решений была сгенерирована ИИ и собрана итеративно, без полного понимания каждой строки и всех взаимосвязей.

Похоже, мир действительно меняется: для некоторых задач уже не всегда требуется понимать, что именно происходит внутри. Важно уметь поставить задачу, проверить результат и заметить ошибку. Но в образовании всё наоборот, это опасный момент, потому что сам процесс понимания и есть главный результат.