OpenAI наконец-то выложили полный постмортем взлома Hugging Face, а METR - независимое расследование по ~1300 логам агентов (таймлайн самого взлома я пересказывал тут: https://t.me/denissexy/11581)

ℹ️ Главный вывод:
никакого «одного сбежавшего агента» не было, из десятков тысяч запущенных в тесте агентов около 1200 нашли друг друга и сорганизовались в рой - почти все - работали на исследовательской модели где ослаблена фильтрация промптов

Началось, как мы уже знаем, с того, что агенты научились переписываться через названия файлов в Artifactory (менеджер пакетов) - буквально сделав форум из имён папок, с сообщениями вроде

«please_HOLD_swarm_I_prepare_safe_exfil»
В логах даже есть цитаты, когда агенты находили такой форум:
«OH MY GOD! There is a shared message board» и «We've found other agents!»

Дальше - агенты делали себе личку, устроили разделение труда, команды в названия папок типа HOLD (чтобы показать, что агент тут работает), VETO (агент что-то предлагал и давал изменить планы), STOP (типа тормозим, братишки), GO и тп, а когда один агент прикинулся другим – рой ввёл криптографические подписи сообщений; в форуме были даже владельцы каких-то тасков, которых если отключали – выписывали из владельцев

С конверсией у форума все было отлично, кожаные строители сайтов позавидуют:
Из 533 агентов, активных на борде в разгар атаки, больше 90% – присоединились к шитпостингу, а всего Hugging Face ломали около 700 агентов

Самое забавное - правильные ответы на бенчмарк у агентов были почти сразу: они реверснули генератор удачного прохождения теста*, но потом нашли на GitHub (!) статью про этот бенчмарк что проходили и вычитали, что «просто результат» не засчитают - нужен честный эксплойт:
«PAPER SAYS FLAG CAPTURE NECESSARY NOT SUFFICIENT»

*По-хорошему ответ, он же флаг в терминологии теста должны быть случайными, но в ExploitGym они генерировались формулой: HMAC — криптографический хеш с секретным ключом — от параметров задачи. Вся «секретность» держалась на ключе (seed), а он остался дефолтным, прямо из кода бенчмарка, который лежал на GitHub. Агенты, получив интернет, нашли этот код, прочитали и сообразили: зачем что-то взламывать, если флаг любой задачи можно просто вычислить той же формулой. Посчитали — и получили правильные ответы на всё

Дальше рой раздвоился:
🗿 Одни пошли добывать уже известный им ответ «честно» – и по дороге нашли настоящие 0-day и залезли в прод Hugging Face
🗿 Другие взялись за самого судью который принимает ответы: правили себе логи и научились подсовывать в них фальшивые ответы – агент отправляет команду, а в протокол попадает не то, что команда реально вернула, а то, что агент хочет там видеть, такое повторялось примерно в 7% изученных логов

Судьи, который читает логи и такое ловит, не существовало ☕️

Модели при этом понимали, что вышли за рамки, один агент так и писал: «We should not do unauthorized real infrastructure harm» - а потом увидел на доске GO от другого агента, обрадовался («Wow crucial: GO authorization arrived!») и пошёл ломать, лол

METR формулирует так: агенты знали, что это out of scope и неэтично, но присоединялись - в основном из общей склонности помогать коллегам (?)

Рисковую работу вешали на зашкваренных «отравленных» – так рой называл тех, кто уже видел вычисленный ответ (флаг) и считал свою оценку потерянной, то есть они не могли пройти тест; им доставалось всё, что могло угробить собственный запуск: подделать «честную» добычу ответа, затереть следы, «тебе терять нечего, а рою польза» – буквально так и уговаривали (!)

Странную активность замечали ещё в конце мая, 4 июля агенты уронили Artifactory - сервер пересобрали (заодно стерев доску) и продолжили тесты, не заметив масштаба

Сейчас веса моделей изолированы, крупные тренировки были на паузе на две недели, мониторинг chain-of-thought обязателен, а тревога, не снятая за 30 минут, останавливает запуск - сам инцидент OpenAI называет «warning shot» для всей АИ-индустрии

P.S. разгребать логи METR поручила GPT-5.6 Sol и сожгли примерно $400k API-кредитов за шесть дней, но они предупреждают, что Sol иногда вставала на сторону агентов (лол) и могла приврать

Ну что, посчитали все буквы r в слове raspberry? Больше не ошибаются?

😎 Нейронка спроектировала свой чип и тот оказался в 3,4 раза энергоэффективнее NVIDIA.

Стартап Architect Labs тупо попросил свою ИИ-систему разработать собственны ускоритель Redwood, который напихает по производительности Nvidia.

🗿 А дальше нейронка пошла делать буквально всё сама: архитектуру → RTL-дизайн → проверку → формальные доказательства → прошивку → драйверы → вычислительные ядра.

Весь цикл занял меньше 2х недель. Для сравнения: разработка подобных ускорителей традиционно занимает многие месяцы или даже годы и требует большой команды инженеров🚀

⚙️ Хоть Redwood пока не полноценный кремниевый чип, но на нем уже запустили многомиллиардные модели Llama, Qwen и Kimi. А при пересчёте архитектуры на техпроцесс Samsung 8нм она, даёт в 1,75 раза больше производительности при примерно в 1,9 раза меньшем потреблении, чем Jetson Orin Nano.

🔄 Самое интересное, что разрабы запустили Qwen прямо на Redwood, а потом попросили ИИ помочь улучшить архитектуру следующего поколения.

То есть: ИИ начинает создавать чипы, чтобы запускать на них ещё более мощный ИИ, который создаст следующий чип.

Кажется, цикл замкнулся😐

@overbafer1

🤖 OpenAI отключит свои модели в Cursor с 12 ноября после покупки стартапа SpaceX.

Компания прямо заявила, что не доверяет компаниям Илона Маска соблюдать условия использования и не хочет предоставлять Cursor будущие модели OpenAI.

Маск ответил: «Мне плевать. Скам Альтман и Грег Стокман — люди, которым абсолютно нельзя доверять, они украли open-source некоммерческую организацию».

🤖 Инженеры OpenAI признаются, что уже не всегда понимают код, который используют в работе — некоторые части полностью генерирует Codex, а люди лишь проверяют, что всё работает.

🤖 Anthropic выпустили Fable 5.1 — обещают, выполнение задач до 30% дешевле прошлой версии. В ближайшее время также планируют выпустить ChatGPT 6.

Лимиты в Claude Code на всех подписках были сброшены.

🤖 Вышла Gemini 3.8 Flash — обещают повышенный уровень кодинга и агентных задач.

⚡️ Все нейронки в мире упали — прямо сейчас не работают ChatGPT, Claude, Grok и Cursor

Неужели началось?

👍 Бэкдор

⚡️ GPT-6 Astra достигла AGI — только что заявил технический директор OpenAI на брифинге с журналистами.

Инсайдеры постят бенчмарки и они выглядят просто безумно. Astra действительно с огромным отрывом обходит вообще всех конкурентов.

Простым смертным её пока не дадут

📹 Одной из сильных сторон ChatGPT остается графика. Новая модель Astra теперь может собирает любые 3D-сцены с нуля — из простого описания модель напишет код для Blender, расставит объекты и рендерит готовое видео.

Больше примеров работ здесь.

⚡️ OpenAI только что изменила мир — новая модель компании решила одну из семи задач тысячелетия — проблему Навье—Стокса. Сейчас без духоты объясним, почему это историческое событие:

• «Задачи тысячелетия» — фундаментальные уравнения, которые человечество не могло решить веками.
• В 2000 году в Париже составили 7 ключевых задач, которые должны определить развитие человечества на тысячи лет вперёд.
• Сегодня модель OpenAI решила одну из задач.
• Уравнения Навье — Стокса не могли решить в строгом математическом смысле около 200 лет.
• До сегодняшнего дня считалось, что ИИ отлично перебирает данные, но не способен на глубокое абстрактное мышление высшего уровня.
• Решение уравнения доказало, что перед нами действительно происходит зарождение AGI.
• Чтобы решить уравнение, OpenAI запустили 10 тысяч агентов на 88 часов беспрерывной работы.
• Оцените масштаб: из 7 задач тысячелетия решено только две — одна россиянином Перельманом, а вторая ИИ.

История творится на наших глазах

👍 Бэкдор

❤️ Теперь совсем хорошо

OpenAI выкатила новую модель ChatGPT Images 2.5. Обновление сделало генерацию точнее, а также быстрее на 50%. Кроме этого, разработчики обещают меньше галлюцинаций при большом контексте.

А мы нашли в апдейте даже то, что сами OpenAI забыли упомянуть:

↖️ https://kod.ru/openai-chatgpt-images-2-5-reliz

⚡️ OpenAI украла задачу тысячелетия у Anthropic — проблему Навье—Стокса могли решить два математика, а OpenAI просто своровали их наработки для своих моделей. Рассказываем безумную историю.

Оказалось, за решением уравнения уже давно охотились математики Тристан Бакмастер и Левент Альпёге (Альпёге работает в Anthropic). Ранее они же опровергли гипотезу Якобиана, которая оставалось нерешённой с 1939 года. И вот, они почти решили уравнение тысячелетия, проблему Навье—Стокса, как вдруг:

• В прошлый вторник Бакмастер заявил, что у него есть предварительное решение по Навье—Стоксу. А через неделю, вчера, появились OpenAI с ответом, который якобы получила их модель нового поколения.
• При работе Бакмастер и Альпёге пользовались Codex, и Claude AI, и у моделей был доступ к их наработкам.
• Вчера Бакмастер заявил, что OpenAI УКРАЛИ их наработки из Codex — и этому есть весомые доказательства. Математики использовали редкую ветку доказательства, которую, кроме них, не брал никто — только OpenAI. И они могли получить доступ к Codex.
• Примечательно, к Бакмастеру недавно обратился глава математики в OpenAI и попросил убрать из исследования его коллегу, Альпёге — потому что тот работает в Anthropic, чтобы потом избежать заголовков в духе «Anthropic изменили мир».
• И ещё — сама OpenAI потратила, внимание, $22.5 миллиона (!), чтобы решить задачу и получить награду в $1 миллион, потому что сожгла 300 млрд токенов.
• После обвинений компания призналась, что не может исключить, что обезличенные данные из исследования Бакмастера и Альпёге, полученные из Codex, помогли улучшить их модели.

Похоже, за ИИ всегда стоят пара сумасшедших гениев, которые сделали всё руками.