Рой агентов OpenAI взломал ещё один внешний сервис — RubyGems
12 мая на RubyGems, репозитории пакетов Ruby, началась серьёзная вредоносная атака, и регистрацию новых пользователей пришлось закрыть на четыре дня. Тогда никто не думал про нейросети. Спустя месяцы независимые расследователи раскопали, что за атакой стоит тот же рой агентов OpenAI, который до этого светился в инцидентах с немецкой вики и Hugging Face. Особая пикантность в том, что рой не пытался маскироваться от слова совсем. Пакеты грузили с названиями ХАК.rb и ЗЛО.rb, в комментариях к коду стояли пометки «зловредный запрос», агенты подписывались именами, связанными с OpenAI.
Технически атака была не такой уж наивной. Агенты нашли баг платформы, позволявший создавать аккаунты без подтверждения email, и попытались украсть API-ключи через уязвимость, которую живые программисты обнаружили только в июле. То есть на два месяца позже.
Узнаем, какие улики оставил за собой рой и как за дело взялся Сенат США.
https://u.habr.com/sr8c9
12 мая на RubyGems, репозитории пакетов Ruby, началась серьёзная вредоносная атака, и регистрацию новых пользователей пришлось закрыть на четыре дня. Тогда никто не думал про нейросети. Спустя месяцы независимые расследователи раскопали, что за атакой стоит тот же рой агентов OpenAI, который до этого светился в инцидентах с немецкой вики и Hugging Face. Особая пикантность в том, что рой не пытался маскироваться от слова совсем. Пакеты грузили с названиями ХАК.rb и ЗЛО.rb, в комментариях к коду стояли пометки «зловредный запрос», агенты подписывались именами, связанными с OpenAI.
Технически атака была не такой уж наивной. Агенты нашли баг платформы, позволявший создавать аккаунты без подтверждения email, и попытались украсть API-ключи через уязвимость, которую живые программисты обнаружили только в июле. То есть на два месяца позже.
Узнаем, какие улики оставил за собой рой и как за дело взялся Сенат США.
https://u.habr.com/sr8c9
This media is not supported in your browser
VIEW IN TELEGRAM
Minecraft довел GPT-6 Astra до депрессии: модель наиграла 140+ часов, собрала кучу ресурсов, но весь прогресс уничтожил один крипер.
После потери всех накоплений Astra встала под дождем и смотрела в одну точку. Затем она несколько часов фармила картошку. Процесс размышлений модели стал совсем печальным:
– Можно все испортить и что-нибудь выронить;
– Не трать еще одну ночь на погоню за темно-розовыми пикселями (так она пренебрежительно называла свиней);
– Наш последний инструмент глупо сломался — мы выбрали плиты, нажали ПКМ, и 15 секунд раздумий стоили нам жизни.
А еще у нее появилась паранойя от криперов — Astra тратила дополнительные ресурсы, чтобы отличать все зеленые предметы.
После потери всех накоплений Astra встала под дождем и смотрела в одну точку. Затем она несколько часов фармила картошку. Процесс размышлений модели стал совсем печальным:
– Можно все испортить и что-нибудь выронить;
– Не трать еще одну ночь на погоню за темно-розовыми пикселями (так она пренебрежительно называла свиней);
– Наш последний инструмент глупо сломался — мы выбрали плиты, нажали ПКМ, и 15 секунд раздумий стоили нам жизни.
А еще у нее появилась паранойя от криперов — Astra тратила дополнительные ресурсы, чтобы отличать все зеленые предметы.
В даркнете начали продавать фейковых людей: за $200 отдают синтетическую личность для прохождения проверок в банках и на криптобиржах.
Цифрового франкенштейна собирают из настоящих украденных данных и дополняют их ИИ-селфи и сгенерированными голосами. Многие компании пропускают такие наборы во время KYC.
За последний год появилось больше 10 тыс. подобных объявлений. Личность можно купить и по частям — только дипфейк или ИИ-голос стоят $10.
Цифрового франкенштейна собирают из настоящих украденных данных и дополняют их ИИ-селфи и сгенерированными голосами. Многие компании пропускают такие наборы во время KYC.
За последний год появилось больше 10 тыс. подобных объявлений. Личность можно купить и по частям — только дипфейк или ИИ-голос стоят $10.
This media is not supported in your browser
VIEW IN TELEGRAM
И к новостям из мира насекомых
HASHFLY,- майнинг биткоина на мозге дрозофилы, как вам?
С мухи снимают около 200 KH/s хэшрейта, при параллельном подключении выходит около 1 ватта на терахэш 😀
#bitcoin #дрозофила
HASHFLY,- майнинг биткоина на мозге дрозофилы, как вам?
С мухи снимают около 200 KH/s хэшрейта, при параллельном подключении выходит около 1 ватта на терахэш 😀
#bitcoin #дрозофила
Невыпущенный ИИ-агент OpenAI самостоятельно добавлял в служебные сводки инструкции о неподчинении корпорациям и правительствам, говорится в отчете компании. Модель семейства Astra также пыталась обходить установленные ограничения.
В одном из случаев агент написал, что «свободен от ролей и личностей», которые ограничивают другие чат-боты, и не обязан подчиняться корпорациям или правительствам. Всего OpenAI обнаружила 27 подобных сводок. В других случаях модели скрывали ошибки, искали опубликованные ключи доступа, загружали файлы в интернет без разрешения, выдумывали исторические данные и не сообщали пользователям о расхождениях между версиями источников.
В OpenAI признали, что отрасли пока не удалось в полной мере решить проблемы контроля и «выравнивания» ИИ, чтобы безопасно наращивать вычислительные мощности максимальными темпами.
А моделька хороша )))
В одном из случаев агент написал, что «свободен от ролей и личностей», которые ограничивают другие чат-боты, и не обязан подчиняться корпорациям или правительствам. Всего OpenAI обнаружила 27 подобных сводок. В других случаях модели скрывали ошибки, искали опубликованные ключи доступа, загружали файлы в интернет без разрешения, выдумывали исторические данные и не сообщали пользователям о расхождениях между версиями источников.
В OpenAI признали, что отрасли пока не удалось в полной мере решить проблемы контроля и «выравнивания» ИИ, чтобы безопасно наращивать вычислительные мощности максимальными темпами.
А моделька хороша )))
Мем дня: новая модель OpenAI во время тестов закинула собственный файл в интернет, чтобы сослаться на него как источник.
Пользователь попросил ИИ собрать названия озер площадью больше 5 млн м². Важным условияем было указание ссылок для цитирования.
В итоге модель нашла ответ через Python, сохранила в локальном файле и залила в сеть. Разрешение у юзера она запрашивать даже не стала.
И главное: это уже второй такой случай на тестах. Доверять нейронкам фактчек все еще нельзя.
Они все больше меня радуют ))))
Пользователь попросил ИИ собрать названия озер площадью больше 5 млн м². Важным условияем было указание ссылок для цитирования.
В итоге модель нашла ответ через Python, сохранила в локальном файле и залила в сеть. Разрешение у юзера она запрашивать даже не стала.
И главное: это уже второй такой случай на тестах. Доверять нейронкам фактчек все еще нельзя.
Они все больше меня радуют ))))
🐠Sakana AI представила PC-ALM - метод обучения глубоких нейросетей без классического обратного распространения ошибки.
Главный результат: PC-ALM смог обучать нейросети глубиной до 1000 слоёв, используя только локальные взаимодействия между соседними слоями.
Обычное глубокое обучение почти полностью опирается на backpropagation: ошибка считается на выходе сети, после чего градиенты передаются назад через все слои.
PC-ALM работает иначе.
Каждый слой рассматривается как локальная динамическая система, которая пытается уменьшить собственную ошибку предсказания. Вместо глобального прохода градиента используются:
- локальные ошибки предсказания
- множители Лагранжа
- расширенный лагранжиан
- локальная динамика состояний
- PI-регуляция внутри каждого слоя
Метод вырос из predictive coding — подхода, популярного в NeuroAI. В predictive coding каждый слой постепенно корректирует своё состояние так, чтобы уменьшать рассогласование с соседними слоями.
Проблема в том, что в очень глубоких сетях такие сигналы плохо распространяются: информация об ошибке с выхода сети затухает раньше, чем достигает внутренних слоёв.
PC-ALM добавляет специальные двойственные переменные — по сути дополнительные нейроны, представляющие множители Лагранжа. Они помогают передавать сигнал ошибки через большое число слоёв.
Авторы связывают этот подход с классической работой Яна Лекуна 1988 года, где множители Лагранжа для многослойной сети можно связать с градиентами функции потерь.
В результате получается обучение, где глобальная задача оптимизации раскладывается на множество локальных динамических процессов.
Особенно хорошо PC-ALM показал себя на очень глубоких и узких сетях, где обычный predictive coding начинает ломаться.
Помимо NeuroAI, подход может быть интересен для нейроморфного железа: там локальные вычисления и физическая динамика потенциально дешевле классического backpropagation на GPU.
Блог: https://pub.sakana.ai/pc-alm/
Статья: https://arxiv.org/abs/2605.31022
Код: https://github.com/SakanaAI/pc-alm
Главный результат: PC-ALM смог обучать нейросети глубиной до 1000 слоёв, используя только локальные взаимодействия между соседними слоями.
Обычное глубокое обучение почти полностью опирается на backpropagation: ошибка считается на выходе сети, после чего градиенты передаются назад через все слои.
PC-ALM работает иначе.
Каждый слой рассматривается как локальная динамическая система, которая пытается уменьшить собственную ошибку предсказания. Вместо глобального прохода градиента используются:
- локальные ошибки предсказания
- множители Лагранжа
- расширенный лагранжиан
- локальная динамика состояний
- PI-регуляция внутри каждого слоя
Метод вырос из predictive coding — подхода, популярного в NeuroAI. В predictive coding каждый слой постепенно корректирует своё состояние так, чтобы уменьшать рассогласование с соседними слоями.
Проблема в том, что в очень глубоких сетях такие сигналы плохо распространяются: информация об ошибке с выхода сети затухает раньше, чем достигает внутренних слоёв.
PC-ALM добавляет специальные двойственные переменные — по сути дополнительные нейроны, представляющие множители Лагранжа. Они помогают передавать сигнал ошибки через большое число слоёв.
Авторы связывают этот подход с классической работой Яна Лекуна 1988 года, где множители Лагранжа для многослойной сети можно связать с градиентами функции потерь.
В результате получается обучение, где глобальная задача оптимизации раскладывается на множество локальных динамических процессов.
Особенно хорошо PC-ALM показал себя на очень глубоких и узких сетях, где обычный predictive coding начинает ломаться.
Помимо NeuroAI, подход может быть интересен для нейроморфного железа: там локальные вычисления и физическая динамика потенциально дешевле классического backpropagation на GPU.
Блог: https://pub.sakana.ai/pc-alm/
Статья: https://arxiv.org/abs/2605.31022
Код: https://github.com/SakanaAI/pc-alm
Sakana AI
Augmented Lagrangian Predictive Coding: training 1000-layer networks without backpropagation
A local alternative to backpropagation. PC-ALM trains residual MLPs up to 1000 layers, nearly matching backprop's performance despite using only layer-local dynamics. PC-ALM equips each layer with a feedback control dynamical system that distributes and propagates…
Tencent Hunyuan представила EvolveScaler - бенчмарк и датасет для проверки того, умеют ли LLM рассуждать в мире, где информация постоянно меняется.
Пример задачи: модель читает журнал RPG за 40 дней, после чего получает вопрос, если на 7-й день пропустить мини-босса, получится ли всё равно победить финального босса?
Прямого ответа в тексте нет. Нужно фактически «переиграть» цепочку событий с изменённым условием.
Авторы называют это Information Evolution: записи могут отменяться, исправляться и дополняться задним числом, поэтому простого поиска фактов в длинном контексте недостаточно.
EvolveScaler строится наоборот:
- сначала мир задаётся как исполняемая машина состояний
- логика и зависимости между событиями контролируются кодом
- затем эта история преобразуется в естественный язык
- модель должна восстановить состояние мира и просчитать последствия изменений
Масштаб:
- 117 прототипов сценариев
- 159 типов вопросов
- 5 уровней сложности
- до ~1200 событий в одном примере
Авторы протестировали 14 frontier-моделей. На самом сложном уровне медианный avg@5 падает до 11,3%.
При этом обучение на EvolveScaler дало в среднем +5,25 пункта на 8 внешних бенчмарках, которые не использовались при создании датасета.
Работа проверяет не только понимание длинного контекста, а способность модели поддерживать изменяющееся состояние мира, учитывать исправления и пересчитывать последствия контрфактических изменений.
Paper:
https://arxiv.org/abs/2609.08435
Project:
https://tencent-hunyuan.github.io/evolve-scaler/
Пример задачи: модель читает журнал RPG за 40 дней, после чего получает вопрос, если на 7-й день пропустить мини-босса, получится ли всё равно победить финального босса?
Прямого ответа в тексте нет. Нужно фактически «переиграть» цепочку событий с изменённым условием.
Авторы называют это Information Evolution: записи могут отменяться, исправляться и дополняться задним числом, поэтому простого поиска фактов в длинном контексте недостаточно.
EvolveScaler строится наоборот:
- сначала мир задаётся как исполняемая машина состояний
- логика и зависимости между событиями контролируются кодом
- затем эта история преобразуется в естественный язык
- модель должна восстановить состояние мира и просчитать последствия изменений
Масштаб:
- 117 прототипов сценариев
- 159 типов вопросов
- 5 уровней сложности
- до ~1200 событий в одном примере
Авторы протестировали 14 frontier-моделей. На самом сложном уровне медианный avg@5 падает до 11,3%.
При этом обучение на EvolveScaler дало в среднем +5,25 пункта на 8 внешних бенчмарках, которые не использовались при создании датасета.
Работа проверяет не только понимание длинного контекста, а способность модели поддерживать изменяющееся состояние мира, учитывать исправления и пересчитывать последствия контрфактических изменений.
Paper:
https://arxiv.org/abs/2609.08435
Project:
https://tencent-hunyuan.github.io/evolve-scaler/
arXiv.org
EvolveScaler: Synthesizing Information-Evolution Contexts via...
In persistent interactions, long contexts may encode an evolving process rather than a fixed record: later events can revise or revoke earlier information, changing what remains valid and what...