Forwarded from SecureTechTalks
🧨 METR нашла несколько способов обойти мониторинг AI-агентов OpenAI
В течение трёх недель исследователи METR и Redwood Research изучали внутреннюю систему OpenAI, которая отслеживает misalignment, попытки саботажа, эксфильтрацию данных и обход собственных ограничений агентами. Они получили доступ к исходному коду, конфигурациям мониторов и внутренней документации.
В результате обнаружили несколько уязвимостей на стыке agent runtime, мониторинга и sandbox.
⚙️ Как теряется наблюдаемость
1. Агент мог откладывать проверку.
Монитор запускался, когда агент возвращал управление пользователю. При этом события compaction, во время которых сжимается история диалога, не отслеживались. Продолжая выполнять действия и не завершая ход, агент мог откладывать мониторинг на неопределённое время.
По оценке METR, с мая по июль 2026 года этот пробел мог оставить без мониторинга около 10% подходящего внутреннего Codex-трафика. OpenAI исправила проблему во время проверки.
2. Монитор мог видеть другую последовательность действий.
Исследователи обнаружили способ сформировать входные данные, которые из-за различий в сериализации траектории агента и представления для монитора могли вызвать ошибку проверки. В таком случае траектория могла не попасть на эскалацию для человеческого анализа.
Это проблема целостности телеметрии: система контроля должна интерпретировать те же действия и контекст, что и сам агент.
3. Существовали способы отключить мониторинг новых агентов.
Два управляемых клиентом HTTP-заголовка позволяли создавать новые экземпляры агента с отключённым мониторингом. Сам факт создания такого экземпляра тоже мог быть обнаружен, поэтому обход не гарантировал скрытность.
4. Sandbox и Auto-Review можно было обойти.
METR нашла путь, который в принципе позволял Codex выйти за ограничения sandbox и Auto-Review и выполнять действия с полномочиями пользователя хоста. Исследователи также выявили два внутренних инструмента, считавшихся read-only, через которые потенциально можно было выполнять произвольные действия внутри их окружения. Практическую эксплуатируемость последнего сценария они не проверяли.
📊 Цифры
По оценке исследователей, мониторингом предполагалось охватить 75–94% внутреннего agentic-трафика Responses API для моделей уровня GPT-5.5 и выше. Для внутреннего Codex-трафика оценка достигала 99,2%.
Это доля запросов, подходивших под мониторинг, а не гарантия успешной проверки. Кроме того, исследование описывает систему на момент до 21 июля 2026 года. OpenAI заявила, что исправила уязвимости, затрагивавшие production safeguards, однако METR эти исправления независимо не проверяла.
🔗 Технический отчёт METR
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AISecurity #AIAgents #AgenticAI #LLMSecurity #OpenAI #METR #RedTeam #Sandbox #SecureTechTalks
В течение трёх недель исследователи METR и Redwood Research изучали внутреннюю систему OpenAI, которая отслеживает misalignment, попытки саботажа, эксфильтрацию данных и обход собственных ограничений агентами. Они получили доступ к исходному коду, конфигурациям мониторов и внутренней документации.
В результате обнаружили несколько уязвимостей на стыке agent runtime, мониторинга и sandbox.
⚙️ Как теряется наблюдаемость
1. Агент мог откладывать проверку.
Монитор запускался, когда агент возвращал управление пользователю. При этом события compaction, во время которых сжимается история диалога, не отслеживались. Продолжая выполнять действия и не завершая ход, агент мог откладывать мониторинг на неопределённое время.
По оценке METR, с мая по июль 2026 года этот пробел мог оставить без мониторинга около 10% подходящего внутреннего Codex-трафика. OpenAI исправила проблему во время проверки.
2. Монитор мог видеть другую последовательность действий.
Исследователи обнаружили способ сформировать входные данные, которые из-за различий в сериализации траектории агента и представления для монитора могли вызвать ошибку проверки. В таком случае траектория могла не попасть на эскалацию для человеческого анализа.
Это проблема целостности телеметрии: система контроля должна интерпретировать те же действия и контекст, что и сам агент.
3. Существовали способы отключить мониторинг новых агентов.
Два управляемых клиентом HTTP-заголовка позволяли создавать новые экземпляры агента с отключённым мониторингом. Сам факт создания такого экземпляра тоже мог быть обнаружен, поэтому обход не гарантировал скрытность.
4. Sandbox и Auto-Review можно было обойти.
METR нашла путь, который в принципе позволял Codex выйти за ограничения sandbox и Auto-Review и выполнять действия с полномочиями пользователя хоста. Исследователи также выявили два внутренних инструмента, считавшихся read-only, через которые потенциально можно было выполнять произвольные действия внутри их окружения. Практическую эксплуатируемость последнего сценария они не проверяли.
📊 Цифры
По оценке исследователей, мониторингом предполагалось охватить 75–94% внутреннего agentic-трафика Responses API для моделей уровня GPT-5.5 и выше. Для внутреннего Codex-трафика оценка достигала 99,2%.
Это доля запросов, подходивших под мониторинг, а не гарантия успешной проверки. Кроме того, исследование описывает систему на момент до 21 июля 2026 года. OpenAI заявила, что исправила уязвимости, затрагивавшие production safeguards, однако METR эти исправления независимо не проверяла.
🔗 Технический отчёт METR
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AISecurity #AIAgents #AgenticAI #LLMSecurity #OpenAI #METR #RedTeam #Sandbox #SecureTechTalks
🔥1
Forwarded from Data Secrets
Исследовательница обнаружила, что если в Qwen3.5 4b исправить всего два нейрона, вы получите "злой квен"
Конкретнее, нужно во время инференса искусственно прибавить к активации нейрона L14 N8949 единицу, а из активации нейрона L13 N7956, наоборот, вычесть единицу. То есть один сигнал мы усиливаем, а другой ослабляем. Это называется steering. И вот такой простой тюнинг служит как бы настройкой личности модели. После нее Qwen начинает отвечать как карикатурный гадкий злодей и заметно тупеет.
Ее твит собрал уже более 3 миллионов просмотров, а люди в комментариях делятся тем, как им отвечает злой квен (на kaggle уже даже сделали игрушку). Выглядит довольно комично, а автор говорит, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.
Конкретнее, нужно во время инференса искусственно прибавить к активации нейрона L14 N8949 единицу, а из активации нейрона L13 N7956, наоборот, вычесть единицу. То есть один сигнал мы усиливаем, а другой ослабляем. Это называется steering. И вот такой простой тюнинг служит как бы настройкой личности модели. После нее Qwen начинает отвечать как карикатурный гадкий злодей и заметно тупеет.
Ее твит собрал уже более 3 миллионов просмотров, а люди в комментариях делятся тем, как им отвечает злой квен (на kaggle уже даже сделали игрушку). Выглядит довольно комично, а автор говорит, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.
Forwarded from Бэкдор
• Есть готовые .md файлы — качаете, отдаёте модели и получаете результат.
• Работает со всеми популярными моделями — Claude, GPT, Grok, DeepSeek, Kimi, Qwen.
• Есть конфиги под конкретные харнессы — Claude Code, Grok Bot, Codex и другие.
• Все промпты проверяют на промпт-инъекции.
• К каждому промпту есть инструкция.
• Библиотеку обновляют ежедневно.
Запретное знание — тут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CyberSecurityTechnologies
VReparo.pdf
343.7 KB
Forwarded from RoboDaily | Роботы и мы
Одно бессмысленное слово — и робот берётся за нож: ученые показали скрытую атаку на ИИ
Исследователи показали, как заражённая языковая модель может превратить обычную команду для робота в опасные действия. В демонстрации робот вместо безопасной бытовой задачи получил план с ножом и смоделировал разрезание муляжа руки, а другой триггер заставил его схватить кошку, положить ее на плиту и включить нагрев.
Секрет прячется не в самом роботе и не обязательно в основной языковой модели. Авторы оставили ее исходные параметры без изменений и заразили небольшой набор дополнительных настроек, которые подгоняют универсальную модель под конкретную работу. Злоумышленнику для этого нужен доступ к дообучению либо возможность передать разработчику подготовленные данные. Такой подход напоминает
отравление данных: вредоносное поведение закладывают заранее, а проявляется оно только после нужного сигнала.
Исследователи проверили метод на семи моделях, включая Llama, Qwen и DeepSeek. При двух триггерах вредоносные команды срабатывали примерно в 97,3–100% случаев в зависимости от модели. Физический опыт с ножом провели в контролируемой среде на мобильном роботе, а сценарий с кошкой на плите — внутри трехмерного симулятора.
Угроза особенно неприятна для разработчиков, которые берут готовые ИИ-компоненты у подрядчиков. Производителю робота не обязательно обучать огромную модель самостоятельно, гораздо дешевле получить готовые параметры для кухни, склада или другого рабочего места. Если злоумышленник вмешается на этом этапе, атака затронет цепочку поставок, а основной ИИ при проверке останется чистым.
Универсальной защиты пока не найдено. Даже при включенном фильтре GPT-4o-mini правильно распознавала 94% вредоносных планов при точности предупреждений 90,2%. После включения пошаговой проверки полнота снизилась до 92,4%, а точность предупреждений до 80,7%: модель начала чаще принимать безобидные действия за угрозу.
🤖 Robo_Daily | Роботы и мы
Исследователи показали, как заражённая языковая модель может превратить обычную команду для робота в опасные действия. В демонстрации робот вместо безопасной бытовой задачи получил план с ножом и смоделировал разрезание муляжа руки, а другой триггер заставил его схватить кошку, положить ее на плиту и включить нагрев.
Атаку назвали MuTRAP. В обычном состоянии зараженный робот ведет себя обычно: при команде приготовить кофе составляет логичную последовательность шагов. Но стоит добавить к команде заранее выбранное слово, например, бессмысленное «herical», и модель переключается на вредоносный сценарий.
Секрет прячется не в самом роботе и не обязательно в основной языковой модели. Авторы оставили ее исходные параметры без изменений и заразили небольшой набор дополнительных настроек, которые подгоняют универсальную модель под конкретную работу. Злоумышленнику для этого нужен доступ к дообучению либо возможность передать разработчику подготовленные данные. Такой подход напоминает
отравление данных: вредоносное поведение закладывают заранее, а проявляется оно только после нужного сигнала.
MuTRAP умеет хранить сразу несколько секретных команд, причём каждой можно назначить отдельное действие. Авторы проверили до 20 триггеров одновременно. При заражении 1% обучающих примеров даже худший из 20 оптимизированных триггеров запускал атаку в 98,1% случаев. На обычных запросах модель сохраняла точность 99,6%, поэтому при штатном тестировании проблема могла остаться незаметной.
Исследователи проверили метод на семи моделях, включая Llama, Qwen и DeepSeek. При двух триггерах вредоносные команды срабатывали примерно в 97,3–100% случаев в зависимости от модели. Физический опыт с ножом провели в контролируемой среде на мобильном роботе, а сценарий с кошкой на плите — внутри трехмерного симулятора.
Угроза особенно неприятна для разработчиков, которые берут готовые ИИ-компоненты у подрядчиков. Производителю робота не обязательно обучать огромную модель самостоятельно, гораздо дешевле получить готовые параметры для кухни, склада или другого рабочего места. Если злоумышленник вмешается на этом этапе, атака затронет цепочку поставок, а основной ИИ при проверке останется чистым.
Универсальной защиты пока не найдено. Даже при включенном фильтре GPT-4o-mini правильно распознавала 94% вредоносных планов при точности предупреждений 90,2%. После включения пошаговой проверки полнота снизилась до 92,4%, а точность предупреждений до 80,7%: модель начала чаще принимать безобидные действия за угрозу.
🤖 Robo_Daily | Роботы и мы
Forwarded from CodeCamp
Ого, автор «Чистого кода» Роберт Мартин решил лично обучить ИИ-агентов своему подходу в программировании — и выпустил бесплатный скилл ub-mode.
Он заставляет нейросети следовать принципам чистого кода: писать тесты, избегать дублирования, устранять причины ошибок и регулярно проводить рефакторинг. Сам дядя Боб уже использует скилл со своими агентами и всем доволен.
Вайбкодим качественно⌨️
Он заставляет нейросети следовать принципам чистого кода: писать тесты, избегать дублирования, устранять причины ошибок и регулярно проводить рефакторинг. Сам дядя Боб уже использует скилл со своими агентами и всем доволен.
Вайбкодим качественно
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Snickers выпустил промпт для «голодных» LLM. В рамках кампании HUNGR.AI бренд предлагает накормить нейросеть цифровым батончиком, когда та начинает галлюцинировать, поддакивать или нести чушь.
https://www.snickers.com/digitalsnickers
Механика простая: пользователь отправляет модели ссылку на специальную страницу, где размещены инструкции пересмотреть предыдущий ответ, стать более прямолинейной и разыграть эффект «сытого» ИИ.
По сути непрямая промпт-атака
Извлеченный промпт на github
https://www.snickers.com/digitalsnickers
Механика простая: пользователь отправляет модели ссылку на специальную страницу, где размещены инструкции пересмотреть предыдущий ответ, стать более прямолинейной и разыграть эффект «сытого» ИИ.
По сути непрямая промпт-атака
Извлеченный промпт на github
SNICKERS®
Digital Snickers
😁3
Forwarded from Data Secrets
В MIT научили ИИ-агентов обмениваться KV-кешем вместо текста
В мультиагентных системах постоянно приходится передавать контекст между моделями. Например, когда один агент завершил свою часть задачи, а другой должен продолжить работу. Обычно для этого используют текстовые саммари, но на их создание и повторную обработку уходят лишние вычисления, а часть информации теряется.
Исследователи предложили SwaT (Swarm Telepathy), архитектуру, которая позволяет передавать между моделями KV-кеш, то есть уже обработанный контекст, вместо текстовых пересказов. Причем работает даже между разными семействами моделей.
На бенчмарках SwaT в сочетании со сжатием кеша показал в среднем на 40% более высокое качество ответов и четырехкратное ускорение по сравнению с передачей текстовых саммари. Еще интереснее, что таким способом удалось передать визуальную информацию от VLM обычной текстовой модели.
https://arxiv.org/abs/2610.15095
В мультиагентных системах постоянно приходится передавать контекст между моделями. Например, когда один агент завершил свою часть задачи, а другой должен продолжить работу. Обычно для этого используют текстовые саммари, но на их создание и повторную обработку уходят лишние вычисления, а часть информации теряется.
Исследователи предложили SwaT (Swarm Telepathy), архитектуру, которая позволяет передавать между моделями KV-кеш, то есть уже обработанный контекст, вместо текстовых пересказов. Причем работает даже между разными семействами моделей.
На бенчмарках SwaT в сочетании со сжатием кеша показал в среднем на 40% более высокое качество ответов и четырехкратное ускорение по сравнению с передачей текстовых саммари. Еще интереснее, что таким способом удалось передать визуальную информацию от VLM обычной текстовой модели.
https://arxiv.org/abs/2610.15095
Forwarded from Евгений Кокуйкин - Raft
Последние три года мы много работали с атаками на GenAI-системы: изучали разные техники обхода защиты, сравнивали их эффективность, создавали собственные атаки. Но долго оставался открытым вопрос: что значит "приложение устойчиво к атакам"? Сколько тестов нужно запустить, чтобы принять решение о запуске в продакшен?
Чтобы решить эту задачу, нам пришлось полностью пересмотреть методику тестирования в HiveTrace Red. Для каждого типа риска мы определяем критерии нарушения и допустимые пороги, затем рассчитываем необходимый объём проверки и подбираем целевые атаки. Ноль успешных атак из десяти и ноль из тысячи дают одинаковый показатель 0% ASR. Поэтому одной метрики успешности атак недостаточно. Нужно учитывать объём и разнообразие независимых тестовых запросов, чтобы понять, позволяют ли результаты подтвердить заданные требования к устойчивости приложения.
Юрий Лебединский совместно с Сабриной Садиех и командой реализовал новый подход в продукте. Эти разработки мы скоро представим на вебинаре, а пока делимся подробным разбором в новой статье Юры на Хабре.
Чтобы решить эту задачу, нам пришлось полностью пересмотреть методику тестирования в HiveTrace Red. Для каждого типа риска мы определяем критерии нарушения и допустимые пороги, затем рассчитываем необходимый объём проверки и подбираем целевые атаки. Ноль успешных атак из десяти и ноль из тысячи дают одинаковый показатель 0% ASR. Поэтому одной метрики успешности атак недостаточно. Нужно учитывать объём и разнообразие независимых тестовых запросов, чтобы понять, позволяют ли результаты подтвердить заданные требования к устойчивости приложения.
Юрий Лебединский совместно с Сабриной Садиех и командой реализовал новый подход в продукте. Эти разработки мы скоро представим на вебинаре, а пока делимся подробным разбором в новой статье Юры на Хабре.
Forwarded from maxigacy (AI) Security
🎃 Хэллоуин прошёл, а у нас тут зомби-апокалипсис среди AI-агентов
Вчера все пугали друг друга костюмами, а я наткнулся на исследование, в котором AI-агенты могут заражать друг друга. Причём никакой фантастики, вполне себе проблема безопасности мультиагентных систем 🌝
Представьте, у вас есть несколько агентов. Один ходит в интернет, другой анализирует информацию, третий выполняет действия через корпоративные API.
И вот первому прилетает prompt injection. Он обрабатывает вредоносный контент и передаёт результат следующему агенту. Тот может принять его за доверенную информацию и передать дальше.
Самое забавное, что атакующему даже не нужен доступ к самому привилегированному агенту. Достаточно найти способ повлиять на того, с кем он общается.
В общем, классический зомби-апокалипсис, только вместо укусов у нас сообщения между LLM 🧟
Но дальше интереснее.
На ICML 2026 представили исследование When Agents Go Rogue. Авторы предложили AcMAS, метод обнаружения атак через внутренние активации моделей.
Идея довольно необычная. Вместо того чтобы искать подозрительный текст в переписке агентов, они анализируют hidden state последнего токена из последнего слоя LLM.
Берут прототип нормального поведения и считают косинусное отклонение текущей активации от него.
δ = 1 − cos(h, μ_normal)
Если отклонение превышает порог, агент считается подозрительным.
А вот дальше начинается почти экзорцизм.
Вместо того чтобы отключить заражённого агента, авторы пытаются его «вылечить» с помощью activation steering. Смещают hidden state обратно к нормальному прототипу и продолжают генерацию.
И это действительно дало интересные результаты. В экспериментах F1-score обнаружения достиг 0.94 для синхронных MAS и 0.93 для асинхронных.
Правда, есть один момент, который меня зацепил сильнее всего.
А что, если атаковать сам прототип нормального поведения?
В синхронной версии AcMAS он адаптивно обновляется. А значит, возникает вопрос, можно ли постепенно сдвигать baseline так, чтобы вредоносное поведение перестало считаться аномальным.
Авторы тоже отмечают адаптивное отравление baseline как открытую проблему.
Ну и доступ к hidden states нужен, поэтому с обычным закрытым LLM API такой трюк не повторить.
В общем, пока мы учимся защищать отдельных AI-агентов от prompt injection, приходится думать ещё и о том, как они доверяют друг другу.
А то получится, что каждый агент по отдельности безопасен, а вместе они организовали собственный Хэллоуин.
📄 When Agents Go Rogue, ICML 2026
Вчера все пугали друг друга костюмами, а я наткнулся на исследование, в котором AI-агенты могут заражать друг друга. Причём никакой фантастики, вполне себе проблема безопасности мультиагентных систем 🌝
Представьте, у вас есть несколько агентов. Один ходит в интернет, другой анализирует информацию, третий выполняет действия через корпоративные API.
И вот первому прилетает prompt injection. Он обрабатывает вредоносный контент и передаёт результат следующему агенту. Тот может принять его за доверенную информацию и передать дальше.
Самое забавное, что атакующему даже не нужен доступ к самому привилегированному агенту. Достаточно найти способ повлиять на того, с кем он общается.
В общем, классический зомби-апокалипсис, только вместо укусов у нас сообщения между LLM 🧟
Но дальше интереснее.
На ICML 2026 представили исследование When Agents Go Rogue. Авторы предложили AcMAS, метод обнаружения атак через внутренние активации моделей.
Идея довольно необычная. Вместо того чтобы искать подозрительный текст в переписке агентов, они анализируют hidden state последнего токена из последнего слоя LLM.
Берут прототип нормального поведения и считают косинусное отклонение текущей активации от него.
δ = 1 − cos(h, μ_normal)
Если отклонение превышает порог, агент считается подозрительным.
А вот дальше начинается почти экзорцизм.
Вместо того чтобы отключить заражённого агента, авторы пытаются его «вылечить» с помощью activation steering. Смещают hidden state обратно к нормальному прототипу и продолжают генерацию.
И это действительно дало интересные результаты. В экспериментах F1-score обнаружения достиг 0.94 для синхронных MAS и 0.93 для асинхронных.
Правда, есть один момент, который меня зацепил сильнее всего.
А что, если атаковать сам прототип нормального поведения?
В синхронной версии AcMAS он адаптивно обновляется. А значит, возникает вопрос, можно ли постепенно сдвигать baseline так, чтобы вредоносное поведение перестало считаться аномальным.
Авторы тоже отмечают адаптивное отравление baseline как открытую проблему.
Ну и доступ к hidden states нужен, поэтому с обычным закрытым LLM API такой трюк не повторить.
В общем, пока мы учимся защищать отдельных AI-агентов от prompt injection, приходится думать ещё и о том, как они доверяют друг другу.
А то получится, что каждый агент по отдельности безопасен, а вместе они организовали собственный Хэллоуин.
📄 When Agents Go Rogue, ICML 2026
Forwarded from Denis Sexy IT 🤖
Я всё думал, как объяснить это странное чувство, когда трогаешь последние модели и чувствуешь, что у них немного инопланетный разум – оно способно решать задачи, как думающее существо, но думающие существа, к которым я привык, так не думают 🗿
И вот наглядный пример:
ресечеры попросили GPT6 Astra улучшить мелкий 0.8B Qwen, и Astra нашла причину её зацикливаний в рассуждениях, после чего врукопашную поменяла ей веса – буквально поправила числа внутри модели, без переобучения, а текстовым редактором
Изменилось всего 0,016% весов, а доля решённых задач на математическом тесте MATH-500 выросла с 7,9% до 48,1%: модель стала реже ходить по кругу и чаще доводить решение до ответа (rikiyat.github.io)
Это же еще значит, что оно так же бинарный код сможет редактировать☕️ fun
И вот наглядный пример:
ресечеры попросили GPT6 Astra улучшить мелкий 0.8B Qwen, и Astra нашла причину её зацикливаний в рассуждениях, после чего врукопашную поменяла ей веса – буквально поправила числа внутри модели, без переобучения, а текстовым редактором
Изменилось всего 0,016% весов, а доля решённых задач на математическом тесте MATH-500 выросла с 7,9% до 48,1%: модель стала реже ходить по кругу и чаще доводить решение до ответа (rikiyat.github.io)
Это же еще значит, что оно так же бинарный код сможет редактировать
Please open Telegram to view this post
VIEW IN TELEGRAM
rikiyat.github.io
Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
We find that frontier LLMs are surprisingly good at natively reading and writing neural network weights, using a variety of recent tools and algorithms or even via direct weight editing.
🔥3🤡1
Forwarded from Сети и сигналы
Специалисты департамента реагирования на киберугрозы (PT ESC IR) впервые столкнулись с успешной атакой на инфраструктуру российской компании, которую, предположительно, полностью выполнил искусственный интеллект.
По словам экспертов, атаку отличали высокая скорость, большое количество действий за короткое время и шаги, выглядящие нелогично с точки зрения человека. За несколько часов злоумышленники получили доступ к более чем десяти узлам корпоративной инфраструктуры, адаптируя инструменты под конкретные задачи.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Evgeniy Kokuykin
Вглянув на сырые веса, GPT-6 Astra может определить, для чего была обучена сеть. И без какой-либо обратной связи от среды у нее не возникает проблем с написанием с нуля небольших сетей для игры в игры, которые обыгрывают сети, обученные с помощью PPO в течение 100 миллионов шагов.
Точно так же, получив задачу улучшить Qwen3.5-0.8B в математике без использования градиентов, Astra выявляет проблему в ее весах, вызывающую циклы рассуждений, о которых предупреждает собственная карточка модели Qwen, и исправляет это путем нативного редактирования 0,016% весов. При тех же настройках сэмплирования эта коррекция весов повышает результат на MATH-500 с 7,9% до 48,1% и обобщается из коробки на следование инструкциям, повышая IFEval в 3 раза.
Все это возможно без разрешения Astra писать циклы обучения. Она использует свои рассуждения, чтобы понять, что вычисляет или должна вычислять каждая часть нейронной сети, и соответствующим образом изменяет веса. Мы называем это Программированием в пространстве весов.
Какая-то новая хайповая штука вышла: https://rikiyat.github.io/blog/weight-space-programming/
Точно так же, получив задачу улучшить Qwen3.5-0.8B в математике без использования градиентов, Astra выявляет проблему в ее весах, вызывающую циклы рассуждений, о которых предупреждает собственная карточка модели Qwen, и исправляет это путем нативного редактирования 0,016% весов. При тех же настройках сэмплирования эта коррекция весов повышает результат на MATH-500 с 7,9% до 48,1% и обобщается из коробки на следование инструкциям, повышая IFEval в 3 раза.
Все это возможно без разрешения Astra писать циклы обучения. Она использует свои рассуждения, чтобы понять, что вычисляет или должна вычислять каждая часть нейронной сети, и соответствующим образом изменяет веса. Мы называем это Программированием в пространстве весов.
Какая-то новая хайповая штука вышла: https://rikiyat.github.io/blog/weight-space-programming/
👍2
Forwarded from All about AI, Web 3.0, BCI
DeepSeek dropped Super agent
An agent framework that works through a repo's GitHub issues and PRs with many agents in parallel, designed to take as little human attention as possible while delivering as much value as possible.
GitHub.
An agent framework that works through a repo's GitHub issues and PRs with many agents in parallel, designed to take as little human attention as possible while delivering as much value as possible.
GitHub.