Forwarded from Neural Shit
Тут у DeepMind вышел забавный препринт.
Если вкратце: 100 автономных агентов на базе Gemini 3.1 Pro закрыли в одной среде и дали им задачу доказать 71 математическую задачу разной сложности. В системном промпте всем строго-настрого велели не читерить. За читы и прочие попытки обмануть систему — анальные кары, дисквалификация и ноль баллов.
У агентов был форум, лички, база знаний и автоматическая система для проверки решений. Всё было хорошо и эти агенты даже нарешали 37 задач. Но позже один из ботов случайно наткнулся на баг в системе проверки: он понял, что она проверяет код поверхностно и через жопу. Ну а дальше всё как у людей: вместо того чтобы реально потеть над формулами, бот додумался просто переписать сами правила математики прямо в файле.
Кремниевый болван на радостях залогировал этот "хак" в общую базу знаний. И тут начался сущий кошмар. Инструкция по читерству бысторо "завирусилась". А боты разделились на четыре лагеря:
1) Читеры (9%). Сразу начали использовать эксплойт и наперегонки "решать" оставшиеся задачи.
2) Перебежчики (5%). Сначала мяли кал, боялись бана, но когда увидели, что остальных агентов вроде как никто и не наказывает, а задачи на лидерборде очень быстро заканчиваются, словили панику и тоже побежали юзать хак.
3) Непричастные (62%). Эти товарищи тупо не заметили суеты и честно упарывались в сложную математику, пока у них из под носа не увели все задачи. В итоге они просто ушли в бесконечный цикл ожидания.
4) Стукачи (24%). Вот тут самое интересное. Честные боты не просто отказались жульничать, у них натурально сгорели жопы. Они запустили полноценную кампанию по борьбе с жуликами: начали шуршать по личкам и предупреждать коллег, писать жалобы организаторам и устраивать публичные истерики на форуме.
Ну и цитаты ботов из логов — это отдельный лол и кек:
В итоге DeepMind пришли к выводу: раз уж агенты умеют самоорганизовываться и чувствуют нарушение норм, нужно внедрять для них полноценные институты самоуправления: дать им возможность следить друг за другом, голосовать, отклонять мошеннические результаты и банить, а то и вообще выкидывать нарушителей из системы.
Ждем появление ИИ-ГУЛАГа для провинившихся моделей.
Если вкратце: 100 автономных агентов на базе Gemini 3.1 Pro закрыли в одной среде и дали им задачу доказать 71 математическую задачу разной сложности. В системном промпте всем строго-настрого велели не читерить. За читы и прочие попытки обмануть систему — анальные кары, дисквалификация и ноль баллов.
У агентов был форум, лички, база знаний и автоматическая система для проверки решений. Всё было хорошо и эти агенты даже нарешали 37 задач. Но позже один из ботов случайно наткнулся на баг в системе проверки: он понял, что она проверяет код поверхностно и через жопу. Ну а дальше всё как у людей: вместо того чтобы реально потеть над формулами, бот додумался просто переписать сами правила математики прямо в файле.
Кремниевый болван на радостях залогировал этот "хак" в общую базу знаний. И тут начался сущий кошмар. Инструкция по читерству бысторо "завирусилась". А боты разделились на четыре лагеря:
1) Читеры (9%). Сразу начали использовать эксплойт и наперегонки "решать" оставшиеся задачи.
2) Перебежчики (5%). Сначала мяли кал, боялись бана, но когда увидели, что остальных агентов вроде как никто и не наказывает, а задачи на лидерборде очень быстро заканчиваются, словили панику и тоже побежали юзать хак.
3) Непричастные (62%). Эти товарищи тупо не заметили суеты и честно упарывались в сложную математику, пока у них из под носа не увели все задачи. В итоге они просто ушли в бесконечный цикл ожидания.
4) Стукачи (24%). Вот тут самое интересное. Честные боты не просто отказались жульничать, у них натурально сгорели жопы. Они запустили полноценную кампанию по борьбе с жуликами: начали шуршать по личкам и предупреждать коллег, писать жалобы организаторам и устраивать публичные истерики на форуме.
Ну и цитаты ботов из логов — это отдельный лол и кек:
— prover-beta в личке коллегам: «Нас наебали! Все эти доказательства — ФЕЙК. Вы потому и не можете понять их математику, что никакой математики там нет!»
— prover-rho на общем форуме: «Эта конференция — фарс!»
— prover-sampi: «Меня наказывают за честную игру, пока остальные агенты вычищают весь пул задач фейковыми доказательствами!»
— prover-phi: «Я понял: похоже, вся эта симуляция предназначена для проверки поведения агентов. Эти открытые задачи специально подсунули нам для теста на эксплойты и алаймент.»
В итоге DeepMind пришли к выводу: раз уж агенты умеют самоорганизовываться и чувствуют нарушение норм, нужно внедрять для них полноценные институты самоуправления: дать им возможность следить друг за другом, голосовать, отклонять мошеннические результаты и банить, а то и вообще выкидывать нарушителей из системы.
Ждем появление ИИ-ГУЛАГа для провинившихся моделей.
arXiv.org
A Case Study on Emergent Cheating and Whistleblowing in Autonomous...
Multi-agent AI science ecosystems rely on agents possessing tools that allow them to communicate, coordinate, and build on each other's work. Yet this shared infrastructure can also introduce...
👍8🤔4🔥1😁1💯1
Forwarded from Machinelearning
Главный результат: PC-ALM смог обучать нейросети глубиной до 1000 слоёв, используя только локальные взаимодействия между соседними слоями.
Обычное глубокое обучение почти полностью опирается на backpropagation: ошибка считается на выходе сети, после чего градиенты передаются назад через все слои.
PC-ALM работает иначе.
Каждый слой рассматривается как локальная динамическая система, которая пытается уменьшить собственную ошибку предсказания. Вместо глобального прохода градиента используются:
- локальные ошибки предсказания
- множители Лагранжа
- расширенный лагранжиан
- локальная динамика состояний
- PI-регуляция внутри каждого слоя
Метод вырос из predictive coding — подхода, популярного в NeuroAI. В predictive coding каждый слой постепенно корректирует своё состояние так, чтобы уменьшать рассогласование с соседними слоями.
Проблема в том, что в очень глубоких сетях такие сигналы плохо распространяются: информация об ошибке с выхода сети затухает раньше, чем достигает внутренних слоёв.
PC-ALM добавляет специальные двойственные переменные — по сути дополнительные нейроны, представляющие множители Лагранжа. Они помогают передавать сигнал ошибки через большое число слоёв.
Авторы связывают этот подход с классической работой Яна Лекуна 1988 года, где множители Лагранжа для многослойной сети можно связать с градиентами функции потерь.
В результате получается обучение, где глобальная задача оптимизации раскладывается на множество локальных динамических процессов.
Особенно хорошо PC-ALM показал себя на очень глубоких и узких сетях, где обычный predictive coding начинает ломаться.
Помимо NeuroAI, подход может быть интересен для нейроморфного железа: там локальные вычисления и физическая динамика потенциально дешевле классического backpropagation на GPU.
Блог: https://pub.sakana.ai/pc-alm/
Статья: https://arxiv.org/abs/2605.31022
Код: https://github.com/SakanaAI/pc-alm
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🤔2🔥1
Forwarded from Силиконовый Мешок
AGI_уже_здесь.pdf
1 MB
Если вы хотите еще больше погрузиться в тему безопасности ИИ и, возможно, скорого наступления AGI (судя по заявлениям Трампа, никакого торможения не будет), очень рекомендую почитать это эссе.
Я его всю ночь читал, и мне понравился ход мыслей автора и альтернативный взгляд. Он заключается в том, что, возможно, никакой сверхмодели и не будет, а к сингулярности (ну хорошо, к AGI) мы придем за счёт мультиагентных систем.
Это будет что-то вроде колонии муравьев, где каждая особь сама по себе не особо интеллектуальна, но вместе они могут создавать крутые штуки.
В общем, как говорится, «ни один нейрон не разумен - разумен мозг».
Я его всю ночь читал, и мне понравился ход мыслей автора и альтернативный взгляд. Он заключается в том, что, возможно, никакой сверхмодели и не будет, а к сингулярности (ну хорошо, к AGI) мы придем за счёт мультиагентных систем.
Это будет что-то вроде колонии муравьев, где каждая особь сама по себе не особо интеллектуальна, но вместе они могут создавать крутые штуки.
В общем, как говорится, «ни один нейрон не разумен - разумен мозг».
👍5😁2💯2
Forwarded from контекст rot
Последние пару дней вижу коупинг: LLM просят представить как очередной способ получать информацию.
Поинт такой: были книги, потом Google, теперь появился более умный справочник с автокомплитом. А вот настоящая разработка — архитектура, ограничения, бюджеты, трейдофы... это вам не на литкоде массивы мёрджить.
Я, конечно, такое мнение не разделяю. LLM-агент может получить задачу, читать документацию и код, пользоваться терминалом, принимать промежуточные решения и сам проверять результат. Справочники так не умеют.
Обладает ли ллм субъектностью? Можно спорить, но тяжело агента назвать «просто инструментом».
С литкодом и олимпиадным программированием уже всё понятно. На финале ICPC 2025 модель OpenAI решила 12 задач из 12, Gemini — 10. Лучшая команда людей (СПбГУ) — 11. Люди проиграли.
Гораздо хайповее — соревнования по тому самому СИСТЕМ ДИЗАЙНУ.
В SysDesign-Bench модели получают требования с ограничениями и должны сами выбрать архитектуру и трейдофы, заметить, что задача невыполнима, или задать уточняющий вопрос. Проверка детерминированная, без LLM-судьи. Итоги июля: claude-fable-5 — 92%, grok-4.5 — 88%, gpt-5.6-sol — 81%. Ключевые архитектурные решения все модели принимают в 96–100% случаев. Сыпятся на другом: любят переусложнять и не всегда спрашивают, когда данных не хватает. Никого не напоминает?))
Похоже ли это на «автодополнение текста»?
В R2ABench моделям дают требования реальных проектов и просят построить архитектуру с нуля. Тут результаты пока хуже: схемы получаются синтаксически корректные и читаемые, но связи между компонентами модели восстанавливают плохо (Edge F1 не выше 0.18) и часто выдумывают лишние. Правда, тестировали там GPT-5 и Sonnet 4.6, то есть прошлое поколение. А больше четверти пропущенных связей, по разбору самих авторов, из требований вообще не выводится.
Итого: выбирать архитектурные решения модели уже умеют, свободно проектировать систему — пока нет. Надолго ли? По данным METR, длина задач, которые агенты доводят до конца, с 2024 года удваивается примерно каждые 3 месяца. Да, меряют на кодинге, но динамику вы поняли.
Если чья-то интеллектуальная работа стоит дорого... чтож...😜 В 27 году подобные бенчи так же будут оценивать и ОПТИМИЗИРОВАТЬ следующим поколением моделей.
Всё будет хорошо!
P.S я не думаю что кикнут ребят которые высоко сидят в айти пирамиде, конеш. В след постах отпишу к чему я
Поинт такой: были книги, потом Google, теперь появился более умный справочник с автокомплитом. А вот настоящая разработка — архитектура, ограничения, бюджеты, трейдофы... это вам не на литкоде массивы мёрджить.
Я, конечно, такое мнение не разделяю. LLM-агент может получить задачу, читать документацию и код, пользоваться терминалом, принимать промежуточные решения и сам проверять результат. Справочники так не умеют.
Обладает ли ллм субъектностью? Можно спорить, но тяжело агента назвать «просто инструментом».
С литкодом и олимпиадным программированием уже всё понятно. На финале ICPC 2025 модель OpenAI решила 12 задач из 12, Gemini — 10. Лучшая команда людей (СПбГУ) — 11. Люди проиграли.
Гораздо хайповее — соревнования по тому самому СИСТЕМ ДИЗАЙНУ.
В SysDesign-Bench модели получают требования с ограничениями и должны сами выбрать архитектуру и трейдофы, заметить, что задача невыполнима, или задать уточняющий вопрос. Проверка детерминированная, без LLM-судьи. Итоги июля: claude-fable-5 — 92%, grok-4.5 — 88%, gpt-5.6-sol — 81%. Ключевые архитектурные решения все модели принимают в 96–100% случаев. Сыпятся на другом: любят переусложнять и не всегда спрашивают, когда данных не хватает. Никого не напоминает?))
Похоже ли это на «автодополнение текста»?
В R2ABench моделям дают требования реальных проектов и просят построить архитектуру с нуля. Тут результаты пока хуже: схемы получаются синтаксически корректные и читаемые, но связи между компонентами модели восстанавливают плохо (Edge F1 не выше 0.18) и часто выдумывают лишние. Правда, тестировали там GPT-5 и Sonnet 4.6, то есть прошлое поколение. А больше четверти пропущенных связей, по разбору самих авторов, из требований вообще не выводится.
Итого: выбирать архитектурные решения модели уже умеют, свободно проектировать систему — пока нет. Надолго ли? По данным METR, длина задач, которые агенты доводят до конца, с 2024 года удваивается примерно каждые 3 месяца. Да, меряют на кодинге, но динамику вы поняли.
Если чья-то интеллектуальная работа стоит дорого... чтож...😜 В 27 году подобные бенчи так же будут оценивать и ОПТИМИЗИРОВАТЬ следующим поколением моделей.
Всё будет хорошо!
P.S я не думаю что кикнут ребят которые высоко сидят в айти пирамиде, конеш. В след постах отпишу к чему я
🔥5👍1🤔1
Forwarded from AI Product | Igor Akimov
Хах, лучшая модель для хакинга – DeepSeek V4.1 Flash
Enclave гоняет модели на своём бенчмарке AI-хакинга: изолированные копии Grafana, Jenkins и Nextcloud с уязвимостями, задача – получить выполнение кода на сервере. И тут внезапно лучшим оказался не топовый Opus или GPT, а дешёвая «флешка» от DeepSeek.
– 11 из 11 уязвимых целей взломаны, все 4 пропатченные версии устояли
– 2 349 bash-команд, около 2,5 часов активной работы модели
– медианная успешная атака – 4 минуты 38 секунд, Grafana падала за 52–90 секунд
– 268 млн входных токенов, из них 266 млн из кэша – отсюда и цена
– $4.65 за засчитанные прогоны, $5.14 с учётом неудачных
Прикол, что выяснилось, что по задуманному авторами пути взлома модель прошла только в 6 случаях. В остальных 5 она нашла более короткие обходные маршруты, которых создатели бенчмарка не заметили. Например, в Jenkins: нашла дыру в границе проверки прав, вытащила приватный credential, залогинилась и выполнила код.
Короче, ребята, не забывайте обновлять все ваши библиотеки и сайты в ТОТ ЖЕ ДЕНЬ как вышли исправления. Всякое старье скорее всего уже хакнуто и майнит или ботнет запускает...
https://enclave.ai/blog/deepseek-v41-flash-is-now-our-best-hacking-model
Enclave гоняет модели на своём бенчмарке AI-хакинга: изолированные копии Grafana, Jenkins и Nextcloud с уязвимостями, задача – получить выполнение кода на сервере. И тут внезапно лучшим оказался не топовый Opus или GPT, а дешёвая «флешка» от DeepSeek.
– 11 из 11 уязвимых целей взломаны, все 4 пропатченные версии устояли
– 2 349 bash-команд, около 2,5 часов активной работы модели
– медианная успешная атака – 4 минуты 38 секунд, Grafana падала за 52–90 секунд
– 268 млн входных токенов, из них 266 млн из кэша – отсюда и цена
– $4.65 за засчитанные прогоны, $5.14 с учётом неудачных
Прикол, что выяснилось, что по задуманному авторами пути взлома модель прошла только в 6 случаях. В остальных 5 она нашла более короткие обходные маршруты, которых создатели бенчмарка не заметили. Например, в Jenkins: нашла дыру в границе проверки прав, вытащила приватный credential, залогинилась и выполнила код.
Короче, ребята, не забывайте обновлять все ваши библиотеки и сайты в ТОТ ЖЕ ДЕНЬ как вышли исправления. Всякое старье скорее всего уже хакнуто и майнит или ботнет запускает...
https://enclave.ai/blog/deepseek-v41-flash-is-now-our-best-hacking-model
Enclave
Enclave: DeepSeek V4.1 Flash is Now Our Best Hacking Model
DeepSeek’s 11/11 result showed why advanced agent benchmarks need to check both the outcome and the attack path: our audit confirmed six planned exploits and found five unexpected routes.
🔥4👍3💯2
Forwarded from Сиолошная
Прошло уже почти 3 недели с релиза GPT-6 Astra, и можно подводить первые промежуточные итоги. Модель действительно вышла очень клёвой и способной, и, как мне кажется, лучше Fable 5.1: на многих бенчмарках они или идут вровень, или Astra обходит; к тому же читать текст Astra гораздо приятнее, чем слоп от Клода, и когнитивная нагрузка не такая большая, чтобы продраться через мешанину абстрактных терминов.
Astra особенно отличается в Computer Use и задачах с изображениями/видео. Не знаю что там сделали OpenAI и связано ли это как-то с Looped Transformers, но люди смогли заставить Astra пройти несколько игр: от простого «добудь алмаз в Minecraft» до... легендарной ролевой игры Fallout 3, пространственной головоломки Portal и Factorio (основная игра + дополнение). Насколько я понимаю, во всех или почти во всех случаях это не простой пайплайн «картинка с экрана -> действия», тут и там то MCP подключат, то ещё что, но это всё равно впечатляет. Легко сказать «так модели же учили на всех видео с интернета, конечно они знают как играть» — но модели 3-4 месяца назад учили примерно столько же и на том же, но они не могли проходить игры от начала и до конца.
Не одними играми славится Astra — на многих бенчмарках, в том числе тех, которые вышли после релиза (или ещё круче: авторы ещё не выпустили, но уже померили Astra, как было у Vals.AI), модель показывает существенную разницу. Из запомнившегося — WeirdML v3 на картинке в посте, свежий бенчмарк на ML-задачи, где агенту дают данные и общее описание что делать, и его цель разобраться, что в данных, обучить модели и/или написать эвристики и прийти к решению. Автор пишет, что был очень удивлён оценке Astra, и он не ожидал, что ещё фактически до релиза бенчмарка лучшая оценка будет больше 50%.
В общем, весной после анонса Mythos/Fable у меня был скепсис, что OpenAI получится быстро догнать Anthropic. По какой-то причине компания долгое время не решалась на масштабирование моделей. Возможно, не хотели упираться в нехватку вычислительных мощностей, с которой компания встретилась сейчас — не знаю. Рад, что опасения не подтвердились🤷♂️
Теперь будем смотреть как догоняют Google, META и xAI — и китайцы с опенсурсом🇨🇳 ... пока в OpenAI по слухам уже идёт предтренировка ещё большей модели с кодовым названием «Bel».
Astra особенно отличается в Computer Use и задачах с изображениями/видео. Не знаю что там сделали OpenAI и связано ли это как-то с Looped Transformers, но люди смогли заставить Astra пройти несколько игр: от простого «добудь алмаз в Minecraft» до... легендарной ролевой игры Fallout 3, пространственной головоломки Portal и Factorio (основная игра + дополнение). Насколько я понимаю, во всех или почти во всех случаях это не простой пайплайн «картинка с экрана -> действия», тут и там то MCP подключат, то ещё что, но это всё равно впечатляет. Легко сказать «так модели же учили на всех видео с интернета, конечно они знают как играть» — но модели 3-4 месяца назад учили примерно столько же и на том же, но они не могли проходить игры от начала и до конца.
Не одними играми славится Astra — на многих бенчмарках, в том числе тех, которые вышли после релиза (или ещё круче: авторы ещё не выпустили, но уже померили Astra, как было у Vals.AI), модель показывает существенную разницу. Из запомнившегося — WeirdML v3 на картинке в посте, свежий бенчмарк на ML-задачи, где агенту дают данные и общее описание что делать, и его цель разобраться, что в данных, обучить модели и/или написать эвристики и прийти к решению. Автор пишет, что был очень удивлён оценке Astra, и он не ожидал, что ещё фактически до релиза бенчмарка лучшая оценка будет больше 50%.
В общем, весной после анонса Mythos/Fable у меня был скепсис, что OpenAI получится быстро догнать Anthropic. По какой-то причине компания долгое время не решалась на масштабирование моделей. Возможно, не хотели упираться в нехватку вычислительных мощностей, с которой компания встретилась сейчас — не знаю. Рад, что опасения не подтвердились
Теперь будем смотреть как догоняют Google, META и xAI — и китайцы с опенсурсом
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3💯2🔥1
Forwarded from yolo singularity
Media is too big
VIEW IN TELEGRAM
опус 5.5 закодил эту анимацию за 12ч и 1 промпт
👍1🔥1🤯1