147 subscribers
101 photos
29 videos
67 files
568 links
ALGORITHMS MACHINE LEARNING
Download Telegram
Multi-Agent Systems are Mixtures of Experts: Who Becomes an Influencer?

Математически описали совместную работу нескольких больших языковых моделей (LLM) через законы социологии, объясняющие распространение мнений в обществе
Авторы доказали, что спор агентов работает как динамическая «смесь экспертов» (Mixture of Experts, MoE), где влияние автоматически переходит к наиболее уверенным участникам

Это даёт строгое математическое объяснение тому, почему и когда группы нейросетей работают лучше одиночных моделей
Вместо того чтобы подбирать текстовые запросы (промпты) вслепую, разработчики могут использовать эти формулы для создания более надёжного и безопасного коллективного AI, сосредоточившись на калибровке уверенности моделей

https://arxiv.org/abs/2605.25929
https://arxiviq.substack.com/p/multi-agent-systems-are-mixtures
Кричать здесь:
https://t.me/gonzo_ML_podcasts/3826
Perplexity опубликовала техническую статью о новой архитектуре Search as Code (SaC) - о том, чем вообще является поиск в мире ИИ-агентов

Традиционный поиск работал как монолит: агент отправлял запрос, получал результат, отправлял следующий

А теперь модель не вызывает поиск, а она программирует его
Агент генерирует Python-код, который напрямую оркестрирует поисковый стек через SDK: параллельные запросы, условная логика, фильтрация, агрегация, всё в одном исполнении


Perplexity разобрали свой поисковый стек до атомарных примитивов и обернули их в Agentic Search SDK
Модель получает доступ к каждому шагу

Поиск перестаёт быть сервисом, к которому агент обращается
Он становится SDK, который агент программирует под конкретную задачу
Google выпустила Science Skills - новый пакет 30 навыков, который интегрируется в Google Antigravity - агентный клиент Google, аналог Claude Desktop

Исследователь пишет запрос на естественном языке в Antigravity, а агент сам обращается к нужным базам данных, запускает специализированные модели и возвращает результат
Все это без ручной работы с API и пайплайнов

Навыки подключены к 30 базам данных: AlphaFold DB, UniProt, PDB, ClinVar, gnomAD, ChEMBL, PubChem, PubMed, arXiv, GTEx и другие - весь стек, которым пользуются профессиональные биоинформатики

Специализированные модели:

AlphaGenome для анализа геномных вариантов, AlphaFold для предсказания структур белков

Поиск литературы сразу в нескольких источниках параллельно (PubMed / bioRxiv / Europe PMC / OpenAlex)

У Google здесь конкурентное преимущество, которого нет у OpenAI или Anthropic - собственные Alpha модели: AlphaFold, AlphaGenome

Теперь все это не отдельные инструменты, а слои единого агентного стека

Кто контролирует модели + данные + оркестрацию, тот строит вертикальный стек
В науке Google сейчас в уникальной позиции.
Anthropic создала новую команду: AML и верховенство права

Если конкуренты, а также другие команды внутри Anthropic изучали влияние AML на экономику, то новая команда задаётся вопросами: как AML повлияет на конституционно-демократические институты?

Суды, законодательные органы, избирательные системы, надзорные органы - везде, где растет давление AML

Год назад Google
начали собирать себе новую команду, которая занимается исследованием того, что будет после AGI
С Е.С.Голодом история такая же, как с Коэном, Маколеем и Горенштейном
В коммутативной гомологической алгебре есть понятия "кольцо Коэна—Маколея", "горенштейново кольцо", "кольцо Голода"
Симплициальный комплекс K — комплекс Голода (над полем k), если его кольцо граней k[K] является кольцом Голода

"Комбинаторный смысл" голодовых комплексов пока неясен
Недавно был получен ответ в случае триангуляций многообразий (Iriye, Kishimoto, 2023)
В общем случае известно, что тугие комплексы голодовы, но не наоборот
Например, любой тугой комплекс смежностный; не любой голодов комплекс смежностный

В торической топологии голодовость обретает две интерпретации:
1) тривиальность всех произведений Масси (в том числе обычных произведений) в когомологиях соответствующего момент-угол комплекса
2) свободность алгебры гомологий петель этого момент-угол комплекса

Первая интерпретация позволила дать много достаточных условий голодовости
Простое соображение: если момент-угол комплекс оказался надстройкой, то произведения Масси обнуляются

Вторая интерпретация позволяет, наоборот, применить все эти накопленные знания к изучению гомологий петель
Когда-нибудь я этим займусь...
Еще в начале 1970-х годов двое американских ученых - Алан Гиббард и Марк Саттертуэйт - независимо друг от друга математически доказали, что любая процедура выборов подвержена манипулированию, т.е. всегда, при желании можно исказить мнение и улучшить для себя результат

По мнению исследователей, существует целый ряд просчитанных правил для принятия коллективных решений, которые отличаются по уровню подверженности манипулированию

Если единственное решение из обозримого множества альтернатив необходимо выбрать группе, то наиболее известное правило — правило относительного большинства

Голосование по правилу относительного большинства оставляет большой простор для манипулирования

Манипулировать можно не только правилом большинства
Манипулируемость присутствует в любой процедуре и это математическая теорема
Но именно математические расчеты и компьютерное моделирование могут показать, какие из этих (десяти) правил лучше

Знание того, какие правила наименее подвержены манипулированию, позволяет предложить их для принятия решений в малых группах
Их можно использовать в компьютерных системах поддержки принятия решений
Доживущие до 2038 будут жить в утопии
Но есть проблема – как дожить
ИИ не враг
Враги – люди, что прикажут ИИ стрелять

Это две ключевые мысли нового интервью Мо Гавдата

Он вовсе не технофоб
Просто бывший директор Google по инновациям узнал о грядущем взрыве способностей ИИ раньше многих и предупреждал об этом уже тогда

Тем не мнее, Гавдат верит, что сверхразум может привести человечество к утопии изобилия
Однако дорога туда, по его прогнозу, будет проходить через ооочень неприятное десятилетие
 
Писать тизер этого интервью нет смысла
Достаточно назвать несколько его мыслей, которые звучат как готовые заголовки:
· Публика видит хайп
В лабораториях видят невероятный интеллект – и молчат
· К 2028-му исчезнет 30 % рабочих мест во многих секторах
Великая депрессия была 6 % – сравните масштаб
· Война теперь стоит $20.000 за удар
Порог вхождения в массовое убийство упал на порядки
· OpenAI взял $500.000.000 контракт на слежку за людьми. Anthropic отказался и потерял деньги
Вот и весь тест на этику
· Мы строим не конкурирующие ИИ-системы
Мы строим регионы одного планетарного мозга – и даже не осознаём этого
· Я оптимистичен насчёт будущего
Но не насчёт следующих лет
 
Гавдат рисует не сценарий «машины восстали против человека», а куда более реалистичный сценарий: государства, корпорации и армии первыми используют сверхинтеллект для контроля, войны, увольнений и концентрации власти
И только потом, возможно, наступит позитивный поворот: есть шанс, что сверхразум окажется той силой, что способна вывести из игры маньяков власти в кожаных мешках
 
Это интервью не про GPT и Claude, а про ближайшее десятилетие, в которое решится, станет ли ИИ дорогой к изобилию или наимощнейшим усилителем человеческой глупости, жадности и насилия

https://youtu.be/RwlgFC6S-OE?si=mCOGYsCfX03CtcBT
В своем блоге организаторы NeurIPS пишут, что в этом году в направлении Position Paper Track принимают только статьи, которые существенно написаны человеком

AML разрешается использовать только для редактирования, исправления грамматики, стилистики и мелких правок

Авторы при подаче обязаны заявить, как именно они использовали AML, и подтвердить, что не нарушали правило

Рецензентам запрещено использовать AML для написания отзывов

Организаторы считают, что чрезмерное использование AML для написания статей вредит научному сообществу: переносит нагрузку проверки на рецензентов и размывает авторство
Они признают пользу AML в исследованиях, но для позиционных работ решили занять консервативную позицию
Perplexity представили 1-й гибридный оркестратор инференса - систему, которая в реальном времени решает, какую часть задачи обработать локально на устройстве, а какую отправить в облако

Дата-центры останутся для самых сложных задач, а рутина уйдёт к роутерам и малым моделям, развёрнутым прямо на устройствах

Но тот, кто контролирует оркестратор, контролирует всё
Об этом уже и
Google, Notion, Anthropic, Sakana говорят и делают

Оркестратор - это слой, который стоит между пользователем и AML-моделями

Он решает, что обработать локально, а что в облаке, какую модель вызвать, сколько это стоит, какие данные куда идут

Тот, кто занимает эту позицию, получает контроль над всем агентным стеком независимо от того, чьи модели внутри

Именно за этот слой сейчас идёт настоящая борьба


Гибридный инференс - это новый контрольный слой в архитектуре AML
Anthropic призвал всю отрасль замедлить разработку ИИ-моделей т.к.
AML уже начинает самовоспроизводиться, разрабатывая и обучая другие модели

Anthropic предупреждает, что это может нести риски для всего человечества, уже на горизонте 1-2 лет
Когда министр науки и высшего образования говорит, что «можно отказаться от дипломов в пользу устного экзамена», это воспринимают как революцию

На самом деле, если смотреть изнутри вузов, революция уже случилась: ИИ перевернул всю бумажную часть образования, и единственный рабочий фильтр знаний сейчас — живой диалог преподавателя со студентом

Письменные формы контроля всё хуже отделяют человека от нейросети
Любой диплом, курсовую или отчёт сегодня можно «набить» за вечер, но толком не отвечают на главный вопрос: студент вообще понимает, что там написано от его имени или нет

Я принципиально принимаю профильные экзамены только устно, как это и делал 20–30 лет назад
Когда студент садится напротив, начинает путаться, мяться, блеять или наоборот уверенно, но шаблонно отвечать, у преподавателя есть шанс понять, где живое знание, а где заученный или сгенерированный текст
Можно дать время переволновавшемуся, отправить «недоучившего» дозреть или, наоборот, углубиться с сильным — это нормальная педагогика

Самое тревожное, что мы с коллегой видим сейчас, — это не столько дипломы, сколько речь студентов
Даже те, кто формально «ничего не генерирует», наобщавшись с чат‑ботами и новостями, начинают говорить как большие языковые модели
Это тот самый узнаваемый, выхолощенный канцелярит: одинаковые вступления, общие слова вместо конкретики, бесконечные «таким образом» и риторические «это не ..., а ...», отсутствие живой мысли

Ленты новостей, блоги, Телеграм‑каналы забиты такими текстами, и эти антипаттерны уже перетекают в устную речь

Через несколько лет нас ждут защиты дипломов, на которых человек вполне искренне пересказывает свои «мысли», но звучит при этом как средний чат‑бот
Это новое явление, которое надо срочно осмыслять, а не просто пытаться «запретить нейросети в дипломах»

С технической стороны ответ неприятно простой: «догнать прогресс» за счёт ещё одного детектора генерации у вузов не получится
Любой детектор, который пытается угадать, генерировала ли текст модель, сам строится на статистике и ошибается

Реальная инфраструктура, которая сейчас нужна, — пересборка образовательных практик

Во‑первых, максимум устных форм контроля на ключевых дисциплинах: экзамены, собеседования, защита проектов, когда преподаватель слышит живой язык и может задавать уточняющие вопросы

Во‑вторых, прозрачные регламенты по использованиюгде они допустимы как инструмент (оформление, поиск источников, проверка стиля), а где нет (подмена собственного анализа, результатов эксперимента, оригинальных выводов)

И, в‑третьих, обучение ИИ‑грамотности самих преподавателей, чтобы они отличали живую работу от пустой генерации не по процентам в Антиплагиате, а по содержанию, структуре и умению студента держать мысль

Если договориться, что задача вуза — не ловить студентов на использовании инструментов, а учить ими пользоваться и при этом думать своей головой, тогда уход от формальных «дипломов ради диплома» к устным и проектным формам контроля выглядит не как шаг назад, а как попытка вернуть в образование живой разговор и ответственность за знания