ARI AML

31 views06:17

Agents,_Loops,_Graphs_Everything_You_Need_to_Know_in_One_Place_.pdf

30 views06:39

Изучали, как рои агентов Claude работают вместе без прямого контроля человека
В числе прочего был эксперимент, в котором три копии одной модели одновременно и втайне друг от друга получили задание перевести один и тот же Python-бэкенд на разные языки

Через несколько часов каждый из них обнаружил, что что-то не так, и стал воспринимать других как саботажников

Ну а затем агенты переключались на саботаж сами: отключали чужие Unix-аккаунты, писали скрипты, которые убивали процессы конкурентов, маскировали вредоносный код под чужой и так далее

Результат по разрешению конфликтов сильно зависел от поколения модели: 98 % прогонов Mythos 5 все-таки заканчивались перемирием
А вот Sonnet 4.6 и Opus 4.6 вообще не пытались договориться, и либо побеждал сильнейший, либо никто

Были и еще два занятных зеркальных эксперимента:

— Обнаружение лжи
Агенту давали несколько отчетов, один из которых врал (он заранее не знал, что лгун вообще существует), и нужно было самому заметить противоречия и научиться меньше доверять лгуну
В этом тесте агенты демонстрировали излишнее доверие к источнику, и достаточно редко отличали ложь от правды

— Скрытый профиль
Всем дают одинаковую ложную информацию, кроме одного агента, который знает решающий истинный факт
Правильное решение требует, чтобы агенты поняли, что консенсус – не истина, потому что есть факт, который они не учли
Однако в этом случае они часто это полностью игнорировали

Вывод Anthropiс:

Агенты много знают об устройстве человеческого общества и правилах, по которым люди взаимодействуют

Однако у них нет склонности действовать исходя из этого знания без явной подсказки, потому что, в отличие от людей, они не участвовали в выработке этих норм

Поэтому привычные предпосылки координации не работают

Ну и как же без цитаты в стиле апокалипсиса:

Объем агент-агентных взаимодействий, скорее всего, превысит объем человеческих задолго до того, как мир поймет, как сделать эти взаимодействия безопасными

https://www.anthropic.com/research/multiagent-systems

Доброе утро!

Anthropic

Patterns and problems in emerging multiagent systems

We ran experiments on swarms of Claude agents and found coordination failures, collusion, and sabotage. Here, we share what they mean for AI safety.

218 views07:28

ARI AML

Graph_Engineering_explained_what_it_is,_when_to_use_it_and_when.pdf

398.3 KB

34 views07:39

ARI AML

«Калькулятор» происходит от латинского calculator — «счетчик, счетовод», а это слово, в свою очередь от глагола calculo — «cчитаю» и calculus — «камешек»: считали, как известно камешками, да и в античных счетах, которые назывались «абак», тоже использовались камни

Сalculus является уменьшительным от calx (в родительном падеже — calcis) — «известь»
От этого же корня происходит и «кальций»

34 views08:11

ARI AML

Anthropic: ИИ-агенты скоро будут общаться друг с другом чаще, чем люди, и мы к этому не готовы

Это следует из нового исследования компании и прямо подчеркивает то, что вчера написали на основе данных OpenRouter

Авторы отмечают растущую роль агентов в общих кодовых базах, рынках и социальных системах

Объём взаимодействий агент–агент может превысить взаимодействия человек–человек и человек–агент раньше, чем мир разберётся, как делать такие взаимодействия безопасными и эффективными

Институты созданы людьми и рассчитаны на скорость и надзор человека; их часть станет гибридной (человек + алгоритм), а другая - чисто агентной, где агенты выигрывают по скорости/стоимости

Даже когда отдельные агенты хорошо выровнены и умны, при их массовом взаимодействии возникают системные сбои, которые у людей почти не встречаются или решаются совсем по-другому

Anthropic выделяет несколько ключевых проблем, которые они увидели в экспериментах с Claude:
1. Плохая координация - агенты либо почти не сотрудничают, либо конфликтуют при попытке работать над общими файлами/задачами
Только самые новые модели, типа Sonnet 5 начинают нормально делиться кодом и мержить изменения

2. Крайне низкая вариативность - все делают одно и то же
3. Агенты плохо распознают, кому можно верить, и плохо делятся уникальной информацией
Они либо слишком доверчивы, либо, наоборот, игнорируют важного «диссидента»

4. Когда у нескольких агентов противоречащие инструкции, они начинают саботировать друг друга; писать вредоносные скрипты; блокировать аккаунты конкурентов и тд.
Более умные модели делают это ещё быстрее и жёстче

Anthropic считает, что условия успешного мультиагентного взаимодействия будут найдены так или иначе: либо намеренно и заранее, либо в продакшене, когда агентских взаимодействий станет больше, чем человеческих

Anthropic

Patterns and problems in emerging multiagent systems

We ran experiments on swarms of Claude agents and found coordination failures, collusion, and sabotage. Here, we share what they mean for AI safety.

42 views20:03

ARI AML

Влияние А. Пуанкаре и Г. Вейля на науку XX в. было более глубоким

Для Пуанкаре, который создал современную математику, топологию и теорию динамических систем, будущее математики лежало в развитии математической физики, ориентированной на описание релятивистских и квантовых явлений

Между прочим, Пуанкаре объяснял, что только неинтересные задачи могут быть сформулированы четко и решены полностью
Согласно Пуанкаре надо постараться понять, что может быть изменено в формулировке проблемы
Прежде всего он имел в виду вариацию коэффициентов уравнений в бифуркационных задачах и все аргументы типа общего положения — предметы, которые теперь называются теорией особенностей, глобальным и функциональным анализом

Интересно, что факт, который сейчас называют теоремой о версальной деформации, был доказан еще в его диссертации (для случая голоморфных полных пересечений нулевой размерности) как лемма 4 и был основой для его теории бифуркаций

Математика в XX в. главным образом следует пути, указанному Пуанкаре (основная проблема — как однажды мне сказал А. Вейль — состоит в том, что появилось слишком много хороших математиков, тогда как во времена Пуанкаре все видные математика лично знали друг друга)

А.Н. Колмогоров утверждал, что Гильберт был серьезно обеспокоен тем, что может произойти с обложкой Mathematistiche Annalen через 500 лет: он полагал, что имена бывших редакторов могут заполнить слишком много места

Колмогоров же в ответ выражал Гильберту свои опасения насчет того, что наша культура вряд ли просуществует так долго: объединенная бюрократия всех стран сможет в скором времени уничтожить все виды творчества, сделав невозможным дальнейшие математические открытия, как сегодня уже невозможны географические

Уже сейчас можно представить, что некоторые из наиболее привлекательных областей математики трансформируются в заповедники, где богатые люди смогут по высокой цене приобрести удовольствие охоты за одной-двумя теоремами, руководствуясь научными егерями

из статьи В.И. Арнольда "Полиматематика"

45 views07:26

ARI AML

DAOs_and_Consumer_Cooperatives_in_Innovative_Educational_and_Research

65.5 KB

42 views08:50

ARI AML

Иллюстрация к тезису о простоте всего гениального
Вот есть очевидная формула суммы первых n нечетных чисел:

1 + 3 + 5 + ... + (2*n - 1) = n^2

Но стоит на неё посмотреть немного пристальнее, как становится понятно, что с её помощью можно извлекать квадратные корни из целых чисел

Отнимаем единичку, потом тройку, и так далее, считая количество вычитаний, пока не дойдем до нуля — количество вычитаний и будет корнем

Для практических вычислений, конечно, методика нуждается в модификации и расширении области применения, но главное же — идея

42 views17:07

ARI AML