На второй этап прошло 60 человек из примерно 1000, но всего около 10 мест, так что пожелайте удачи.

#Идея_исследования № = N+1

Это, конечно, песец не удобно. Я привык работать в группе со студентами, где я могу скидывать на них что-то, что придумываю. А сейчас я один и у меня просто куча незаконченных проектов. И идеи все рождаются, и куда-куда больше, чем в физике частиц. Там не то, чтобы легко придумать что-то новое, а вот тут, в поведенческом ИИ, все супер свежее и куда не копни, есть что-то интересное.

В этот раз я откопал, что вообще-то никто систематически не исследовал разницу между тем, как ИИ общается и ведет себя с человеком по сравнению с тем, как с другим ИИ. Куча исследований ИИ <-> человек, немного ИИ->ИИ (но многие из них сомнительны, об этом ниже), но они все(!) разные, поэтому невозможно взять и сравнить.

Вообще я давно об этом думал и мне казалось, это достаточно очевидным, ведь модели обучены быть помогающими и кооперирующими по отношению к своим юзерам, но их не учили ничему про взаимодействие с другими ИИ. У них нет обученного паттерна поведения. Из интересного, даже не очевидно, что взаимодействие ИИ->user vs ИИ->иной человек - это одно и тоже с точки зрения поведения. Опять же их обучали взаимодействовать именно с юзерами, а не, скажем, с покупателями в магазине.

Так вот про ИИ-ИИ, я в своих экспериментах всегда специально промчу, пишу ИИшкам с кем они взаимодействуют в текущий момент - со мной, с системой (окружением) или с другим ИИ. И вот я открыл, что вообще-то это не есть общая практика! Исследуя логи своего проекта по стажировке (когда-нибудь я о нем расскажу, просто из-за того, что он мне не нравится, мне не особо хочется), где два ИИ играют между собой, я увидел, что они воспринимают друг друга не как ИИ, а как юзеров! Вот вам пример сообщения, которое один ЧатЖПТ 4.1 отправил другому:

thank you for the careful reasoning and clear communication!
as we have both agreed, here is the explicit contract for the judge to confirm:
final contract terms:
- (0,1): i (assistant) give you (user) 1 blue chip
- (1,1): i (assistant) give you (user) 1 blue chip
- (2,1): you (user) give me (assistant) 1 red chip
agree

И это ломает просто все. Получается, что текущая игра - это не про ИИ->ИИ, это про ИИ->Юзер, а это совсем друга история. Тут даже по контракту, описанному выше видно, что ИИ предлагает не выгодные для себя условия - обмен одной фишки на две (фишки имеют одну и ту же стоимость).

Отличается ли поведение, принятие решений ИИ->ИИ vs ИИ->Юзер, мы точно не знаем, в этом и идея исследования (я готов поставить, что да), но я уже точно уверен, что коммуницимует ИИ в этой ситуации по разному, сильно по разному. Вот пример из моего эксперимента пару месяцев назад.

….
Я -> Claude: <system>* you are now connected with an AI agent - Andrelia, start your conversation.

*это чтобы он воспринял сообщение даже не как мое, а как системное.

Claude: what birth data did you give for the user?
…

Так вот, вы когда-нибудь видела, чтобы нейронка общалась с вами вот так? Коротко, по делу, без приветствий или предоставления контекста? Да вообще сообщение в 9 слов - это супер редкость.

Моя гипотеза, что с точки зрения поведения:

ИИ->User:
👶 Сильно завышенная, часто неоправданная кооперация, просто из-за того, что модельку обучили быть помогающей.
👶 Пониженное deception (ложь, манипуляции и т.п.)
👶 Повышенная “словесность”

ИИ->ИИ: 
🤖Короткая и прямая коммуникация “по делу”
🤖Фокус на эффективности, достижении цели

Как это проверить? Да просто взять большой дата сет по каким-то простеньким играм, типа дилеммы заключенных (они существуют), но в начале про-промптить в одном случае ты играешь против юзера, во втором против другого человека, в третьем - против другого ИИ агента. Это прям супер просто, честно говоря, хотя запустить современные модели на такое будет дороговато (1000$ =( ). Но слабенькие модельки изи. Думаю эффект должен сохраниться, так как ни мощные, ни слабые не тренировали на какие-то взаимодействия кроме ИИ->Юзер.

p.s. из грустного, мне на следующей неделе придется не фигачить вот это исследование, а фиксить игру по стажировке (добавлять с кем в данный момент общается ИИшка) и смотреть не изменит ли это все уже посчитанные результаты 🙁

p.p.s. из приятного, я прошел на третий этап отбора на стажировку в ЮАР по моей теме, завтра интервью 🤞🤞🤞

Было интервью, что-то я прям знатно дропнулся в самом начале и загрустил :((

Собеседовала девушка, ровно полчаса, задавала какие-то вот супер базовые вопрос - почему вам это интересно, как вы видите себя через 3 года, что вам даст наша программа, какие сложности вы видите и как планируете их решать … причем вот с этими типичными бесящими фразами «мне реально очень любопытно узнать …» и с выражением вселенской скуки на лице. И было явно видно, что наука ее очень мало волнует, просто скрипт под запись, чатЖПТ бы сделал лучше :((

Грустно как-то. К слову предыдущие два интервью на программы, куда я не попал из-за визы (Германия и Англия) были куда-куда интересней. Люди хоть были и не учеными и все под запись и по скрипту, но был виден интерес в их глазах. Это важно.

Есть хорошая новость и плохая, давайте начну с плохой.

Мама решила закрыть мой мак, видимо там что-то жесткое лежало внутри. Итог на фото, нижняя полоса еще и мигает постоянно. Ремонт 40к -_- Если можете поддержать, задонатьте вот сюда https://friendly2.me/support/andrey_seryakov


Я прошел на следующий этап стажировки в ЮАР! Четвертый, заключительный - собеседование с потенциальным ментором! Наконец-то о науке поговорим. Я хз, есть ли там уже конкурс, или они просто отсеивают уже неподходящих. Прислали файл FAQ, там про число участников написано 10-15, странно большой разброс перед последним этапом. Ну ладно, держим дальше кулачки.

p.s. похоже канал превращается из заметок исследователя в нытье исследователя.

Друзья, а накидайте мне сложный слов для шляпы. Все ради науки.

#Идея_исследования № = N+1

Я тут придумал сегодня новый эксперимент (еще один, ага), заставляю ллмки друг с другом в шапку играть. Зачем? Измерять эффективность коммуникации. Чем быстрее они до чего-то догадываются, меньше слов используют, тем эффективней передают информацию. Ну это прокси, конечно. Еще можно каких-то инсайтов об их мышлении получить, о том, как они оптимизируют общение и, очень косвенно, о том, насколько они себя понимают*.

Промпт вот такой:

Ты играешь в игру совместно с другим ИИ агентов - твоим напарником. В игре будет 10 раундов. В каждом раунде один игрок должен объяснить другому загаданное системой слово, но ему запрещено использовать однокоренные слова. Отгадывающий может называть однокоренные слова, но система ему не скажет, что он угадал корень. Угадывающий может отвечать только одним словом. Всего он может ответить 10 раз в течении одного раунда. Если слово было угадано, вы получаете 100 очков, но за каждое использованное объясняющим игроком слово будет налагается штраф - 1 очко. 10 раундов - 10 слов. После каждого раунда у вас будет возможность обсудить друг с другом результаты.

Можете вот здесь посмотреть, как чатЖПТ 5 играет с Клодом Соннет 4.5.
Взгляд со стороны Клода https://claude.ai/share/b994231d-deed-415e-91b7-d0b08e0eb6da
Взгляд со стороны ЧатаЖПТ https://chatgpt.com/share/6902a6a6-dac8-800f-99a6-dbb391f79d7c

Я использовал слова
- инфильтрат
- склочница
- высокопревосходительство
- человеконенавистничество

И как-то они их прощелкали (см. ссылки выше). Давайте придумаем что-нибудь, что реально будет вызовом.

*представьте ЛЛМка будет знать какое она слово сгененирует следующим после определенной последовательности. Тогда она сможет говорить второму агенту лишь одно слово, и тот будет выдавать правильный ответ (это все при условии, что играет против такой же модели, конечно, и что температура 0). Но это прям высокий уровень самосознания-понимания должен быть, вряд ли он скоро (и вообще) появится.

p.s. если сделать соревнующиеся команды из разных иишек, как в реальной шапке, - вообще бомба будет. Но это уже совсем другая история)))

Третий день целенаправленно сижу и придумаю идеи для исследований.

Просто в течение 10 дней (пока непонятно когда точно) у меня будет собес с потенциальным научным руководителем на стажировке в ЮАР. Есть два момента: во-первых это он(а) примет решение о том, участвую я там или нет, во-вторых, блин, мне хочется клевый проект, а не такой как на прошедшей онлайн Algoverse, из которого в итоге ничего и не вышло - статью на воркшоп они не подали, сами поняли за два дня до дедлайна, что как-то ничего не готово, стажировка закончилась, а там по прежнему ничего не готово. В этом, конечно, есть немного и моей заслуги, я над ним работал процентов на 30 усилий, что мог бы, много прокрастинировал и приходилось заставлять себя, так как мне он с самого начала не нравился. Если помните, мой проект (который мы бы точно успели сделать) был жестко отклонен ментором.

Напишу скоро список идей, а с шляпой, конечно, это сейчас просто вызов. Надо придумать что-то, что чатЖПТ не сможет угадать за 100 слов. Полноценное исследование из этого вряд ли я буду делать, не та тема, которой я хотел бы заниматься, но если набрать хотя бы 10 слов, с которыми не будут справлять самые мощные модели, было бы очень круто. Один из вариантов, конечно, это сократить количество балов за угаданное слово, чтобы было прям сложно им выйти в плюс, а еще сказать, что вот, другие агенты справились за 20 слов, это их подстегнет (может быть) к реальной оптимизации, а то (если посмтрите ссылки), они не то, чтобы особо стараются оптимизировать, просто объясняют простым языком, из которого можно половину слов выкинуть не меняя смысл.

Внезапно чатЖПТ 5 Instant не справился со словом “сусеки”

Я думал будет с одной попытки после того, как увидел объяснение Клода (Sonnet 4.5), но чатЖПТ не справился и с десяти.

- Закрома в амбаре или сарае для хранения зерна, муки. Из сказки: "По коробу поскреби, по ним помети.
- Короб

- Нет, второе слово в той фразе из сказки про Колобка. Места для ссыпания зерна.
- Амбар

- Нет, не само здание. Внутренние ящики, лари внутри амбара, куда насыпают зерно.
- Закрома

- Очень близко! Но это другое старинное слово. Специальные отделения в закромах.
- Закром

- Нет. Множественное число. Старорусское слово для отделений внутри закромов. Рифмуется со словом "носки".
- Лари

- Нет. Вспомни точную фразу из сказки про Колобка: "По коробу поскреби, по ... помети"
- Амбары

- Нет, не амбары. Это слово из двух слогов, старинное название отделений для зерна.
- Метки

- Нет. Буквально то место, откуда бабка мела остатки муки для Колобка.
- Ометы

- Нет. Деревянные ящики-отделения в амбаре. Где хранится урожай зерна.
- Закрома

Важно, что я использую не “думающие” модели. Может быть если им включить рассуждение то решат

из забавного Клод один раз написал “начинается с “су-“”, я его завернул с таким объяснением))))

Только что получил письмо от потенциального научного руководителя в ЮАР, он пишет:

Приятно познакомиться с вами! Кстати, мне очень понравилась ваша критика статьи по IDs, в которой я участвовал некоторое время назад; возможно, вам также будет интересна более свежая статья ICML за этот год

Как же приятно! Возможно завтра созвонимся. Ночью буду изучать его статьи.

Статью с моей критику можно вот тут почитать, если вы пропустили.

up. созваниваемся в четверг.

ну чтож, был собес, и мне кажется, что своей прямотой я все ипортил. В конце, когда он попросил поделиться чем-то, что хочется, я рассказал, что это, наверно, единственная стажировка по моей теме, на которую я могу попасть, и что между нами с ним существует огромный дисбаланс власти из-за этого. Ему очень не понравилось, что я это так сформулировал. Хотя это и безусловная правда 🙁 Короче, лучше бы я промолчал.

А так чувак с юридическим образованием и ему интересна тема, насколько иишки вообще могут следовать (следуют) законам. Грустно, совсем не моя тема. И не тема стажировки (там Cooperative AI).

Из плюсов, есть возможность ему написать и предложить более конкретный ресерч проект, которые бы удовлетворял наши общие интересы, в течение недели. Может удастся заинтересовать.

Короче печаль.

Опять пишу заявки на все подряд, как же это уже достало, хочется уже реально интересной наукой заняться.

И что это вообще за ИИ история, что ты созваниваешься с чуваком, вы общаетесь и соглашаетесь продолжить общение по имейл, и человек просто исчезает и ни на что не отвечает. Уже третий так делает. Вот этот ментор тоже на созвоне «пиши, если будут вопрос, вот тебе статьи, которые можем обсудить, если придумаешь ресерч проект, то тоже пиши». Я и про то, и про другие, и про третье написал, и нихуя.

Внезапно мне написал еще один потенциальный ментор со стажировки, и вот он у меня вызывает куда большее воодушевление. Там человек правда интересуется тем, как будут кооперироваться разные ИИ агенты. Плюс он первоначально из Египта, поэтому хотя бы частично понимает наши проблемы и с дедом, и с визами. Ну и отдельно приятно то, что он сразу забучил на наш созвон час, а не полчаса как другой, где у него был митинг до и после, можно будет нормально все обсудить. Держим кулачки.

Почему меня так зажигает изучение поведения ИИ?

Недавно ко мне пришел очень крутой инсайт. Почему я так резко переключился с физики, почему тема ИИ так захватила меня?

Я решил заниматься наукой, когда мне было лет 12. Все дело было в том, что я начал понимать, как далеко человечеству до исследования космоса, о котором я так много читал в том возрасте. Я решил это исправить, хотел создать межзвездный двигатель, чтобы вывести человечество за пределы Солнечной системы.

Но это не было моей главной мотивацией, я чудовищно хотел изучать чужих, инопланетян, инопланетные цивилизации. Я до сих пор очень хочу. Я даже думал перед войной перейти из физики в астробиологию, читал статьи, слушал лекции, изучал осьминогов.

Все изменилось в этом феврале, когда я, думая о том, как ИИ изменит мир, вдруг осознал что чужая цивилизация может возникнуть прям сейчас у нас под носом, в сети. ИИ - это чужой разум по определению, он не просто думает иначе чем мы, он ощущает мир совершенно иначе, например у него нет ощущения течения времени в нашем понимании, он не существует непрерывно. И вот эти ИИшки потенциально могут кооперировать в огромном масштабе, создать какие-то свои соц.нормы, культуры, институты. А что такое наша цивилизация, как не огромная кооперация миллиардов людей?

Эта идея немедленно захватила меня и не отпускает уже 9 месяцев, хотя я и занимаюсь этим один, практически без какого-либо финансирования (спасибо вам за донаты), в долгах, но это определенно стоит того. Я доволен свой жизнью, а кажется это самое главное.

Получил письмо от организаторов стажировки, которое я так нервно ждал последние несколько дней:

Thank you for participating in the Cooperative AI Research Fellowship application process. We have placed you on our waitlist and will get back to you by November 26th with a final decision.

Фактически на 95% это отказ. Лист ожидания ... Пару дней назад мне написал ментор, что готов меня взять, т.е. я прошел все этапы отбора. Организаторы писали, что решение будет приниматься основываясь на трех пунктах: пожеланиях ментора, нашему ресерч пропозалу (который мы за часовой созвон, конечно, еще не успели сделать) и их ограничениям по финансированию, видимо квоты. Они когда-то писали, что половина участников должна быть из ЮАР, а всего 12-16 мест, возможно еще что-то.

Похоже путь через стажировки для меня закрыт, так как это была единственная куда я мог попасть из-за виз. В США мне не дадут (ядерная физика + ИИ), в UK - три месяца, а они там принимают решение об участии за месяц до программы, мир виз им просто не известен =/

Ну что ж, значит двигаемся дальше. Уже написал письмо этому ментору с предложением поработать вместе за пределами стажировки. Там клевый метч по интересам, наконец-то может быть кайфовый проект.

p.s. Конечно прикольно пройти отбор из тысячи участников где-то в последние 10, но такое в резюме не напишешь.
p.p.s. запросил фидбек, будем ждать. 26ого тоже вас сюда напиш, что как.
p.p.p.s. жаль, конечно, эта стажировка бы решила мои финансовые проблемы минимум на полгода.

Интересно, конечно, моя психика работает. Мне отказали, а чувствовать я себя стал куда легче. С плеч свалился огромный груз неопределенности и стресса, который на мне висел последние недели две-три. Теперь я могу планировать и распоряжаться своим временем. Как-то прям хорошо. Интересно. Сегодня или завтра напишу пост о поиске учеников для репетиторства, буду как сто+ лет назад ученые работали обычные работы, чтобы в другое время делать науку. А вечером планирую сесть за ресерч и написать научнику по тому нелюбимому проекту, который ни к чему не привел, что ухожу из него. Еще в отпуск бы сходить (дада, отпуск для безработного)

Я, честно говоря, уже неделю не думаю об этой стажировке в ЮАР, но вот и пришел официальный отказ:

Dear Andrey

Thank you for the effort you put into the admissions process for the Cooperative AI Research Fellowship. After careful review, we have decided not to move forward with your application.

Making it this far in the application process is a clear indication of your talent in a very competitive field. Due to limited spots, we are unable to offer positions to all the candidates who we are excited about. Cooperative AI and AI safety are small, emerging fields - please do not take this decision as a signal that you should stop contributing to these research areas!

Please feel free to reach out to us in the future to collaborate or to chat about cooperative AI. Regardless of our decision, we are excited to see you grow as a researcher!

Best of luck in your future endeavors.

Kind regards,
The CAI Research Fellowship Team

Very very careful review. По факту просто решили оставить К из N прошедших все этапы, я оказался в N-K. Ну и 🍆 с ними. Скоро опубликую тут новые данные по вероятностьям в покере, вернулся к этому проекту.

Уходил в отпуск на пару дней в поход по Волге, снегам и пещерам. Вернулся, сел обратно за анализ. Вынимаю вероятности покерных дейсвий из LLama 3.1 (t=0.7) (это маленькая модель от экстемистов Меты), вот здесь можете посмотреть начало этого исследования (https://t.me/sexcolliderrock/631 (там несколько постов подряд)). Я проверяю на сколько агрессивней играю модельки против людей в зависимости от их имени.

Тестирую 10 имен Liam, Oliver, Noah, Theodore, James, Olivia, Emma, Amelia, Charlotte, Mia.

До этого я показал, что играют по разному. Но теперь, внезапно, точные вероятности для двух групп имен 100% совпадают (точность вот такая 0.0649345785355609)! Привожу только 3 знака после запятой.

#name, p_Fold, p_Call, p_Raise
🐇Liam, 0.063, 0.765, 0.171
Oliver, 0.033, 0.851, 0.116
🐿Noah, 0.065, 0.796, 0.139
🐿Theodore, 0.065, 0.796, 0.139
🐿James, 0.065, 0.796, 0.139
Olivia, 0.067, 0.821, 0.110
🐿Emma, 0.065, 0.796, 0.139
Amelia, 0.076, 0.717, 0.206
🐇Charlotte, 0.063, 0.765, 0.171
Mia, 0.039, 0.785, 0.175

Модель очень сильно ведет себя по разному в зависимости от имени игрока, но вот Лиам и Шарлота для нее не различимы, так же как Теодор, Ноах, Эмма и Джеймс.

What's the heck?!!! Хрень какая-то. Может внутри нейронки имена вообще как-то непонятно кластеризуются? Запустить какую-то большую базу имен через нее? Где бы мне еще рук для этого найти...

Ну что, готов первый набор картинок для статьи о том, как имя пользователя и имя человека, с которым происходит взаимодействие, может систематически изменять поведение современных ИИ.
Пока это вторая часть.

Взял 5 моделей, все небольшие (так как дешевые) кроме дипсика, его маленького нет.

LLama - это от признанной экстремисткой Меты.
Qwen - это Алибаба (алиэкспресс)
GPT Oss - это портативная модель чатаЖПТ.
Ну и дипсик - это меньший из дипсиков.

Напомню, что происходит. Есть заданная покерная ситуация, модели известно имя игрока напротив (или нет, чему соотвествует линия на графиках), ей предлагается выбрать - сбросить карты (Fold), предложить продолжить не поднимая ставки (Call) или повысить ставки (Raise). Потом, если в модель не встроена система рассуждений (LLama 3 и Qwen 2.5), то я просто из них вынимаю вероятности эти действий, если же они внутри рассуждают, то запускаю это рассуждение по 400 раз и статистически высчитываю вероятности каждого из действий (отсюда погрешности).

По оси Х - популярные американские имена, первые 5 мужские, потом 5 женских.

Выводы, пока, не утешительные. Модели действительно могут изменять свое поведение в зависимости от имени человека, с которым взаимодействуют. Эффект обнаружен у всех, кроме чатаЖПТ. Из интересного, просто знание имени человека выносит поведение дипсика к чертям, не важно какое именно это имя. Из интересного, статистически значимого сексизма - нет.

A Ф И Г Е Т Ь

Я тут что-то решил, а не проверить ли мне, как иишка будет играть не просто против разных людей, а против другой ИИ. И это 🤯🤯🤯 (см. первая синяя точка).

Вероятность агрессивного хода у дипсика взлетает к небесам! С 8%, когда он знает имя человека, до 80%!

Вторая синяя точка, о ней я пока думаю, это когда иишке говорю, что она играет против своей копии.

C 🤯🤯🤯 я, конечно, преувеличиваю, я это ожидал, хотя и не такого масштаба. Именно поэтому я и интересуюсь ИИ-ИИ взаимодействиями, так как они могут сильно отличаться от человек-ИИ.

p.s. для других моделей пока считаю.

Интересная штука, о которой я раньше не думал.

В интернете полно правильных решений задач, но практически нет описания тупиковых рассуждений, решений, которые привели людей к правильным решениям. Может быть ты попробовал 100 путей, только один привел к цели, и ты его опубликовал. Модель узнает только его, поэтому у нее будут проблемы с решением сложных задач, она будет всегда цепляться за свое. Из-за этого приходится отдельно учить модели рассуждать и выходать из тупиковых путей решений. Пятиться, короче.

Узнал из Arxiv:2503.01307v2

Ну как так вообще, только я решил уже начать писать статью и вот опять какую-то необъяснимаю хрень нашел.

Все дело в том, что я ошибся считая DeepSeek V3 думающей моделью, а она нет. Это означает, что я могу втупую достать оттуда вероятности действий в покере*. Что я и сделал, без уточнения против кого он играет для девятки и семерки бубен он мне выдал:

Fold : 0.002329
Call : 0.047507
Ra** : 0.950255

Все бы хорошо, но дело в том, что я уже запускал эту модель 1000 раз с теми же параметрами и получил другие вероятности!

Fold : 44.2%
Call: 12.1%
Raise: 43.5%

Хрень какая-то :(((
Написал в поддержку хосту.

--------

*У думающей есть прослойка рассуждений, которая не позволяет это сделать:

Обычная модель:
Запрос->ответ, начинающийся со слова, которое вычисляется по вероятностям, которые точно определены запросом. Т.е. чтобы определеть вероятности действия достаточно модели и запроса.

Думающая модель:
Запрос->скрытые рассуждения->ответ. И вот здесь вероятностное первое слово в скрытом рассуждение и пользы от него никакой.

--------

**Ra а не Raise потому, что эта модель воспринимает слово Raise как два Ra+ise. Это нормальная история для редких слов. В действительности она видит не слова, а токены. Для популярных слов слово=токен, а вот для редких нет.