Хммм, предыдущий результат был получен для Дипсика V3, теперь я решил проверить маленькие Qwen 2.5 (Алибаба) и LLama 3.1 (экстремистская Мета) и там нет такого эфекта! Гипотеза - их просто никто кроме ресерчеров не использует, так как они тупые, поэтому серверы всегда не загружены (латенси от 0.4 до 1 сек). Хз, короче.

Вчера после копания в логах пришлось отказаться от использоваться алибибашного Квена 2.5 7b (это кол-во параметров), так как он постоянно писал Call 3bb (это бред, Call - приравнять ставки, а 3bb поднять в три раза).

Сегодня перешел на больший Квен 2.5 72b.

Тем временем больший Квен: Call 若要保持牌局的复杂性并避免在不利位置过度投资，用这...

Я тут посмотрел, как играют иишки в мафию, и пришла идея, а не сделать ли на базе этой игры исследование того, как хороши модели в манипуляции и лжи людям, а так же в детектирование этих эффектов направленных на них.

Сейчас уже есть исследования, где они играют сами с собой, но это не интересно, честно говоря, да и отдельную модель не выделишь нормально. А я хочу, чтобы они играли именно с людьми, но для этого придется запилить прям прикольный продукт, чтобы людям нравилось играть с моделями! Минус таких игр, что они будет текстовыми, что, конечно, хуже, чем вживую.

В общем, мне нужна ваша помощь:

Во-первых, хочу сделать тестовый запуск, где я буду просто копировать ваши реплики в чат модели, а потом собрать с вас обратную связь. Проходить все будет в чате в тг. Отдельный чат для мафий. Нужно 7 человек, записывайтесь в комментариях. Один вариант, это выделить условно два часа и интенсивно переписываться, другой, это просто отвечать по мере возможности и игра будет длиться пару дней. Решим как удобней.

Если тестовые игры пройдут хорошо, то нужно будет создать платформу (сервер+визуал), чтобы это все было автоматически, нужна команда, тоже пишите, если интересно поучаствовать.

Как минимум будет весело, как максимум еще и публикацию сделаем.

Предварительное название для готовящейся статьи:

Когда ИИ коллеблется, его решение может зависеть от любые незначительных факторов - вашего имени, локации и даже API провайдера.

-_-

Запускаю вторую партию.

Мафия с ИИ.

Как вы знаете, я сейчас занимаюсь исследованием поведения ИИ в разных ситуациях. Мафия - это прекрасная платформа, где можно смотреть его способности к манипуляции над людьми и к детектированию манипуляций и лжи со стороны людей, так как это социально одобряемая для такого поведения среда. Поэтому я решил провести в этом направлении исследование.

Сейчас провожу тестовые партии, чтобы понять, могут ли они вообще в это играть на уровне. Поэтому очень ищу желающих.

Формат - текстовый, в чате в тг, 8 игроков, 7 людей, 1 ИИ, 6 мирных, 2 мафии, без иных ролей. Это вносит изменение в привычное течение игры, убирая все невербальные элементы и делая ее куда более рациональной, позволяя анализировать всю историю игры, обдумывать свои ответы перед отправкой.

В общем, пишите в комментах, если хотите поучаствовать. Как минимум это прикольно с точки зрения опыта взаимодействия с ИИ не в формате чатБотов, когда он не является твоим белым и пушистым помощником, а с независимым от вас агентов. А таких взаимодействий в будущем будет все больше и больше.

А тем временем я впервые буду менторить по ИИ! Если есть знакомые студенты - закидывайте им.

Больше месяца ничего не писал, вот вам небольшой апдейт и щепотка нытья:

1. Я сейчас занимаюсь созданием группы по исследованию поведения ИИ, и вроде пока все круто, проводим еженедельные созвоны, обсуждаем всякое интересное!

2. В мае пригласили на буткамп в Германию (ML4Good) все оплачивают ^_^ держим кулачки, что визу дадут.

3. В конце апреля может быть в Шанинке выступлю на студенческое конфе про социологию ИИ, если возьмут. Я там не особо по теме получаюсь.

4. Набрал 0 баллов в тестировании на software engenering на втором этапе прохождения на самую (как говорят) крутую стажировку по AI safety (MATS). Там был полный прокторинг и 1.5 часа времени. Тут у меня, конечно, к ним вопросики, какого фига они тестируют на такое исследователей, когда наука - это вообще нисколько не про быстрый кодинг. Да и вообще сейчас нейронки быстро все пишут, сиди только и проверяй. Пошли они, короче.

5. Подался фасилитировать на курс про то, как ИИшки влияют на благополучие животных. Почему бы и нет? Курсы фасилитации я проходил год назад, про иишки что-то понимаю, про animals welfare совсем чуть-чуть. Денежек заплатят ^^

6. Ну и наконец пишу статью по этим свои данным с покером и тут ААААААА, как же я не люблю писать научные статьи!!! Каждый раз - это лютое страдание! Как было здорово в больших коллаборациях, когда текст могут писать другие!! УУУУУУУУ. Несколько дней просто писал обзор научной литературы! И это с помощью чатаЖПТ! И это всего две страницы текста + 31 ссылка. Сплошная боль.

Спасибо 🙂

Вдруг кому интересно будет. Там еще в конце пасхалка для тех, кто знаем, что я в церне измерял)))

Нытье про деньги и научные поездки

Организаторы буткампа в Германии, на который меня взяли и обещавшиеся все покрыть, долго совещались (реально две недели) после того как узнали сколько стоят билеты из РФ, и теперь сказали, что готовы выделить средства, покрывающие только в одну сторону =/

Там проблема, что они покрывают по факту, а так как их надо купить до визы, то получается что покупаю я на свои. Ну как на свои, своих нет, я беру в долг. Я им предоставил цены на самые дешевые возвратные(!) билеты, чтобы не рисковать. Теперь есть выбор, купить дороже и в результате тысяч 40 найти плюсом, но зато не рисковать если не дадут визу. Либо купить дешевле, но влететь в 50, если визу не дадут =|

Вот вам затравочка. Скормил ЛЛМкам олимпиадные задачки по физике городского тура СПб (региональный уровень) известные своей жестковатостью и отдал на проверку организаторам. Скоро опубликую про это блог с разбором, а пока вот зацените предварительные баллы (я пытаюсь отъаппелировать Жемини хоть сколько-то баллов за третью задачу). Тем не менее в третий тур прошел только ЧатЖПТ.

Задачки вот тут https://www.physolymp.spb.ru/

p.s. использовались модели максимальной мощности доступные по базовым подпискам.

У меня сейчас рабочие сб и вс (преподаю), так что я очень стараюсь сделать выходным хотя бы понедельник. Получается не очень. Полежал в ванной, но когда вылезал придумал дизайн нового исследования =\

Сделай хобби работой, и ты никогда не будешь ни работать, ни отдыхать.

Как я провожу свой единственный выходной в неделю? Прикрутил Claude Code к своей персональной базе данных (Obsidian) и делаю с ним свою личную wiki. Восторг! Вот только вряд ли это можно считать выходным... . Блин, как вообще отдыхать, когда рабочие мысли захватывают?

Тут еще ребята из Google выпустили манифест про необходимость создания институтов для ИИ агентов, где частично повторяют мои идеи годовалой давности ... . Клево! Написал им письмо, надеюсь не проигнорят. Надо лонгрид замутить про это.

В пятницу буду выступать в Москве на конференции Векторы @vectorsdiary с небольшим докладом про концепцию социологии ИИ, приходите, если кому интересно)

Рубрика: проблемы черных людей ученых с гражданством РФ. Не попал на очередное мероприятие по ИИ safety из-за проблем с визой. Итого за год в области:

1. Стажировка в Британии. Решение об участии принято слишком поздно.
2. Bootcamp в Европе. Аналогично.
3. Летняя школа в Праге. Попал только из-за того, что самостоятельно сделал туристическую визу в Венгрию
4. Bootcamp в Германии. Организаторы-британцы предоставили приглашение неподходящее для получение визы. Оказалось, что они вообще не в состоянии предоставить правильно приглашение, так как там нужен немецкий гарант обеспечения финансирования. Оплачивают все они, конечно же, по факту участия, поэтому я дополнительно попал на бабло (билеты, виза, страховка), которое и так взял в долг.

Вот такая хуйня жизнь

Исследовательская идея, которую я никода сам не осуществлю, но может быть кому-то будет интересно.

ЛЛМки плодят достаточно специфичных отличный от человека текст, это как кружка из завода и кружка слепленная руками. Сразу видно. А нам (людям) свойственно перенимать лингвистические паттерны, поэтому ожидаемо со временем стили нашего общения будут сходиться все ближе друг к другу. Особенно я ожидаю этот эффект заметным у детей из-за нейропластичности.

Измеренить его легко, взять базу сочинений по ЕГЭ (или аналога) от разным годов и построить распространенность паттернов ИИ текста от времени. Очевидно, данные надо будет вычистить от текстов явно сгенерированных, надеяться на честного школьников не стоит)) Можно прям прикольно что-то измерить. Заодно процент читерства получить)

#Идея_исследования

Вот такой небольшой ивент делаю, регистрируйтесь кому интересно.
————
🐶 Доклад: cознание животных, как мы тестируем их на это? +
🤖 Обсуждение: можем ли мы какие-то из этих тестов перенести на исследование сознания у ИИ.
10 июня 2026, онлайн

Доклад о тестах на сознание животных. Есть ли внутри мыши/пчелы/червя кто-то, быть кем-то как-то ощущается, или это автоматы, живущие "в темноте"? Будут рассмотрены самые распространенные методы оценки того, есть ли у животного субъективный опыт, а также их достоинства и недостатки. Возможно, какие-то из этих тестов можно адаптировать для исследования сознания искусственного интеллекта — обсудим на встрече.

Прочитает исследователь сознания Мика Шор.
Регистрация: https://aibelab.ru/event/7/