Учёные сломали ИИ с помощью настольной игры "Подземелье и драконы". Claude 3.5 Haiku, GPT-4o и DeepSeek-V3 буквально запутались и не смогли решить поставленные задачи.

Провёл эксперимент профессор Зии Цзэн из Калифорнийского университета в Сан-Диего. Цель — изучить слабые места моделей ИИ и понять, как улучшить нейронки. Для этого использовали настольную ролевуху Dungeons & Dragons, созданную в 1974 году.

Для работы Цзэн и его команда сделали платформу D&D Agents. Система функционирует как симулятор, где модели взаимодействуют друг с другом или с людьми через цифровые инструменты, ограничивая свободное общение.

Команда протестировала Claude 3.5 Haiku, GPT-4o и DeepSeek-V3 в 27 боевых сценариях, оценивая их по эффективности и планированию. Claude 3.5 Haiku показал на первых этапах лучшую надёжность и использование инструментов, GPT-4o — высокую производительность, но меньшую последовательность. А DeepSeek-V3 буквально показал ни бе ни ме.

Под конец все начали бажить. Цзэн заявил: "Это говорит о том, что современные технологии всё ещё с трудом справляются с поддержанием точной ментальной карты ситуации при длительном взаимодействии". И добавил: "Человек пока что круче, чем бездушные машины, — он может фантазировать, запоминать и действовать нестандартно".

всё потому что у них нет костей

❗ Подписывайся на Mash

🍿 «Скуф» скоро выйдет — показали первый официальный трейлер

Картина «Скуф» с Александром Зубаревым и Валей Карнавал стартует 16 апреля.

❤️‍🔥 – ждем премьеру
😁 – посмотрим, что за скуф получился

❌ НМШ

✍️Сценарный Агент StarDust Алина Коробкова написала новую страницу Дневника Агента. Мы, если честно, уже мечтаем об экранизации этой рубрики. Сами почитайте, какие страсти разворачиваются:

«Всем привет!

Для меня эта пост-отпускная неделя была короткой, тем не менее, тему для очередного выпуска я нашла 😁
Нашла благодаря реальной истории, произошедшей с моим автором, и спешу ею поделиться, так как эта тема важна абсолютно для любого сценариста.

Итак, однажды к сценаристу нашего агентства обратился продюсер с предложением написать сериал для федерального канала. Началось всё, как это часто бывает, за здравие: концепция, предложенная сценаристом, очень понравилась продюсеру, мы заключили договор на заявку и стали ждать новостей о дальнейшей судьбе проекта.

Через некоторое время мы получили «зеленый свет» и начали готовить договор на написание сезона, который превратился из 4-серийки в полноценные 8. Согласование условий и самого договора заняло какое-то время (я уже неоднократно писала о том, что это не процесс одного дня и что нельзя соглашаться на что угодно), но в итоге мы всё согласовали и радостно подписали договор. В течение этого периода сценарист неоднократно ездил на встречи с продюсерами, режиссером и консультантом, в общем, всё шло своим чередом.

Первый тревожный звонок прозвенел перед новым годом, когда мы не получили аванс. Это было странно хотя бы потому, что дату первого платежа обозначил сам продюсер. И сам же ее нарушил ☹️

Второй звонок, уже более тревожный, раздался после новогодних праздников. Вернее, это был не звонок, а, наоборот, оглушительная тишина – письма без ответов, сброшенные телефонные звонки, полное игнорирование всех вопросов, в общем, весь набор сигналов, превращающих нормального человека в параноика.

И всё же развязка наступила. Как выяснилось, заказчику (каналу) не понравились материалы. Какие именно? Ведь к тому моменту у автора, вроде как, была только заявка, причем уже оплаченная!

Именно в ответе на этот вопрос лежит корень зла: как оказалось, сразу после одобрения заявки и задолго до того, как мы согласовали условия договора, автор начал писать дальше и создал посерийник на 8 серий, причем первые 4 серии расписаны так подробно, что могут считаться поэпизодными планами.

Соответственно, на тот момент, когда продюсер сообщил о намерении расстаться с автором, у нас были: подписанный договор – 1 штука, выплаченных денег – 0 рублей, подписанных актов о приемке материала – 0, самого написанного материала – фактически половина проекта.

Судьба написанного материала неизвестна – то ли приняты, то ли не приняты. Автор считает, что приняты, потому что продюсер писал комментарии из серии «хорошая работа». И так как сценарист долгое время жил в парадигме того, что он молодец, то, конечно же, он хочет, чтобы сданные материалы были оплачены в размере 100%. По законам жанра, тут следует написать, что считает продюсер, но, честно говоря, ответа на этот вопрос у меня пока нет.

Я озвучила все пожелания автора и все доводы, почему мы просим именно такую сумму, и теперь жду реакции ☺
У нас формально нет никаких доказательств, что материал принят. Ни одного подписанного акта. Поэтому на данном этапе всё, что я могу сделать, это договориться на словах, но не сослаться на условия договора.
Вывод из этой истории очевиден и мне бы очень хотелось, чтобы его прочитало как можно большее число авторов. А звучит он так: не нужно прыгать выше головы и писать материалы без договора.

Да, можно начинать работать до получения аванса (и большинство авторов так и поступает), но все условия к моменту начала работы должны быть согласованы и зафиксированы в договоре. Энтузиазм необходим в любом деле, но всё же написание сценариев – это работа, а не хобби. А любой труд должен быть оплачен.»

#stardust_дневникагента
#дневникагента