Я вот не поверю, что ИИ дошёл до человеческого уровня, пока не увижу, как он вместо работы залипает на смешные видео с котиками. Или просто ничего не делает, потому что ноябрь, темно, уныло, авитаминоз.

Картинка заимствована из телеграм-канала «Страдающее Средневековье»

Но про такое я пока не слышала, хотя Gemini периодически впадает в депрессию, а Claude был пойман на прокрастинации. Зато авторы статьи «Mastering diverse control tasks through world models» научили свой алгоритм Dreamer играть в Майнкрафт (Minecraft).

И как бы оно ни было весело само по себе, дело здесь не в Майнкрафте, а в восприятии окружающего мира и умении к нему адаптироваться. Модели, которые такое умеют, называются world models – модели мира (или, скорее, модели с восприятием мира, но это слишком длинно). Их особенность в том, что они умеют получать данные из окружающего пространства, которое меняется с течением времени, и пользоваться этими данными для совершения действий.
Если вдруг это прозвучало сложно, мы таким каждый день с утра до вечера занимаемся, а потом ещё во сне: мы воспринимаем визуальную информацию о трёхмерном пространстве, в котором находимся, ощущаем текстуру, давление, влажность, температуру, слышим звуки и так далее, – и действуем соответствующе. Для нас это естественный процесс, который происходит помимо нашего сознания.
А для ИИ – нет. Если говорить о языковых моделях, например, то их мы обучаем на больших массивах текстов, которые мало дают понимания физики реального мира. Мы просто обычно не пишем чего-то вроде: «Я опрокинула чашку, и кофе вылился сверху вниз на пол.» Нам и так понятно, что кофе не вылился снизу вверх или не улетел в стену, если только я не живу на Международной космической станции – а я не живу на Международной космической станции.
Так что нужны дополнительные ухищрения, чтобы ИИ усвоил физику реального мира, и тот ИИ, который её усвоил, называется моделью мира. Ещё моделью мира называется собственно математическое представление фрагмента пространства, в котором ИИ обучается, так что может возникнуть путаница с терминами.
Понимание того, как работает реальный мир, очень актуально в робототехнике.

Итак, Dreamer – это система из трёх нейросетей:
• Модель [с восприятием] мира предсказывает результаты действий;
• ИИ-критик оценивает ценность каждого результата;
• ИИ-актор выбирает следующее действие так, чтобы получить наилучший результат.

Модель мира получает на вход сенсорные данные и использует их для предсказания изменений, которые произойдут после совершения дей ствия. Если речь про Майнкрафт, модель получает на вход изображение и предсказывает, как оно изменится, например, при смене угла обзора.
Критик и актор используют уже абстрактные представления, которые сформировала модель мира, например, набор координат объектов. Помните, мы говорили про охоту на информацию? Субъект: человек, животное или модель ИИ – в каждый момент времени принимает решение, продолжать ли изучать найденное или искать новое. «Найденное» и «новое» – это куст с ягодами, стопка бумаг, книга, полка в библиотеке, сайт и так далее. Авторы статьи построили обучение актора так, чтобы он как раз искал баланс между разведкой и исследованием, максимизируя вознаграждение.

В Майнкрафте надо копать землю и искать алмазы. ИИ-актор обучался продолжать копать в том же месте, если алмазы попадаются часто, и искать другую жилу, если алмазы попадаются редко.
Сложность была ещё и в том, что сначала надо найти другие ресурсы, такие как дерево и железо, и собрать из них инструмент, чтобы разбивать блоки земли. Разные блоки требуют использования разных инструментов, и у инструментов есть износ, то есть, их надо заменять время от времени. Так что достижение вполне заслуживает уважения

Напоследок вот вам паучок, которого я сгенерировала с использованием Dreamer. Майнкрафт Майнкрафтом, а паучок всё ещё развёрнут спиной к монитору. И с анатомией тоже беда, но есть с чем работать