Пришел инвайт на закрытую бету Юнитевского Sentis.
Это кросс-платформенная библиотека, которая позволяет запускать нейросети прямо из Юнити, в том числе рантайм, в том числе на мобильных устройствах. Проще говоря, теперь инференс можно делать в игре (или приложениях), в процессе геймплея.

Несколько первых впечатлений:
1. Sentis устанавливается как обычный пакет через менеджер. В целом начать работу можно очень быстро.
2. Можно использовать и в рантайм, и в редакторе (например заранее генерировать ассеты для игры).
3. Работает с моделями в формате ONNX, скорость хорошая, но без волшебных сюрпризов.
4. Приятно видеть код на лучшем языке программирования вместо опостылевшего Питона. На первый взгляд библиотека устроена логично и просто, хотя ей еще и далеко до Torch в плане функционала.
5. В демке реализован простой пост-процессинговый эффект Find edges, который обрабатывает нейросетью картинку в реальном времени через C#-код в рендер-фиче. Конечно, просадка фпс по сравнению с аналогичным шейдером присутствует, но это любопытное применение и, самое главное, оно уже работает!

В общем, буду тестировать. Обучить нейросеть для принятия решений ботами в сложной игровой ситуации звучит как план. Осталось понять, насколько быстро это работает.

Правила закрытой беты достаточно строгие в плане того, что можно показывать. Так что вот вам пока официальный анонс месячной давности:
https://www.youtube.com/watch?v=Slw9hnILnes

Что думаете? Взлетит или нет?

#unity #sentis #gamedev

И вдогонку про Unity. Мне также пришел инвайт на тестирование Unity Muse, это такой ChatGPT, заточенный под разработку игр. Я погонял его немного и вот впечатления:

1. ChatGPT 4 лучше.
2. Пока что код отображается с ошибками, знаки сравнения заменяются на lt& и rt&. Это критично, но должны пофиксить.
3. Истории чатов, как в ChatGPT пока нет, зато есть выбор версии Юнити, про которую вы спрашиваете. А еще можно сразу скачать код с расширением .cs
4. Шейдеры кодом пишет из рук вон плохо. Зато по шагам подсказывает, какие ноды поставить в ShaderGraph. Это забавно, хотя и практически неюзабельно.
5. В коде допускает элементарные ошибки, например один раз не добавил указание типа в вызове дженерика GetComponent.
6. ChatGPT 4 лучше.

В целом интересно, как OpenAI смогли создать универсальный ИИ, который уделывает другие ИИ, обученные на специфические задачи. Код для Юнити от GPT4 работает сразу, нужно только достаточно подробно описать, что тебе нужно.

Но Muse это тоже шаг в правильном направлении.
Как игровые движки в своё время демократизировали создание игр, и мы получили тонну крутых инди-проектов, так сегодня ИИ демократизирует программирование. И чтобы создать первый прототип игры достаточно поверхностно понимать структуру игры в Юнити (компоненты, префабы и т.п.).

У меня даже родилась гениальная идея геймджема, в котором можно использовать любые ассеты, но весь код нужно писать через ИИ. Такой мета-уровень программирования, где главное правильно сформулировать задачу.

https://www.youtube.com/watch?v=dR4IuN2tF78

#unity #muse #gamedev

А теперь нечто совершенно иное.

Несколько постов назад я рассказывал про новые ИИ-инструменты от Юнити. Если вы не знали, то Юнити - это самый популярный (согласно статистике) и самый удобный (согласно мне) игровой движок в мире.

Так вот, полторы недели назад Unity огорошили разработчиков новым уникальным бизнес-планом. Они решили, что будет круто брать с разработчиков 20 центов за каждую установку их игры. Это показывает, скажем так, неординарное понимание рынка советом директоров Юнити. Более того, было объявлено, что уже вышедшие игры также подпадают под этот новый "налог". То есть, если ты уже выпустил игру и что-то на ней заработал, то теперь ты будешь должен деньги большой корпорации.

Это нововведение было принято слегка прохладно. 15 тысяч негативных ответов на официальном форуме Юнити не дадут соврать. Внутри самой компании начались волнения, сотрудники начали увольняться, появились петиции с требованием отставки CEO, соцсети были завалены опросами "Unreal или Godot?".

Я лично воспринял эту ситуацию очень эмоционально. Неделя выдалась крайне депрессивной. Я даже установил Unreal, что бы вы понимали всю глубину моего падения.

Ты инвестируешь годы жизни в изучение инструмента, а решение некомпетентных начальственных мудаков разрушает все твои планы. Насыпьте сюда параллелей и аллюзий по вкусу.

Так вот, после шквала критики официальные представители Юнити удалились на "подумать" и молчали больше недели, пока разработчики изучали другие движки и срались на форуме. Дошло до того, что отдельные сотрудники компании стали спойлерить решение руководства в Твиттере в виде зашифрованных сообщений.

И вот сегодня Юнити выдали официальное письмо. Весь этот булшит отменяется. Более того, теперь не нужно покупать отдельную лицензию, чтобы убрать плашку "Made with Unity" в начале игры. Подняли максимальный порог дохода для бесплатной версии. Ввели адекватный revenue share, то есть теперь после заработанного миллиона долларов нужно будет отчислять всего 2.5 процента от дохода игры, что в два раза меньше, чем у того же Unreal.

https://blog.unity.com/news/open-letter-on-runtime-fee

Я воспринимаю это как победу. Победу простых людей над корпорацией. По крайней мере в данный момент ситуация с Юнити разрешилась хэппи эндом. А в наше время хэппи эндов не хватает.

#unity #gamedev

У Unity, пожалуй самая крутая команда производства синематиков среди всех игровых движков. Они регулярно делают супер-качественные демки для новых технологий.

В этом году они выпустили очередную короткометражку под названием Time Ghost.

https://www.youtube.com/watch?v=o1JIK5W3DRU

Это видео полностью отрендерено в реальном времени и дает представление о новых графических фишках из Unity 6.

Для нас же самое интересное -- это, наконец-то, адекватное практическое использование нейросетей для "симуляции тканей".

В Юнити есть Sentis, фреймворк для инференса ONNX-моделей, написанный на C#. Так вот, для этого ролика авторами была сделана симуляция всей одежды на персонаже в Гудини. Потом на этих данных была обучена нейросеть.

Теперь эта нейросеть с помощью Sentis в реальном времени деформирует одежду в зависимости от анимации персонажа. При этом модель весит всего 50 мегабайт, а сам инференс занимает меньше миллисекунды на фрейм, если верить авторам.

Так что вот, не картинками едиными. Интересно будет посмотреть, какие еще применения для нейросетей появятся в геймдеве, где особые требования к быстродействию.

#gamedev #unity #sentis

Самой интересной задачей в геймдеве для меня всегда было создание ИИ для персонажей, будь то враги или дружественные NPC. Я решил поставить эксперимент и выяснить, хватит ли моих знаний на то, чтобы привнести в игровой ИИ немного ИИ настоящего, то есть нейросетевого.

Начал с задачи попроще. Я сделал в Unity лабиринт 20х20, который рандомно генерируется в начале игры. По нему разбросаны монетки, они же Энергосферы, которые нужно собирать в стиле Пэкмана. Есть бот, у которого ограничена зона видимости, он видит только по вертикали и горизонтали. Ему нужно исследовать лабиринт и собрать все монеты.

Сначала я сыграл 10 партий сам, стрелками на клавиатуре управляя ботом и сохраняя каждое движение в датасет. Потом написал скрипты для обучения на Pytorch и поэкспериментировал с гиперпараметрами, благо на обучение модели уходит всего восемь минут.

Получившаяся нейросеть принимает на вход 12 чисел — это информация о том, что бот видит в каждом из четырех направлений. У неё есть память последних ходов. На выход она выдает, в какую сторону нужно двигаться.

И да! Это работает! Теперь бот проходит лабиринт и собирает монеты. Сам. Причем он это делает не механистично, а иногда крутится на одном месте, иногда тупит, как настоящий человек. Бот исследует самые дальние уголки и почти всегда у него получается собрать все монеты на поле.

Модель работает очень быстро и весит всего 200 килобайт. Следующим шагом будет запустить её на Unity Sentis, потому что пока она крутится на самописном сервере.

Перспективы очень интересны. Представьте себе ботов в шутере. Можно их обучить на партиях игроков посильнее или послабее, безрассудных или аккуратных, кэмперов или рашеров. И в настройках можно будет выбрать их уникальный стиль игры. Что думаете?

#gamedev #ai #torch #unity