Пришел инвайт на закрытую бету Юнитевского Sentis.
Это кросс-платформенная библиотека, которая позволяет запускать нейросети прямо из Юнити, в том числе рантайм, в том числе на мобильных устройствах. Проще говоря, теперь инференс можно делать в игре (или приложениях), в процессе геймплея.

Несколько первых впечатлений:
1. Sentis устанавливается как обычный пакет через менеджер. В целом начать работу можно очень быстро.
2. Можно использовать и в рантайм, и в редакторе (например заранее генерировать ассеты для игры).
3. Работает с моделями в формате ONNX, скорость хорошая, но без волшебных сюрпризов.
4. Приятно видеть код на лучшем языке программирования вместо опостылевшего Питона. На первый взгляд библиотека устроена логично и просто, хотя ей еще и далеко до Torch в плане функционала.
5. В демке реализован простой пост-процессинговый эффект Find edges, который обрабатывает нейросетью картинку в реальном времени через C#-код в рендер-фиче. Конечно, просадка фпс по сравнению с аналогичным шейдером присутствует, но это любопытное применение и, самое главное, оно уже работает!

В общем, буду тестировать. Обучить нейросеть для принятия решений ботами в сложной игровой ситуации звучит как план. Осталось понять, насколько быстро это работает.

Правила закрытой беты достаточно строгие в плане того, что можно показывать. Так что вот вам пока официальный анонс месячной давности:
https://www.youtube.com/watch?v=Slw9hnILnes

Что думаете? Взлетит или нет?

#unity #sentis #gamedev

И вдогонку про Unity. Мне также пришел инвайт на тестирование Unity Muse, это такой ChatGPT, заточенный под разработку игр. Я погонял его немного и вот впечатления:

1. ChatGPT 4 лучше.
2. Пока что код отображается с ошибками, знаки сравнения заменяются на lt& и rt&. Это критично, но должны пофиксить.
3. Истории чатов, как в ChatGPT пока нет, зато есть выбор версии Юнити, про которую вы спрашиваете. А еще можно сразу скачать код с расширением .cs
4. Шейдеры кодом пишет из рук вон плохо. Зато по шагам подсказывает, какие ноды поставить в ShaderGraph. Это забавно, хотя и практически неюзабельно.
5. В коде допускает элементарные ошибки, например один раз не добавил указание типа в вызове дженерика GetComponent.
6. ChatGPT 4 лучше.

В целом интересно, как OpenAI смогли создать универсальный ИИ, который уделывает другие ИИ, обученные на специфические задачи. Код для Юнити от GPT4 работает сразу, нужно только достаточно подробно описать, что тебе нужно.

Но Muse это тоже шаг в правильном направлении.
Как игровые движки в своё время демократизировали создание игр, и мы получили тонну крутых инди-проектов, так сегодня ИИ демократизирует программирование. И чтобы создать первый прототип игры достаточно поверхностно понимать структуру игры в Юнити (компоненты, префабы и т.п.).

У меня даже родилась гениальная идея геймджема, в котором можно использовать любые ассеты, но весь код нужно писать через ИИ. Такой мета-уровень программирования, где главное правильно сформулировать задачу.

https://www.youtube.com/watch?v=dR4IuN2tF78

#unity #muse #gamedev

А теперь нечто совершенно иное.

Несколько постов назад я рассказывал про новые ИИ-инструменты от Юнити. Если вы не знали, то Юнити - это самый популярный (согласно статистике) и самый удобный (согласно мне) игровой движок в мире.

Так вот, полторы недели назад Unity огорошили разработчиков новым уникальным бизнес-планом. Они решили, что будет круто брать с разработчиков 20 центов за каждую установку их игры. Это показывает, скажем так, неординарное понимание рынка советом директоров Юнити. Более того, было объявлено, что уже вышедшие игры также подпадают под этот новый "налог". То есть, если ты уже выпустил игру и что-то на ней заработал, то теперь ты будешь должен деньги большой корпорации.

Это нововведение было принято слегка прохладно. 15 тысяч негативных ответов на официальном форуме Юнити не дадут соврать. Внутри самой компании начались волнения, сотрудники начали увольняться, появились петиции с требованием отставки CEO, соцсети были завалены опросами "Unreal или Godot?".

Я лично воспринял эту ситуацию очень эмоционально. Неделя выдалась крайне депрессивной. Я даже установил Unreal, что бы вы понимали всю глубину моего падения.

Ты инвестируешь годы жизни в изучение инструмента, а решение некомпетентных начальственных мудаков разрушает все твои планы. Насыпьте сюда параллелей и аллюзий по вкусу.

Так вот, после шквала критики официальные представители Юнити удалились на "подумать" и молчали больше недели, пока разработчики изучали другие движки и срались на форуме. Дошло до того, что отдельные сотрудники компании стали спойлерить решение руководства в Твиттере в виде зашифрованных сообщений.

И вот сегодня Юнити выдали официальное письмо. Весь этот булшит отменяется. Более того, теперь не нужно покупать отдельную лицензию, чтобы убрать плашку "Made with Unity" в начале игры. Подняли максимальный порог дохода для бесплатной версии. Ввели адекватный revenue share, то есть теперь после заработанного миллиона долларов нужно будет отчислять всего 2.5 процента от дохода игры, что в два раза меньше, чем у того же Unreal.

https://blog.unity.com/news/open-letter-on-runtime-fee

Я воспринимаю это как победу. Победу простых людей над корпорацией. По крайней мере в данный момент ситуация с Юнити разрешилась хэппи эндом. А в наше время хэппи эндов не хватает.

#unity #gamedev

В эфире наша постоянная рубрика "Жалобы на Steam".

Теперь они отказали в публикации игре, в которой перевод текста был сделан с помощью ChatGPT, причем отказали по старой схеме: с вопросами про авторское право. То есть, ещё раз, речь не про контент, а только про перевод.

Как я понимаю, у них есть внутреннее правило: если где-то в материалах игры упоминается AI, то игру не публикуем и спрашиваем разработчика насчет прав на датасет.

В Valve сидят прошаренные ребята, они понимают, какой серой зоной является сегодняшнее законодательство в сфере ИИ. Им, как компании-дистрибьютеру, не нужен неожиданный иск от какого-нибудь условного Стивена Кинга. Проще отказать и не пущать.

Государственная машина во всех странах очень неповоротлива, и добавление в законодательство новых концепций может затянуться на годы, а то и на десятилетия. А пока, если вы делаете творческий продукт с использованием ИИ, у вас есть выбор: или заранее озаботьтесь всеми документами, подтверждающими авторское право, или не отсвечивайте и уберите упоминания о ваших инструментах из соцсетей.

Почитать рассказ разработчика и обсуждение ситуации можно тут:

https://www.reddit.com/r/gamedev/comments/16r4dik/steam_also_rejects_games_translated_by_ai_details/

#steam #gamedev #авторское_право

И снова об играх. Valve, наконец-то, сформулировали правила использования генеративного контента в играх, которые могут продаваться в Steam.

1. При создании страницы игры вы теперь обязаны указать, в какой форме вы использовали ИИ в разработке. Эта информация будет видна всем пользователям.
2. Вы "обещаете" ("promise", так и написано), что вы не нарушаете ничьих прав.
3. Вы обещаете, что игра и маркетинговые материалы соответствуют друг другу по качеству. То есть нельзя сгенерировать только красивую обложку, а в самой игре использовать ассеты серии Polygon.
4. Самое пока сложное - это контент, который генерируется во время игры. Вы должны гарантировать, что он не нарушает правила площадки, и рассказать Valve, какие ограничения стоят в вашем генераторе. Также пользователи смогут пожаловаться на вашу игру прямо из Steam-overlay.

В целом звучит разумно, пусть и немного запоздало. По моим наблюдениям, процентов 90 игровых студий с корнями из СНГ, которые в гробу видали все эти ваши авторские права, уже как минимум используют генеративный ИИ, а как максимум имеют целые ИИ-отделы.

https://store.steampowered.com/news/group/4145017/view/3862463747997849618?l=russian

#gamedev #steam

Меня спрашивают, мол, почему ты часто пишешь про игры?

Во-первых, игры - это круто, и если вы не играете, то упускаете важный пласт человеческой культуры.

Во-вторых, это самая быстро развивающаяся и технологичная индустрия развлечений, причем для игр требуется создавать много контента. И конечно генеративный ИИ в том или ином виде уже стал важной частью геймдева.

С момента публикации Стимом новых правил размещения игр, сделанных с применением ИИ, прошло почти два месяца. За это время появилось более 500 подобных игр. Их список можно посмотреть на сервисе SteamDB (там придётся зарегистрироваться):

https://steamdb.info/search/?a=app_keynames&type=1&keyname=565&operator=1&keyvalue=

Сразу оговорюсь, это не список готовых игр, в которые можно поиграть. В большинстве своём там страницы игр, которые ещё не вышли. Средний инди-разработчик создаёт страницу за полгода-год до выхода игры. А то и вообще забивает на игру и не выпускает ее, такое тоже случается.

Но интересно посмотреть, что именно пишут авторы про использование ИИ. Часто это похоже на заискивающее оправдание, мол, мы маленькая команда, и генеративный ИИ помогает нам сделать игру мечты, вы не сердитесь, а посмотрите, хорошо же получилось, у нас сценарий точно писал человек, совсем немного GPT помог.

Это понятно. Пока ещё нет уверенности, как именно пользователи отреагируют на подобный дисклеймер. Громкое меньшинство хейтеров ИИ может занизить оценки игры в магазине, что для независимых авторов часто становится болезненным ударом. Я полагаю, что в первое время будет много воплей по этому поводу.

Но если у ААА-студий цикл разработки игры может занимать от 5 лет до бесконечности, то новые инди-игры появляются каждый день. И на тысячу игр случается один суперхит типа Vampire Survivors или Loop Hero, который сможет сдвинуть окно дискурса и изменить отношение пользователей к ИИ. А через пару-тройку лет, пройдя по костям павших в этой борьбе инди-разработчиков, на арену выйдут ААА-студии со своими собственными нейросетями, чтобы собрать урожай подготовленных игроков.

Если где-то и произойдёт быстрая нормализация контента, созданного нейросетями, то именно в геймдеве.

Что думаете? Если в описании игры написано, что в ней графика сделана ИИ, станете в нее играть?

#steam #gamedev

У Unity, пожалуй самая крутая команда производства синематиков среди всех игровых движков. Они регулярно делают супер-качественные демки для новых технологий.

В этом году они выпустили очередную короткометражку под названием Time Ghost.

https://www.youtube.com/watch?v=o1JIK5W3DRU

Это видео полностью отрендерено в реальном времени и дает представление о новых графических фишках из Unity 6.

Для нас же самое интересное -- это, наконец-то, адекватное практическое использование нейросетей для "симуляции тканей".

В Юнити есть Sentis, фреймворк для инференса ONNX-моделей, написанный на C#. Так вот, для этого ролика авторами была сделана симуляция всей одежды на персонаже в Гудини. Потом на этих данных была обучена нейросеть.

Теперь эта нейросеть с помощью Sentis в реальном времени деформирует одежду в зависимости от анимации персонажа. При этом модель весит всего 50 мегабайт, а сам инференс занимает меньше миллисекунды на фрейм, если верить авторам.

Так что вот, не картинками едиными. Интересно будет посмотреть, какие еще применения для нейросетей появятся в геймдеве, где особые требования к быстродействию.

#gamedev #unity #sentis

Самой интересной задачей в геймдеве для меня всегда было создание ИИ для персонажей, будь то враги или дружественные NPC. Я решил поставить эксперимент и выяснить, хватит ли моих знаний на то, чтобы привнести в игровой ИИ немного ИИ настоящего, то есть нейросетевого.

Начал с задачи попроще. Я сделал в Unity лабиринт 20х20, который рандомно генерируется в начале игры. По нему разбросаны монетки, они же Энергосферы, которые нужно собирать в стиле Пэкмана. Есть бот, у которого ограничена зона видимости, он видит только по вертикали и горизонтали. Ему нужно исследовать лабиринт и собрать все монеты.

Сначала я сыграл 10 партий сам, стрелками на клавиатуре управляя ботом и сохраняя каждое движение в датасет. Потом написал скрипты для обучения на Pytorch и поэкспериментировал с гиперпараметрами, благо на обучение модели уходит всего восемь минут.

Получившаяся нейросеть принимает на вход 12 чисел — это информация о том, что бот видит в каждом из четырех направлений. У неё есть память последних ходов. На выход она выдает, в какую сторону нужно двигаться.

И да! Это работает! Теперь бот проходит лабиринт и собирает монеты. Сам. Причем он это делает не механистично, а иногда крутится на одном месте, иногда тупит, как настоящий человек. Бот исследует самые дальние уголки и почти всегда у него получается собрать все монеты на поле.

Модель работает очень быстро и весит всего 200 килобайт. Следующим шагом будет запустить её на Unity Sentis, потому что пока она крутится на самописном сервере.

Перспективы очень интересны. Представьте себе ботов в шутере. Можно их обучить на партиях игроков посильнее или послабее, безрассудных или аккуратных, кэмперов или рашеров. И в настройках можно будет выбрать их уникальный стиль игры. Что думаете?

#gamedev #ai #torch #unity

Бесплатная демка нашей новой инди-игры вышла на itch.io

Bridges of Underlands - это помесь карточного баттлера и комбо-механик из Зумы. Разыгрывайте карты из бесконечной цепочки, сталкивая карты одного цвета, чтобы победить врага.

У нас маленькая команда, всего два человека, и при создании игры нам, конечно, помогали нейросети. Помимо очевидных рисунков, музыки и перевода (пока 13 языков), наш техарт Дима Крипаков сделал сложную систему процедурного нейро-текстурирования 3D-объектов из Гудини. Про нее мы как-нибудь обязательно расскажем, а пока можете поиграть и поделиться впечатлениями.

https://bereg.itch.io/bridges-of-underlands

Будем благодарны за оставленные на Itch.io комментарии, так как это поможет в продвижении игры.

#gamedev

Как и обещал, расскажу про нейротекстурирование для нашей инди-игры Bridges of Underlands. Мы попытались создать для неё приятное глазу минималистичное 3Д-окружение без ощущения "дешевого лоуполи".

Наш техарт Дмитрий Крипаков придумал для этого свой пайплайн. Это Stable Diffusion с контролнетом и специально обученным Чекпойнтом и Лорой, который позволяет генерировать стилизованные текстуры для разных элементов окружения, но делает это не "в лоб", а точно повторяя все изгибы и впадины исходной модели.

Главная фишка этого подхода в том, что это не проекция, из-за которой обычно возникают "потяги" или артефакты в местах, невидимых для камеры. Это генерация под хитрым образом подготовленную UV-развёртку с дополнительными атрибутами.

Технически это реализовано через Houdini и специально для этого написанный коннектор к ComfyUI. Мы процедурно создаём поверхность и автоматически генерируем десяток вариантов текстур, причём сразу с картами нормалей и прочими PBR-радостями. Из получившихся базовых элементов (стен, колонн, портиков, балок), как из конструктора, собираем уровень. Поскольку параметры генерации не меняются, то все элементы идеально подходят друг другу по стилистике.

Обратный подход, когда первой появляется текстура, а потом уже из неё генерируется карта высот и выдавливается меш, отлично подходит для создания груд камней и прочих органических пропсов.

Поиграть в саму игру можно вот тут:
https://bereg.itch.io/bridges-of-underlands

#gamedev #stablediffusion