3Д-риггинг для взрослых с помощью ИИ.

Удивительно, что на этом фронте тишина уже примерно 3 года как.
Именно тогда вышла фантастическая работа RigNet: Neural Rigging for Articulated Characters.
https://zhan-xu.github.io/rig-net/
Из апдейтов - к ней наконец-то выкатили код. И датасеты, на которых учили ригать персонажей.
Но Автодеск и Максончик делают вид, что ничего такого в природе нет. И до продукта это не доходит.

Из последнего интересного в этой области: TARig

Мы представляем TARig - метод нейронного риггинга с учетом шаблонов, предназначенный для автоматической генерации стандартных и высококачественных скелетов и весов кожи для гуманоидных персонажей. Результирующий скелет состоит из широко используемого шаблона гуманоида с 21 шаблонным суставом и ассоциированных наборов вторичных суставов. Помимо заданной топологии шаблонного скелета, мы дополнительно изучаем boneflow field, чтобы определить внутренние связи для каждого вторичного набора суставов и избежать контр-анатомического построения скелета. Обширные эксперименты показали, что TARig обеспечивает высокое качество риггинга и превосходит другие современные методы авториггинга в части генерации скелета и оценки веса кожи для гуманоидных персонажей.
https://www.x-mol.net/paper/article/1667441415086129152

boneflow field - оптический поток для скелетов!

Однако все это - академические бумаги.

Может Адобченко наконец-то прикупит нормальное 3Д и вкрутит туда ИИ-фишки?

JALI: лицевая анимация на стероидах ИИ.
И это не нейромокап.

Среди авторов RigNet: Neural Rigging for Articulated Characters из предыдущего поста (когда на датасете из уже зариганных персонажей, сетку учат ригать абсолютно произвольного персонажа с нуля) - Крис Ландрет, который делал Bingo (Genie 1998), Ryan (Oscar 2005), Spine (Genie nomination 2009). Это прям ветеран 3Д.

Старперы могут всплакнуть над роликом Бинго из 1998. Тогда это было ошеломительно.

Так вот, Крис также входит в Jali Research, которые пилят автоматическое и быстрое создание высококачественной трехмерной лицевой анимации на основе текста и аудио.

И это не аватарчики для метаверсиков, это жоский тяжелый пост-продакшен в Майя и UE.

Вот интересное видео, где сравнивают процесс создания анимации лица (ручками и ИИ) для короткометражки “The Spine” 2009 от того же Chris Landreth.
Сам процесс разбит на 4 части. Анимация и повороты головы, липсинк, анимация глаз, челюсти и ассиметрия. И занимает 20 часов для этого диалога. Если ручками.

Потом показывают тот же процесс, но сделанный с помощью JALI lip sync and facial animation software. Который занимает полтора часа. Автоматизация всего, включая генерацию движений головы и глаз. И да, deep learning, все как мы любим.
Полное видео: https://youtu.be/qxSnFExiDJE

Поглядите на сайт JALI
http://jaliresearch.com/

P.S. Посту про Криса и Джали - три года. И новых инструментов для лицевой 3Д-анимации в традиционных 3Д-софтах не появляется. Зато многочисленные аватары или гибридные решения типа HeyGen растут как грибы.
Это значит лишь то, что рынок поста для кино чудовищно мал и вовлекает в себя ну очень небольшое количество рабочих рук, а соцсети рулят спросом на инструменты.

Я продолжу 3Д-нытьё про ИИ.

Четыре года назад писал про то, как Автодеск взял миллион моделек с Турбосквида и обучил нейросеточку генерить UV-layout на антропоморфных сетках. И все это в 3Д. Вот полигональный болван в T-позе, вот его UV, и так миллион раз. А теперь вот новый болван – давай его UV. Ну и ИИ дает UV. Это так и называлось AIUV. Лично говорил с ними на Сигграфе - выглядело просто убойно.
Видос долгое время висел тут:
https://area.autodesk.com/inspire/articles/ai-at-autodesk-for-3d-and-vfx-content-creation
Но на итоге тема ai-at-autodesk как-то затихла (что меня дистрактит невыносимо, новые нормальные артисты вкатываются в ИИ, и только 3Д-олигархи делают вид, что ничего не происходит).

А щас вот вышел TopoGun 3 - специализированный софт для ретопологии. Последний раз обновлялся 11 лет назад!
И что, в новой версии ни слова про ИИ. Все ручками и эвристиками.
https://topogun.com/

Неужели сложно подучить ИИ делать ретоп и UV-maps на хотя бы популярных классах задач.

Для тех, кто занимается серьезным композом. Не плашечки в After Effects, а хардкор в Nuke.
Влад Ахтырский допилил свою систему до бета-версии.
"Junior" - конвейер композитинга с поддержкой искусственного интеллекта для Nuke 12, 13 и 14.
Все начиналось с идеи умного кея с помощью ИИ, когда на выходе не готовая картинка, а набор рулек для Нюка, которые и делают эту картинку и которые можно подергать.
Теперь это целый конвейер, который берет на вход шот, обрабатывает его, раскладывает все по нужным папкам и генерит нужные параметры в Нюке.
Посмотрите полное видео тут:
https://www.youtube.com/watch?v=lrYVCpqn8FE
И если вы в композе - записывайтесь в бету.

А еще мы потолковали с Владом, куда может укатиться композ с приходом GPT-4V, когда ИИ будет понимать ЧТО изображено в шоте и делать "семантический композ". И в отличие от многочисленных бумаг у Влада уже есть готовое решение встроенное в Нюк.

Меня в который раз просто подбрасывает от того, как Станислав Лем предсказал описанное в предыдущем посте в своем романе "Возвращение со звезд". Где людям сделали прививку от агрессии.
И к чему это привело. Держите пару цитат и попробуйте их соотнести с тем, что происходит сейчас в области "выравнивания" генеративных моделей.

"Посмотрите парочку мелодрам, и вы поймёте, в чём заключаются нынешние критерии эротического выбора. Самое важное — молодость. Потому-то все так борются за неё. Морщины, седина, особенно преждевременная, вызывают почти такие же чувства, как в давние времена проказа…
— Почему?
— Вам это трудно понять. Но аргументы здравого смысла бессильны против господствующих обычаев. Вы всё ещё не отдаёте себе отчёта в том, как много факторов, игравших раньше решающую роль в эротической сфере, исчезло. Природа не терпит пустоты: их должны были заменить другие. Возьмите хотя бы то, с чем вы настолько сжились, что перестали даже замечать исключительность этого явления, — риск. Его теперь не существует, Брегг. А ведь литература, искусство, вся культура целыми веками черпала из этого источника: любовь перед лицом смерти. Орфей спускался в страну мёртвых за Эвридикой. Отелло убил из любви. Трагедия Ромео и Джульетты… Теперь нет уже трагедий. Нет даже шансов на их существование. Мы ликвидировали ад страстей, и тогда оказалось, что вместе с ним исчез и рай. Всё теперь тёпленькое, Брегг."

"Легкая атлетика существовала в каком-то карликовом виде. Бег, толкание, прыжки, плавание и почти никаких элементов атлетической борьбы. Бокса вообще не было, а то, что называлось классической борьбой, было попросту смешным; какие-то тычки вместо порядочного боя. В проекционном зале магазина я посмотрел одну встречу на первенство мира и думал, что лопну от злости. Временами я хохотал как сумасшедший. Расспрашивал о вольной американской борьбе, о дзю-до, о джиу-джитсу, но никто даже не знал, что это такое. Понятно, ведь даже футбол скончался, не оставив потомства, ибо был игрой, в которой возможны острые схватки и травмы. Хоккей был, но какой! Играли в таких надутых комбинезонах, что игроки сами походили на огромные шары. Две такие команды, сталкивающиеся одна с другой, как резиновые мячи, выглядели потешно, но ведь это же был фарс, а не матч!"

Прививку от агрессии и секса можно теперь тестировать на LLM и смотреть как она будет жить дальше. Не зря я тут втапливал за то, что LLM - это идеальные лабораторные крысы размером с Юпитер, которых можно безнаказанно кромсать, изучая по дороге устройство кожаных.

Парни из Микрософта Ронен Элдан и Марк Руссинович (тот самый автор SysInternals, Prоccess Explorer и Autoruns)научились стирать определенную информацию из башки LLM - а именно, они стерли все знания о существовании книг о Гарри Поттере (включая персонажей и сюжеты) из открытого исходного кода Meta's Llama2-7B.

За один час.

Сначала на текстах о Гарри Поттере была обучена модель, позволяющая выделять токены, наиболее связанные с ними, сравнивая предсказания с базовой моделью.

Потом они заменяли уникальные выражения из "Гарри Поттера" их общими аналогами и генерировали альтернативные прогнозы и ответы.

На основе этих альтернативных предсказаний производилась тонкая настройка базовой модели, которая эффективно стирала из памяти исходный текст, когда ей предлагался промпт с соответствующим контекстом.

Производительность в стандартных бенчмарках, таких как ARC, BoolQ и Winogrande, "практически не пострадала".

И тут я снова вспомню Лема: "Наибольшим достижением считалось то, что перемены не сказывались отрицательно на развитии интеллекта и формировании личности и — что, быть может, ещё важнее — не чувство страха лежало в основе этих ограничений. Человек не убивал, потому что «это не приходило ему в голову».

Изучаем кожаных дальше. С помощью LLM.

https://venturebeat.com/ai/researchers-turn-to-harry-potter-to-make-ai-forget-about-copyright-material/

Вышел хороший инсайд про новый Квест и лыжную маску от Эппле.
До Эппле, наконец-то дошло, что пол-кило на голове - это перебор даже для твердолобых фанатов, поэтому в статье упоминается разработка более легкого варианта Vision Pro.
Более того, к концу статьи выясняется, что год назад Apple почти прекратили работу над автономным очками AR и это была личная неудача для Тима Кука, который рассматривал очки AR как ключевую цель. Но оставляется место для намеков на то, что Эппле к этому вернется.
Что касается Квеста, то налицо смена риторики с Метаверса на Игры и Повышение производительности. Ну то есть прямая конкуренция с Эппле.
В статье еще много информации про то, как Эппле запуталась в диоптриях и про новый Квест.
Но фишка в том, что Vision Pro будет непонятно когда, а вот Квест 3 уже кое-где появился, нашел прям свежий обзор, дам следующим постом.
https://www.bloomberg.com/news/newsletters/2023-10-08/apple-plans-smaller-lighter-vision-headset-meta-works-on-cheaper-quest-3-ar-lnhh1ulx

https://www.youtube.com/watch?v=yRR_23zQM6Q

Обзор нового Квеста 3 еще до начала продаж! Прям подробный и плюс сравнение с Pico 4, Quest 2 и Quest Pro.
https://www.youtube.com/watch?v=yRR_23zQM6Q

9 из 10 работодателей в 2023 году считают, что сотрудник должен уметь использовать нейросети для решения творческих и бизнес-задач.

Концентрированный курс по нейросетям от Музы и нейрохудожницы Леры Титовой научит создавать креативный контент, быстро работать с Big Data, прогнозировать поведение ЦА и искать инсайты для эффективной рекламы с помощью ИИ. То, что надо маркетологам, копирайтерам, SMM и другим digital-специалистам, чтобы сэкономить время, делегировать рутинные задачи и масштабировать бизнес.

Скидка 10, беспроцентная рассрочка и вебинар — по ссылке.

Firefly Vector Model или text-to-vector
Адобченко представила векторную модель Firefly. Adobe описывает новую модель как "первую в мире генеративную модель, ориентированную на создание векторной графики". Firefly для Illustrator сможет создавать всю векторную графику с нуля. Как и другие модели Firefly, векторная модель также обучалась на данных из Adobe Stock.
Молодцы они, конечно. Пока остальные рядятся в выравнивание и цензуру, Адобченко делает готовые инструменты и ворочает мешки.
https://techcrunch.com/2023/10/10/adobe-brings-its-firefly-generative-ai-models-to-vector-graphics-in-illustrator/

Adobe Firefly Image 2 Model - это не только ценный мех и прорисовка высокочастотных деталей, но еще и Image-2-Image, Firefly Design, доп настройки и, что очень важно, скорость.

Что у нас на пределами телеграм-постов:

1. Скорость. В отличие от SDXL, которая просадила скорость генерации в 4-10 раз, Адобченко утверждает, что Firefly 2 остался таким же быстрым при улучшенном качестве (тут, правда, остается открытым вопрос, а не вкинули ли они побольше железа не сервера).
2. Качество. Firefly Image 2 генерирует (по анонсам) изображения значительно более высокого качества по сравнению V1, особенно в отношении высокочастотных деталей, таких как листва, текстура кожи, волосы, руки и черты лица, особенно при рендеринге фотореалистичных людей(!, от который Далле 3 шарахается в пасторальные библейские истории). Плюс более высокое разрешение, более яркие цвета и цветовой контраст.
3. Настройки. Которые заданы не в виде плохопроизносимых параметров, а в виде знакомых терминов из фотографии: рульки для ручной или автоматической регулировки глубины резкости, моушен блюр и POV, точно так же, как и в камерах. Ю-Юзабилити.
4. Prompt Magic. Как бы аналог всех промптоулучшателей типа prompt expansion в Фокусе или разных приблуд для работы со стилями в разных генераторах. T9 для промптов, в общем.
5. Image-2-Image. Который зовется тут Generative Match (по аналогии с Fill). Тут интересная деталь. Адобченко всегда упирала на том, что она решает проблемы с копирайтом для пользователей Firefly, поэтому при выборе картинок для Image-2-Image, вас попросят выбрать галочку типа "я загружаю картинку, на которую у меня есть права". Тут, конечно, будет тьма коллизий и Адобченко оставляет себе лазейку типа "не виноватая я, он сам загрузил эти глупости и нажал галку". Ну и идея защиты своих пользователей начинает немного трещать по правам. Ну и непонятно, как они будут отслеживать NSFW загруженное в Image-2-Image. Анализом картинки?
6. Про Firefly Vector я уже написал, она как бы разработана так, чтобы быть безопасной для коммерческого использования (когда она выйдет из бета-версии), поскольку она была обучена на лицензионном контенте, таком как Adobe Stock. Какие там будут слои - надо смотреть. Firefly Vector можно попробовать уже сегодня в бета-версии Adobe Illustrator, а также в дополнительных функциях бета-версии, таких как Mockup и Retype для идентификации и редактирования векторных шрифтов.
7. Ну и, наконец, Firefly Design или text-to-template, которая генерирует настраиваемые шаблоны для печати, публикаций в социальных сетях, онлайн-рекламы, видео и многого другого. Типа текстовые подсказки для создания полностью редактируемых шаблонов для «всех популярных соотношений сторон». Это явно ответочка на Magic Design от Canva в том смысле, что можно теперь описывать что-то вроде «флаера для пляжного отдыха». Сколько там генерации, а сколько выбора из базы шаблонов - надо будет изучать.

Диванная редакция также считает, что Адобченко имеет огромное преимущество в виде конской пользовательской базы и опыта юзабилити, извлеченного из своих продуктов. Поэтому делает не программисткие комбайны (которые тоже имеют право на жизнь для технических отделов), и не странные поделки на базе Stable Diffusion в виде Invoke или Леонардо, переизобретающие UX от Адобченко. А потихоньку спускается с горы и дает пусть ограниченный, но очень ловкий функционал, закрывающий 90% потребностей новых нормальных художников.

Появился демоспейс DreamGaussian, пока делает 3D модели только по изображению.
Кидайте генерации в коменты.

Демо

#imageto3D