Субботний оффтоп. ИИ-видео или видео?

Ну конечно видео. Но меня чего-то приподвзорвало вот на такую тему.

Я тут глянул, что на Олимпиаде появилась новая дисциплина - брейкинг. Я пошел смотреть. И у меня только один вопрос.

Эт шта?

Я, конечно, старпер и ворчун. Но всему есть свои рамсы.

Ну и я помню, как весь этот брейкданс начинался. Сначала ребятки изображали роботов, а потом разошлись. И разошлись нехило. Мне прям очень нравилось, когда брейк стал атлетичным, спортивным и сломал тьму барьеров.
И до сих пор нравится то, что они делают.

Но что делает брейкданс на Олимпиаде?!?!

Тут щас набегут брейкеры и возопят: мы не такие, ты не брейкдансеры, мы Брейкеры!! Весь интернетик делает на этом акцент.
Дед наверное слепой и не видит разницы, но я щас не об этом.

Вот тут ДЕВЯТИЛЕТНЯЯ девочка делает такой, мать его, брейк, что все эти зумеры в бейсболках идут в леса уныния курить овальные сигареты.

И мой пойнт в том, почему на одной и той же площадке (Олимпиаде) люди ставят рекорды на стометровке, а рядом с ними "соревнуются" люди в кепочках. В чем замысел Олимпиады тогда? Карнавал или фестиваль?

Ибо где метрики для всех этих танцоров, в чем их сила, брат?

Они же не прыгают тройное сальто с ковра и точно не могут делать такие фляки, как этот ребенок.

Вы мне, конечно, ответите: во-первых - это красиво.

Ну ок. Тогда я очень жду на следующей олимпиаде хоббихорсинг!

P.S. Мне кажется Олимпиаду надо запретить. Это бодишейминг. Физическая-форма-шейминг.

@cgevent

Если у кого-то появилось желание потренироваться в ретаргетинге и попробовать создать что-то подобное примеру выше, то можете попробовать либо однокнопочный LivePortrait на Hugging Face. Звук со своего видео тоже можете использовать.

Либо, для более точной настройки, идите в ComfUI и ставьте кастомные ноды LivePortrait, например, по этому гайду.
Сильно открытый рот работает не очень хорошо.
Результатами можете делиться в комментах.

Форж для Флюкса.

Форж для Флюкса.

В переводе с клингонского, обновился клиент Stable Diffusion от создателя Фокуса и теперь он поддерживает Flux.
Причем не просто поддерживает, в еще и оптимизирует память. Господин Жанг умял Флюкс в новый формат NP4, который быстрее и точнее FP8!
Короче, это теперь можно запускать на ваших чахлых машинах.
Более того, автор перебрал Форжа по косточкам, и теперь он снова синхронизирован с А1111 1.10 и снова работает быстрее.
Багов много, например, сейчас надо запускать Фордж с выключенными диффьюзерс. Но там комиты идкт каждые полчаса.

Но наконец-то!

Вот тут автор поясняет на NP4 и за текущее состояние проекта.
https://github.com/lllyasviel/stable-diffusion-webui-forge/discussions/981

@cgevent

Для тех, кто не исполняет в ComfiUI (я их понимаю), появился нормальный клиент - Forge.
Я уперся рогом, и пока завел его на Линуксе и на 80ГБ VRAM (H100).
Сейчас докачиваю веса на старый ноут и буду заводить но 8ГБ VRAM (2080)

@cgevent

Понедельник - полная жопа. В стиле Дисней.

Есть такой анекдот: приходит сынок домой и спрашивает маму - что такое жопа?
Мама: ой, нет такого слова!
Сынок: странно, жопа есть, а слова нет.

ИИ, он не такой! Он может сделать жопу даже в стиле Диснея!
В конце даже детали описывает, не то, что мама.

ИИ умный, будь как ИИ.

@cgevent

Ну, за Метахьюман!

Помните все эти демки лицевого рига. Я их помню уже лет 20, даже больше. Мы со студентами в Реалтайме разбирали каждое движение и охали на каждый блендшейп.
В этих ригах сотни контролов - констрейны, локаторы, деформеры всякия и еще тьма требухи, чтобы заставить 3Д-лицо .. шевелить лицом.

А потом вышел Метахьюман...

Это я к чему.

Тут на видео НЕТ ВООБЩЕ НИЧЕГО. Только ОДНА картинка (как вы понимаете из Флюкса) и тот самый Live Portrain.

И вот сидит аниматор, отринувший риг опостылевший внезапно, и неистово вращает глазами и челюстями, анимируя Финальный Рендер.

Какой же я тролль, но правда ведь похоже на демки лицевых ригов.

И, кстати, на входе может быть не только лицо аниматора, а тот же самый Метахьюман или любая тварь имеющая рот да глаза (писал уже что котиков прикрутили в Live Portrait).

А картинки персонажей на вход вы можете подавать сообразно региону просмотра..

Вот такой вот content on demand.

@cgevent

Мне кажется тема сисек отражена полностью.

С рейтрейсингом и HDR.

Предлагаю луддитам пойти делать такое в 3Д. С волосами, dof, и прочими 3Д-прелестями.
Спасибо @yanadivane за наводку.

В продолжение поста про лицевой риг и упокой метахьюманов.

Вам теперь не надо ригать модель головы. Совсем.
Даже если у вас есть 3Д-башка в блендоре, например, без всяких блендшейпов, експрешенов и вообще рига.
Просто модель. Меш. Без зубов.
Рендерите ея в Eevee за секунду примерно. И подаете эту картинку в Live Portrait.
А потом сажаете аниматора, а лучше мима, перед камерой.
И ну анимировать эту башку. Кожаным лицом.

Для тех, кто не в 3Д: есть видео с кривляющимся кожаным и есть скриншот модели головы из Блендора.
Ну и все.

Ну, за риггеров.

@cgevent

Тут вот очередной рейтинг генераторов картинок.

https://artificialanalysis.ai/text-to-image/arena

Как вы думаете, кто рвет в труху весь этот лидерборд?

Правильно, Flux.

Флюкс Про уверенно на первом месте.
А Шнель и Дев постоянно ротируются с Midjourney 6 и 6.1 на 2-5 местах.
Дальше идет Stable Diffusion 3 Large.

И тут мы начинаем понимать, что все эти модели тестируются по API. Юзеры вслепую выбирают одну из двух картинок и жмут лайк.

Но что меня удивило - это наличие в хитпараде моделей от Амазона! О которых мы тут не слышали ни разу.

Вот вам ссылочка
https://aws.amazon.com/ru/blogs/machine-learning/use-amazon-titan-models-for-image-generation-editing-and-searching/

А я пойду посмотрю, что это такое. И вы мне расскажите что есть DALL·E HD...

А потом вернусь к Флюксу. Там Жанг взялся за Лоры.

@cgevent