Эксперименты не заставили себя долго ждать. UE5 скрестили с Point-e – родилась собака, бутылка и мотоцикл! Время генерации примерно 20 сек. Запомните этого гомункула, к концу года он станет прекрасной бабочкой.

Следующим шагом будет перенос данных с изображения в Вертекс колор, решение так себе, но лучше, чем ничего; благо, для этого нужен будет массивный поинтклауд, который UE легко переварит и аккуратно запакует.

Генерит пока не пугающе круто, так что спокойной ночи, пока...

Геометрические ноды + Stable Diffusion

На канале Default cube вышло пошаговый туториал как сделать генерацию олдскульного города внутри Blender.

- Cgmatter сначала используют геометрические ноды, как болванка для генерации img2img с картой глубины, что круто, можно настраивать тени светом и многие другие параметры - контролирую тем самым генерацию в SD

- Затем немного промпт инженерии для качества и затем вывод картинки. Правда 512х512 максимальный размер получился, но этот вопрос можно пока закастылить тем, что вывести картинку и пойти в колаб с ней.

Туториал.

Вернёмся немного к классике геймдева и поблагодарим автора за лонгрид такого супер качественного материала.

The Order 1886 – это довольно старая игра, скучная по итогу, но гениальная и высокохудожественная в плане визуала и пайплайнов игровой разработки. Даже если не осилите сейчас, отложите до праздников, когда уже блевать потянет от того, что ничем не заняты.

Лонг

"Можете ли вы поверить, что Stable Diffusion всего 4 месяца, ChatGPT примерно 4 недели? Если вы моргнёте, то пропустите целую индустрию!" ©️Jim Fan

Вместо статистики, новогодних постов и итогов я просто хотел бы с вами познакомиться и ещё раз описать моё отношение к происходящему.

Я занимаюсь CG, как и многие тут попробовал за свою историю много всякой разной графики (2D, кино, реклама, мульты, игры), остановился на играх, потому что на данный момент это наивысшая точка интерактива, которая сейчас только возможна; во всех предыдущих областях мне не хватало скорости развития, инноваций.

Сейчас я больше работаю с командами и процессами, с общим виденьем, с путями, которыми можно достичь определённого визуального результата. На позиции синьора, тим лида (в моем случае), департмент лида или артдиректора вы смотрите на вещи с другого ракурса, вам не принципиальны инструменты. Они для меня не играли роли и до того, потому что если есть запрос, инструмент выучивается за пару месяцев, все остальные знания доступны ситуативно и в пару кликов в 90% случаев. Важно то, как вы ими оперируете и для чего.

Всё, что сейчас происходит, избавит нас, рано или поздно, от болота, из которого состоит работа каждого специалиста. Или может быть найдутся те, кто хочет делать игры (подставьте свою сферу) как в 80-х, 90-х? С тогдашними возможностями и ограничениями? Или есть ребята, получающие удовольствие от ротоскопа, рига, ретопа и анврапа? Продакшен на 80% состоит из технической хуйни, которой художник не достоин. Не бойтесь расстаться со своими обязанностями, бойтесь остаться с ними, когда они уже будут никому не нужны. Ауф!

Поэтому в следующем году постарайтесь выработать способность видеть свои цели и достигать их не важно какими результатами: код, нейронки, софтины, карандаш, текст. Думайте больше о том, что получит ваш пользователь и вы по итогу.
Не забывайте, что всё это держится на базовых, логических, художественных либо математических знаниях. 💋

1. Как классно: можно быстрее и эффективнее учиться играть на музыкальных инструментах.
2. Только, наверное, лучше было бы иметь в руках реальную скрипку и более совершенные алгоритмы машинного зрения.
3. Лучше всё же будет послать немного импульсов неинвазивным способом.
4. Да ладно, уже давайте этот ваш микрочип в череп.
5. Оператор, загрузи программу управления вертолётом!

Вся история визуального искусства от начала времён, до наших дней, сгенерирована... ну вы поняли.

Google AI выпустил новую языковую text-to-image модель Muse через Masked Generative Transformers:

- Achieves new SOTA
- Zero-shot, Mask-free editing
- Zero-shot Inpainting/Outpainting
- 900M params

Пишут, что она более эффективная, быстрая и производительная, чем диффузные модели.

Очень интересно будет посмотреть в деле, сейчас уже можно сказать точно, что с текстом она справляется в разы лучше благодаря LLM модели.

Бумага
Git

Какую красоту творит @siba в Blender + geometry nodes.
Так же в пайплайне у него часто присутствует Houdini. Извиняюсь за шакалы.

Посмотрите на этот шот. Вы наверняка знаете, что в 2D анимации есть художники которые рисуют ключевые кадры, а есть те кто условно делает бленд между ними, типа ручная интерполяция.

На скрине (в комментах) подписан каждый ингредиент, (яйцо, кукуруза и т.д.) чтобы колористы не запутались когда будут расскрашивать кадр, так же это нужно для учёта физики кусочков. Особое удовольствие это дорисовывание тени на рисинках, есть желающие?)

Мне кажется в канале есть пару ребят которые предложат в такой задаче менее время затратные способы решения и с цветом который можно менять рантайм и физику и скейл и все что хотите. И это будет один человек а не три и в пару часов а не дней.

История искусства это рассказывание историй разными способами от наскальных рисунков до AI сейчас. Я, конечно, понимаю всю эстетику, культурные особенности и ценителей ручного труда, но есть и другая сторона с бюджетами, сроками и потребительской массой.

Утренней энергии вам в этот день!

SD+Warpfusion
Muse - Plug In Baby (anime version)

Какие интересные пайплайны рождаются на новогодних праздниках.
Felipe Gonzalez после нескольких экспериментов собрал воркфлоу по конвертированию генерации SD в Instant Nerf.

К слову, в его сетапе использовалась RTX 2070, что по его заявлениям катастрофически ущербно.

Пайплайн примерно такой:
1. Создаётся сцена в с 3D софте, фоткается голова в 4 ракурсах.
2. Дальше IMGtoIMG через SD, получаем генерённые те же 4 ракурса.
3. В Photoshop кропаем и выравниваем картинки через Colmap, чтобы получить информацию о камерах.
4. Через Instant Nerf получаем point cloud.

Т.к. SD генерит много лишних деталей, может быть сложно собрать из этого point cloud дату.
Первые шаги неуверенные и короткие, в будущем мы обязательно придумаем что-то более элегантное.

Для бояр с топовыми видюхами, можно поразвлекаться с vid2vid на SD.

Способ не совсем однокнопочный, на посте придётся немного поколдовать с премьером и оптикал флоу или в афтере сделать или нюке.

И небольшой совет – не берите слишком длинные видосы для процессинга, сначала отработайте стиль на паре секунд видео.

Git

Совсем свежий апдейт от Boston Dynamics. Мне сложно оценить какие-то особенности машинного зрения или другие критерии, которые наверняка тут усмотрят кибернетики. Наверняка, не просто так он брал доску под углом. И разогнулся не полностью на втором уровне тоже не просто так, а чтобы не удариться "головой?" или что у него там. Ну и супермягкое приземление после финального сальто, конечно, впечатляет.

Вообще, Бостоны никогда не заявляли, что Атлас ведёт расчёты через модель sim2real.
Кто-то говорит, что его действия жёстко заскриптованы, и смести вы сумку или ступень на пару сантиметров, вся презентация бы порушилась.

Вообще, после всех приколов с фейками Маска с его автопилотом в Тесле я не удивлюсь, что Атласом управляют через мокап 🤖

Давайте отложим споры, графика там была или нет, и посмотрим однозначно на искусство в CG.
Бросьте в меня камень, завёрнутый в деньги, если считаете, что TLOU в плане визуальной составляющей не является искусством.

Jonathan Benainous – художник, синьер со стажем 16 лет в индустрии, чего только стоит реворк купола Капитолия, который он унифицировал через Substance Designer. К слову, синьера от не синьера отличает унификация и автоматизация рабочего процесса.

Статья

Тут художник Rui Huang (не тот Хуанг) показывает свою работу и рабочую станцию, на которой делает крутые картины. Я, пожалуй, тоже покажу в комментах, что я делаю, и свой системник. Вы тоже кидайте результат работы и на чём вы это делаете, не важно, из какой вы сферы)

Ну, и всех с пятницей!

Сорс

Да, вы все были правы, там была все же таки графика. А вот реальные съемки с площадки.

К слову про увольнения. Вот иконографика количества уволенных из tech индустрии в 2022. А в этом году по данным https://layoffs.fyi в tech секторе в среднем увольняют по 2600 человек в день.

Выглядит не утешительно, тут невольно начинаешь опасаться за свою задницу. Чтобы обезопасить себя нужно непрерывно развиваться и изучать новые технологии (я, конечно, говорю про AI инструменты тут). Прошло то время, когда ты мог 30 лет работать по профессии, которую получил в университете.

@ai_newz

Одинокая клетка мозга пытается найти соединение, чтобы передать сигнал.

Похоже на то, когда приехал в новую страну и пытаешься наладить контакты с местным сообществом.

Частенько не хватает подобных тулзов для быстрого редактирования слоёв и применения вариантов разным частям изображения. Каждый раз закидывать в PS – это такое себе развлечение.

С другой стороны, мы имеем массу компаний, которые заводят юрлица и исключительно занимаются тем, что выпускают новые версии UI с 1 уберфичей. И каждый раз прыгать между ними – это супертупое занятие, которое ничего кроме злости не вызывает.

Приятную мелочь добавили, спасибо, но в остальном пидарасы, конечно.

Сорс

Давно не отвлекался на automotive рендеры, а они на UE5 выглядят просто офигительно. Спрашивается зачем нам в этом сегменте теперь какие-то другие рендеры?

Сорс в 4к