Очень интересная статистика по популярности Web сайтов с 1993 года.
Многие из вас, наверное, ещё не родились тогда)
В общем, как можно догадаться, к концу видео мы в топе увидим Google.

Но интереснее, какой прогноз будет на ближайшие лет 10.
Если Google не предпримет достаточно усилий в конкуренции, то следующим топом мы скорее всего увидим победившие алгоритмы наподобие ChatGPT.

И судя по статье в NYT, паника началась.

Вот уже ребята из Wand оседлали модную темку и показывают процесс современного концептинга с инпэинтингом.

Я тупо, ребят, не успеваю постить новости, настолько быстро генерация уходит в 3D.

Во-первых, Nvidia выпустила генеративные алгоритмы по созданию 3D моделей. Там и морфинг, и создание новых форм, и создание с текстовым описанием. Конечно, модели полностью обучаемы, так что алгоритм работы +- знаком.

Ещё одна особенность в том, что объекты получаются уже текстурированными в отличие от других методов создания моделей из описания. Плюс в этой работе есть возможность работать с конкретным сидом, перемещаясь по полю интерполяции (Variant generation in latent space). Чё, 3D'шники, как там менталочка?)

Видео обзор от доктора

Страница проекта тут

Вторая работа посвящена методу GeoCode - геокодированию на основе облака точек или скеча с последующей интерполяцией параметров. Обе работы затрагивают смежные области и дают представление, что мы получим +- в качестве рабочего инструмента.

Подробнее тут

Почему художники разных эпох рисовали одну и ту же работу, но с небольшими изменениями? Они просто не меняли промпт и номер сида 🤡

На самом деле, просто это был очень популярный мотив, и на эту работу всегда был высокий спрос! Часто заказчики просили поместить себя внутрь сюжета картины. Искусство прошлых эпох редко создавалось исключительно для искусства.
Для написания той или иной картины часто были поводы в виде религиозного или социального заказа на протяжении всей истории.

Это может странно звучать, что искусство имеет функцию или предназначение, но в данном случае это именно так.

Эксперименты не заставили себя долго ждать. UE5 скрестили с Point-e – родилась собака, бутылка и мотоцикл! Время генерации примерно 20 сек. Запомните этого гомункула, к концу года он станет прекрасной бабочкой.

Следующим шагом будет перенос данных с изображения в Вертекс колор, решение так себе, но лучше, чем ничего; благо, для этого нужен будет массивный поинтклауд, который UE легко переварит и аккуратно запакует.

Генерит пока не пугающе круто, так что спокойной ночи, пока...

Геометрические ноды + Stable Diffusion

На канале Default cube вышло пошаговый туториал как сделать генерацию олдскульного города внутри Blender.

- Cgmatter сначала используют геометрические ноды, как болванка для генерации img2img с картой глубины, что круто, можно настраивать тени светом и многие другие параметры - контролирую тем самым генерацию в SD

- Затем немного промпт инженерии для качества и затем вывод картинки. Правда 512х512 максимальный размер получился, но этот вопрос можно пока закастылить тем, что вывести картинку и пойти в колаб с ней.

Туториал.

Вернёмся немного к классике геймдева и поблагодарим автора за лонгрид такого супер качественного материала.

The Order 1886 – это довольно старая игра, скучная по итогу, но гениальная и высокохудожественная в плане визуала и пайплайнов игровой разработки. Даже если не осилите сейчас, отложите до праздников, когда уже блевать потянет от того, что ничем не заняты.

Лонг

"Можете ли вы поверить, что Stable Diffusion всего 4 месяца, ChatGPT примерно 4 недели? Если вы моргнёте, то пропустите целую индустрию!" ©️Jim Fan

Вместо статистики, новогодних постов и итогов я просто хотел бы с вами познакомиться и ещё раз описать моё отношение к происходящему.

Я занимаюсь CG, как и многие тут попробовал за свою историю много всякой разной графики (2D, кино, реклама, мульты, игры), остановился на играх, потому что на данный момент это наивысшая точка интерактива, которая сейчас только возможна; во всех предыдущих областях мне не хватало скорости развития, инноваций.

Сейчас я больше работаю с командами и процессами, с общим виденьем, с путями, которыми можно достичь определённого визуального результата. На позиции синьора, тим лида (в моем случае), департмент лида или артдиректора вы смотрите на вещи с другого ракурса, вам не принципиальны инструменты. Они для меня не играли роли и до того, потому что если есть запрос, инструмент выучивается за пару месяцев, все остальные знания доступны ситуативно и в пару кликов в 90% случаев. Важно то, как вы ими оперируете и для чего.

Всё, что сейчас происходит, избавит нас, рано или поздно, от болота, из которого состоит работа каждого специалиста. Или может быть найдутся те, кто хочет делать игры (подставьте свою сферу) как в 80-х, 90-х? С тогдашними возможностями и ограничениями? Или есть ребята, получающие удовольствие от ротоскопа, рига, ретопа и анврапа? Продакшен на 80% состоит из технической хуйни, которой художник не достоин. Не бойтесь расстаться со своими обязанностями, бойтесь остаться с ними, когда они уже будут никому не нужны. Ауф!

Поэтому в следующем году постарайтесь выработать способность видеть свои цели и достигать их не важно какими результатами: код, нейронки, софтины, карандаш, текст. Думайте больше о том, что получит ваш пользователь и вы по итогу.
Не забывайте, что всё это держится на базовых, логических, художественных либо математических знаниях. 💋

1. Как классно: можно быстрее и эффективнее учиться играть на музыкальных инструментах.
2. Только, наверное, лучше было бы иметь в руках реальную скрипку и более совершенные алгоритмы машинного зрения.
3. Лучше всё же будет послать немного импульсов неинвазивным способом.
4. Да ладно, уже давайте этот ваш микрочип в череп.
5. Оператор, загрузи программу управления вертолётом!

Вся история визуального искусства от начала времён, до наших дней, сгенерирована... ну вы поняли.

Google AI выпустил новую языковую text-to-image модель Muse через Masked Generative Transformers:

- Achieves new SOTA
- Zero-shot, Mask-free editing
- Zero-shot Inpainting/Outpainting
- 900M params

Пишут, что она более эффективная, быстрая и производительная, чем диффузные модели.

Очень интересно будет посмотреть в деле, сейчас уже можно сказать точно, что с текстом она справляется в разы лучше благодаря LLM модели.

Бумага
Git

Какую красоту творит @siba в Blender + geometry nodes.
Так же в пайплайне у него часто присутствует Houdini. Извиняюсь за шакалы.

Посмотрите на этот шот. Вы наверняка знаете, что в 2D анимации есть художники которые рисуют ключевые кадры, а есть те кто условно делает бленд между ними, типа ручная интерполяция.

На скрине (в комментах) подписан каждый ингредиент, (яйцо, кукуруза и т.д.) чтобы колористы не запутались когда будут расскрашивать кадр, так же это нужно для учёта физики кусочков. Особое удовольствие это дорисовывание тени на рисинках, есть желающие?)

Мне кажется в канале есть пару ребят которые предложат в такой задаче менее время затратные способы решения и с цветом который можно менять рантайм и физику и скейл и все что хотите. И это будет один человек а не три и в пару часов а не дней.

История искусства это рассказывание историй разными способами от наскальных рисунков до AI сейчас. Я, конечно, понимаю всю эстетику, культурные особенности и ценителей ручного труда, но есть и другая сторона с бюджетами, сроками и потребительской массой.

Утренней энергии вам в этот день!

SD+Warpfusion
Muse - Plug In Baby (anime version)

Какие интересные пайплайны рождаются на новогодних праздниках.
Felipe Gonzalez после нескольких экспериментов собрал воркфлоу по конвертированию генерации SD в Instant Nerf.

К слову, в его сетапе использовалась RTX 2070, что по его заявлениям катастрофически ущербно.

Пайплайн примерно такой:
1. Создаётся сцена в с 3D софте, фоткается голова в 4 ракурсах.
2. Дальше IMGtoIMG через SD, получаем генерённые те же 4 ракурса.
3. В Photoshop кропаем и выравниваем картинки через Colmap, чтобы получить информацию о камерах.
4. Через Instant Nerf получаем point cloud.

Т.к. SD генерит много лишних деталей, может быть сложно собрать из этого point cloud дату.
Первые шаги неуверенные и короткие, в будущем мы обязательно придумаем что-то более элегантное.

Для бояр с топовыми видюхами, можно поразвлекаться с vid2vid на SD.

Способ не совсем однокнопочный, на посте придётся немного поколдовать с премьером и оптикал флоу или в афтере сделать или нюке.

И небольшой совет – не берите слишком длинные видосы для процессинга, сначала отработайте стиль на паре секунд видео.

Git

Совсем свежий апдейт от Boston Dynamics. Мне сложно оценить какие-то особенности машинного зрения или другие критерии, которые наверняка тут усмотрят кибернетики. Наверняка, не просто так он брал доску под углом. И разогнулся не полностью на втором уровне тоже не просто так, а чтобы не удариться "головой?" или что у него там. Ну и супермягкое приземление после финального сальто, конечно, впечатляет.

Вообще, Бостоны никогда не заявляли, что Атлас ведёт расчёты через модель sim2real.
Кто-то говорит, что его действия жёстко заскриптованы, и смести вы сумку или ступень на пару сантиметров, вся презентация бы порушилась.

Вообще, после всех приколов с фейками Маска с его автопилотом в Тесле я не удивлюсь, что Атласом управляют через мокап 🤖

Давайте отложим споры, графика там была или нет, и посмотрим однозначно на искусство в CG.
Бросьте в меня камень, завёрнутый в деньги, если считаете, что TLOU в плане визуальной составляющей не является искусством.

Jonathan Benainous – художник, синьер со стажем 16 лет в индустрии, чего только стоит реворк купола Капитолия, который он унифицировал через Substance Designer. К слову, синьера от не синьера отличает унификация и автоматизация рабочего процесса.

Статья

Тут художник Rui Huang (не тот Хуанг) показывает свою работу и рабочую станцию, на которой делает крутые картины. Я, пожалуй, тоже покажу в комментах, что я делаю, и свой системник. Вы тоже кидайте результат работы и на чём вы это делаете, не важно, из какой вы сферы)

Ну, и всех с пятницей!

Сорс