Portrait3D: Text-Guided High-Quality 3D Portrait Generation Using Pyramid Representation and GANs Prior

Генерация консистентных портретов по текстовой подсказке.
Статья вышла 2 недели назад и даже есть код.

Я посмотрел readme в репозитории - шагов достаточно много и, скорей всего, чтобы завести это придется попытхнеть.
Обещают генерацию за 30 минут и 24GB GPU для инференса.

На выходе, к сожалению, не геометрия, а .mrc файл, который потом можно конвертировать в .obj, но авторы пишут, что с текстурами будет все плохо, и они планируют в будущем это пофиксить.

Paper
Github

#TextTo3D #HumanGeneration

OpenLRM: Open-Source Large Reconstruction Models

Неплохая модель для быстрого прототипирования. Есть small, base и large модели. Large модель не пролазит на A100 40GB, поэтому я пробовал только base модель.

Собрал colab notebook - можете попробовать сами, base модель пролазит на бесплатную T4 GPU.
На выходе ply файл с геометрией и видео результата (результат сохраняется в папке dumps).
Время генерации около 1 минуты.
Также есть демо на HuggingFace, там тоже можно попробовать.

Github
Colab
HF Demo

#ImageTo3D

Я также буду добавлять все решения из этого канала в соответсвующий Github репозиторий.
Там можно посмотреть все решения, разбитые по категориям.
https://github.com/denred0/Awesome-3D-Generation

Обновился meshy.ai - платный 3D генератор.
Раньше можно было генерировать только по текстовой подсказке, теперь можно и по изображению.

Дают 200 кредитов в месяц - это 8 моделей.
Если покупать подписку, то можно наделать 40 моделей в месяц, каждая обойдется в 50 руб.

Качество лучше, чем у open-source решений, но я бы не сказал, что качество ГОРАЗДО лучше. Также есть проблемы с топологией и мелкие детали съедаются. Плюс текстуры мыльные.
Но время генерации только 5 минут.

Микки маус получился неплохо, но это относительно простая модель для генерации.

#ImageTo3D

Протестировал MicroDreamer.
Вышла на прошлой неделе.

Из плюсов:
1. Очень быстрое время генерации - 1 минута.
2. Очень низкий расход GPU - менее 4Gb. Я такого еще ни у кого не видел.
3. Неплохое качество генерации учитывая время генерации в 1 минуту.
4. Неплохие текстуры.

Минусы:
1. Качество генерации и сетка. Они далеки от идеала.

Для генерации каких-то простых объектов вполне пойдет.

Собрал colab - можете сами попробовать.

#ImageTo3D

MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

Классный инструмент для генерации текстур 3D объектов.
Для описания и классификации материалов авторы используют OpenAI GPTv4, поэтому нельзя считать это полным open-source проектом, только если заменить LLM.

К сожалению, кода нет и, по всей видимости, не ожидается.

Но очень радует качество получаемых текстур. Это значит, что вскоре появятся и open-source решения, которые будут выдавать подобное качество.
Больше примеров можно посмотреть на странице проекта.

Project page

#Paint3D

BrightDreamer: Generic 3D Gaussian Generative Framework for Fast Text-to-3D Synthesis

Протестировал очередной TextTo3D.
Из плюсов есть UI, в котором можно сразу посмотреть результат.
Из минусов качество плохое + нет возможности выгрузки 3D модели, только видео результата.

Можно, наверное, заморочиться и в отдельном репозитории извлечь 3D модель, но не в этом случае т.к. качество не очень.

Код

#TextTo3D

GarmentDreamer: 3DGS Guided Garment Synthesis with Diverse Geometry and Texture Details

Генерация одежды с детализированными текстурами, опережает Text2Mesh и Wonder3D.

Кода, к сожалению, нет.

#TextTo3D

GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

Генерация 3D объекта по 4 изображениям. Есть даже готовый Colab, но в нем нет установки дополнительных модулей, я доработал его.

Просто так закинуть 4 изображения и радоваться не получиться, их надо подготовить в формате датасета MIP360, рассчитать позы камеры и все остальное. Сделать это можно с помощью colmap и репозитория multinerf.

Я прогнал данные, предложенные авторами - результат достаточно шумный. Думаю, на синтетических данных будет плохо работать.

Colab

#ImageTo3D

Всем привет!
Давно не писал, потому что ничего такого по 3D, чем бы очень хотелось поделиться не выходило. Все плюс-минус такого себе качества.

Но я тут запилил бота для генерации изображений. Под капотом пока только одна моделька.
@everyone_ai_bot

Обновил телеграм бота https://t.me/Everyone_ai_bot
Добавил генерацию портретов согласно стилю. Закидываете свою фотку, выбираете стиль и готово.
Получается довольно неплохо)

Наконец я вернулся из отпуска и готов радовать новыми постами 🤩

🎈Во-первых, у меня запланировано много доработок бота для генерации изображений в ближайшие 2 недели.
Я до отпуска добавил возможность генерации портретов согласно стилю, но я тогда не смог победить зависимость CUDA+CuDNN+ONNXRuntime и пришлось снизить разрешение модели, чтобы пролазить по памяти.
Сегодня я его победил и теперь результаты генерации изображения согласно стилю стали лучше.

Еще у меня в генерации стиля стоит простенькая модель определяющая пол и в зависимости от пола я подставляю в промпт photo of a man / photo of a woman. Так вот она может ошибаться, я потом ее заменю. Меня она часто как женщину идентифицирует.

🎈Также вышла пара генераторов 3D, один из них очень даже неплохой. Про них расскажу в следующих постах.

Вот на каких видосах обучают нейронки, а потом говорят, что проблемы с руками 🤷‍♂️