Всем привет!
Меня зовут Денис и в этом канале я буду рассказывать вам о своих поисках алмазов среди гор щебенки на arxiv.org.

В данный момент я буду преимущественно рассматривать статьи, связанные с 2D/3D генерацией, текстурированием. Также буду заезжать LLMки и все, что я посчитаю достойным внимания.

GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation

Свежая статья, вышла месяц назад. Подходит как для ImageTo3D так и для TextTo3D.
Paper
Github
HuggingFace Demo

Есть репозиторий, но кода нет, авторы пишут:
The code and models will be released soon!
Поэтому ждем... Но судя по тому, что они не отвечают в issues на вопросы о том, когда будет код, то не факт, что дождемся.

Не нашел в статье информацию о мощностях, необходимых для инференса. Время генерации на huggingface space 20 сек. Качество достаточно неплохое, но детали теряются. Какие-то объекты с округлыми формами можно делать, но не более.

#imageTo3D #textTo3D

Magic-Boost: Boost 3D Generation with Mutli-View Conditioned Diffusion

Свежая работа по imageTo3D, вышла 3 недели назад. Судя по результатам, представленным авторами, качество очень хорошее.
Project Page
Github

Кода нет, но ребята обещают выложить в мае. Так что ждем.
Время генерации заявлено 15 минут и необходима будет A100, поэтому ориентируемся на 40GB GPU для инференса.

#imageTo3D

Diffusion Time-step Curriculum for One Image to 3D Generation (CVPR 2024)

Еще одна работа по ImageTo3D. Разработчики предлагают использовать специальную схему оптимизации с помощью моделей учителя и ученика, позволяющую улучшить детализацию генерируемых моделей.

Время генерации обещают 25 минут и нужна будет A100.
Кода нет, но я спросил в issues про него, сказали, что к CVPR 2024 зарелизят (июнь 2024).

Paper
Github

#imageTo3D

Compress3D: a Compressed Latent Space for 3D Generation from a Single Image

Статья от 20 марта 2024.
Создает 3D объект по одному изображению. Заявляют время генерации 7 секунд на единственной A100. Для 7 секунд качество очень неплохое.
Кода, к сожалению, нет и даже какого-то намека на то, что он будет тоже. Но может все-таки выложат позже. Если код появится, то я напишу об этом отдельно.

Paper
Project Page

#ImageTo3D

Portrait3D: Text-Guided High-Quality 3D Portrait Generation Using Pyramid Representation and GANs Prior

Генерация консистентных портретов по текстовой подсказке.
Статья вышла 2 недели назад и даже есть код.

Я посмотрел readme в репозитории - шагов достаточно много и, скорей всего, чтобы завести это придется попытхнеть.
Обещают генерацию за 30 минут и 24GB GPU для инференса.

На выходе, к сожалению, не геометрия, а .mrc файл, который потом можно конвертировать в .obj, но авторы пишут, что с текстурами будет все плохо, и они планируют в будущем это пофиксить.

Paper
Github

#TextTo3D #HumanGeneration

OpenLRM: Open-Source Large Reconstruction Models

Неплохая модель для быстрого прототипирования. Есть small, base и large модели. Large модель не пролазит на A100 40GB, поэтому я пробовал только base модель.

Собрал colab notebook - можете попробовать сами, base модель пролазит на бесплатную T4 GPU.
На выходе ply файл с геометрией и видео результата (результат сохраняется в папке dumps).
Время генерации около 1 минуты.
Также есть демо на HuggingFace, там тоже можно попробовать.

Github
Colab
HF Demo

#ImageTo3D

Я также буду добавлять все решения из этого канала в соответсвующий Github репозиторий.
Там можно посмотреть все решения, разбитые по категориям.
https://github.com/denred0/Awesome-3D-Generation

Обновился meshy.ai - платный 3D генератор.
Раньше можно было генерировать только по текстовой подсказке, теперь можно и по изображению.

Дают 200 кредитов в месяц - это 8 моделей.
Если покупать подписку, то можно наделать 40 моделей в месяц, каждая обойдется в 50 руб.

Качество лучше, чем у open-source решений, но я бы не сказал, что качество ГОРАЗДО лучше. Также есть проблемы с топологией и мелкие детали съедаются. Плюс текстуры мыльные.
Но время генерации только 5 минут.

Микки маус получился неплохо, но это относительно простая модель для генерации.

#ImageTo3D

Протестировал MicroDreamer.
Вышла на прошлой неделе.

Из плюсов:
1. Очень быстрое время генерации - 1 минута.
2. Очень низкий расход GPU - менее 4Gb. Я такого еще ни у кого не видел.
3. Неплохое качество генерации учитывая время генерации в 1 минуту.
4. Неплохие текстуры.

Минусы:
1. Качество генерации и сетка. Они далеки от идеала.

Для генерации каких-то простых объектов вполне пойдет.

Собрал colab - можете сами попробовать.

#ImageTo3D

MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

Классный инструмент для генерации текстур 3D объектов.
Для описания и классификации материалов авторы используют OpenAI GPTv4, поэтому нельзя считать это полным open-source проектом, только если заменить LLM.

К сожалению, кода нет и, по всей видимости, не ожидается.

Но очень радует качество получаемых текстур. Это значит, что вскоре появятся и open-source решения, которые будут выдавать подобное качество.
Больше примеров можно посмотреть на странице проекта.

Project page

#Paint3D

BrightDreamer: Generic 3D Gaussian Generative Framework for Fast Text-to-3D Synthesis

Протестировал очередной TextTo3D.
Из плюсов есть UI, в котором можно сразу посмотреть результат.
Из минусов качество плохое + нет возможности выгрузки 3D модели, только видео результата.

Можно, наверное, заморочиться и в отдельном репозитории извлечь 3D модель, но не в этом случае т.к. качество не очень.

Код

#TextTo3D

GarmentDreamer: 3DGS Guided Garment Synthesis with Diverse Geometry and Texture Details

Генерация одежды с детализированными текстурами, опережает Text2Mesh и Wonder3D.

Кода, к сожалению, нет.

#TextTo3D

GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

Генерация 3D объекта по 4 изображениям. Есть даже готовый Colab, но в нем нет установки дополнительных модулей, я доработал его.

Просто так закинуть 4 изображения и радоваться не получиться, их надо подготовить в формате датасета MIP360, рассчитать позы камеры и все остальное. Сделать это можно с помощью colmap и репозитория multinerf.

Я прогнал данные, предложенные авторами - результат достаточно шумный. Думаю, на синтетических данных будет плохо работать.

Colab

#ImageTo3D

Всем привет!
Давно не писал, потому что ничего такого по 3D, чем бы очень хотелось поделиться не выходило. Все плюс-минус такого себе качества.

Но я тут запилил бота для генерации изображений. Под капотом пока только одна моделька.
@everyone_ai_bot

Обновил телеграм бота https://t.me/Everyone_ai_bot
Добавил генерацию портретов согласно стилю. Закидываете свою фотку, выбираете стиль и готово.
Получается довольно неплохо)

Наконец я вернулся из отпуска и готов радовать новыми постами 🤩

🎈Во-первых, у меня запланировано много доработок бота для генерации изображений в ближайшие 2 недели.
Я до отпуска добавил возможность генерации портретов согласно стилю, но я тогда не смог победить зависимость CUDA+CuDNN+ONNXRuntime и пришлось снизить разрешение модели, чтобы пролазить по памяти.
Сегодня я его победил и теперь результаты генерации изображения согласно стилю стали лучше.

Еще у меня в генерации стиля стоит простенькая модель определяющая пол и в зависимости от пола я подставляю в промпт photo of a man / photo of a woman. Так вот она может ошибаться, я потом ее заменю. Меня она часто как женщину идентифицирует.

🎈Также вышла пара генераторов 3D, один из них очень даже неплохой. Про них расскажу в следующих постах.

Вот на каких видосах обучают нейронки, а потом говорят, что проблемы с руками 🤷‍♂️