Протестировал MicroDreamer.
Вышла на прошлой неделе.

Из плюсов:
1. Очень быстрое время генерации - 1 минута.
2. Очень низкий расход GPU - менее 4Gb. Я такого еще ни у кого не видел.
3. Неплохое качество генерации учитывая время генерации в 1 минуту.
4. Неплохие текстуры.

Минусы:
1. Качество генерации и сетка. Они далеки от идеала.

Для генерации каких-то простых объектов вполне пойдет.

Собрал colab - можете сами попробовать.

#ImageTo3D

MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

Классный инструмент для генерации текстур 3D объектов.
Для описания и классификации материалов авторы используют OpenAI GPTv4, поэтому нельзя считать это полным open-source проектом, только если заменить LLM.

К сожалению, кода нет и, по всей видимости, не ожидается.

Но очень радует качество получаемых текстур. Это значит, что вскоре появятся и open-source решения, которые будут выдавать подобное качество.
Больше примеров можно посмотреть на странице проекта.

Project page

#Paint3D

BrightDreamer: Generic 3D Gaussian Generative Framework for Fast Text-to-3D Synthesis

Протестировал очередной TextTo3D.
Из плюсов есть UI, в котором можно сразу посмотреть результат.
Из минусов качество плохое + нет возможности выгрузки 3D модели, только видео результата.

Можно, наверное, заморочиться и в отдельном репозитории извлечь 3D модель, но не в этом случае т.к. качество не очень.

Код

#TextTo3D

GarmentDreamer: 3DGS Guided Garment Synthesis with Diverse Geometry and Texture Details

Генерация одежды с детализированными текстурами, опережает Text2Mesh и Wonder3D.

Кода, к сожалению, нет.

#TextTo3D

GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

Генерация 3D объекта по 4 изображениям. Есть даже готовый Colab, но в нем нет установки дополнительных модулей, я доработал его.

Просто так закинуть 4 изображения и радоваться не получиться, их надо подготовить в формате датасета MIP360, рассчитать позы камеры и все остальное. Сделать это можно с помощью colmap и репозитория multinerf.

Я прогнал данные, предложенные авторами - результат достаточно шумный. Думаю, на синтетических данных будет плохо работать.

Colab

#ImageTo3D

Всем привет!
Давно не писал, потому что ничего такого по 3D, чем бы очень хотелось поделиться не выходило. Все плюс-минус такого себе качества.

Но я тут запилил бота для генерации изображений. Под капотом пока только одна моделька.
@everyone_ai_bot

Обновил телеграм бота https://t.me/Everyone_ai_bot
Добавил генерацию портретов согласно стилю. Закидываете свою фотку, выбираете стиль и готово.
Получается довольно неплохо)

Наконец я вернулся из отпуска и готов радовать новыми постами 🤩

🎈Во-первых, у меня запланировано много доработок бота для генерации изображений в ближайшие 2 недели.
Я до отпуска добавил возможность генерации портретов согласно стилю, но я тогда не смог победить зависимость CUDA+CuDNN+ONNXRuntime и пришлось снизить разрешение модели, чтобы пролазить по памяти.
Сегодня я его победил и теперь результаты генерации изображения согласно стилю стали лучше.

Еще у меня в генерации стиля стоит простенькая модель определяющая пол и в зависимости от пола я подставляю в промпт photo of a man / photo of a woman. Так вот она может ошибаться, я потом ее заменю. Меня она часто как женщину идентифицирует.

🎈Также вышла пара генераторов 3D, один из них очень даже неплохой. Про них расскажу в следующих постах.

Вот на каких видосах обучают нейронки, а потом говорят, что проблемы с руками 🤷‍♂️