Remi Molette снова отжигает в #warpfusion
#stablediffusion

MinD-Vis: диффузия для чтения мыслей

Представлена диффузионная модель, которая умеет декодировать то, что видит человек по его мозговой активности (fMRI).

Сначала авторы обучили self-supervised модель для получения универсальных эмбеддингов мозговой активности (одинаковых для разных людей). Далее они взяли предобученную Latent Diffusion и добавили к ней cross-attention на эти мысленные репрезентации. После короткого файнтюна на 1.5к парах картинка-fMRI модель смогла полноценно декодировать то, что видит перед собой человек!

Данные для обучения и код выложены в открытый доступ, веса моделей дают по запросу.

Статья, GitHub, блог

Another masterpiece by @sagans

Made with #warpfusion #stablediffusion

🧳 Nvidia представила Magic3D — 3D по текстовому описанию!

Самое крутое в таких работа то, что для них не требуется обучать новую Text-To-3D диффузию. Для задачи вполне подходят уже обученные:
— 2B DALL-E от OpenAI
— 2B Imagen от Google
— 2B eDiff-I от Nvidia
— И конечно же готовящийся новый ???M ** от ********* 😉

Работа по своей сути является eDiff-I-ким гомологом Гугловского Imagen-овского DreamFusion.

👾 Принцип работы очень и очень простой:

Этот алгоритм я уже описывал, так что просто повторю. Это градиентный метод, основанный на Loss-функции, такой как DeepDream. По факту происходит оптимизация рандомно инициализированной 3D модельки (a Neural Radiance Field, or NeRF) через градиенты 2D диффузионных генераций.

То есть по факту, проворачивая такой трюк, не нужно иметь 3D данных вообще!

Подробнее:
1) Рандомная фигура рендерится через NERF (плотность, освещение, цвет)

2) Этот изначальный бред (так как это начало) рендерится в 2D проекцию

3) Затем к картинке подмешивают шум, и все это подается на Text2Image диффузионный Unet

4) После чего Unet предсказывает необходимый денойз

5) Затем из пересказанного денойза вычитается подмешанный шум. и ВУАЛЯ! Дальше все дифференцируемо! Можно пускать градиенты обратно на 3D-модель

📇 project
📄 paper

NeuralLift-360
Генерация 3d по одному изображению.

Это кажется невероятным, но есть одно ограничение, пока 128x128 и без кода.
Хотя аналог от Nvidia предлагает 512x512 качество генераций, но генерация там происходит по тексту.

В общем 3d эра в нейронках началась. Основная проблематика 3d генерится очень долго(около часа для 128x128 на А100 40gb в DreamFusion), Magic3d от Nvidia говорит, что ускоряет этот процесс в 2 раза.

Пока кода Magic3d, как и NeuralLift-360 в открытом доступе нет.

Ожидаем, когда можно будет потестить.

Статья
Сайт
Github