AI Den
41 subscribers
14 photos
4 videos
18 links
Тестирую различные нейронные сети в поисках лучших и делюсь результатами.

По всем вопросам @ddpotapov
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
BrightDreamer: Generic 3D Gaussian Generative Framework for Fast Text-to-3D Synthesis

Протестировал очередной TextTo3D.
Из плюсов есть UI, в котором можно сразу посмотреть результат.
Из минусов качество плохое + нет возможности выгрузки 3D модели, только видео результата.

Можно, наверное, заморочиться и в отдельном репозитории извлечь 3D модель, но не в этом случае т.к. качество не очень.

Код

#TextTo3D
This media is not supported in your browser
VIEW IN TELEGRAM
GarmentDreamer: 3DGS Guided Garment Synthesis with Diverse Geometry and Texture Details

Генерация одежды с детализированными текстурами, опережает Text2Mesh и Wonder3D.

Кода, к сожалению, нет.

#TextTo3D
Media is too big
VIEW IN TELEGRAM
GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

Генерация 3D объекта по 4 изображениям. Есть даже готовый Colab, но в нем нет установки дополнительных модулей, я доработал его.

Просто так закинуть 4 изображения и радоваться не получиться, их надо подготовить в формате датасета MIP360, рассчитать позы камеры и все остальное. Сделать это можно с помощью colmap и репозитория multinerf.

Я прогнал данные, предложенные авторами - результат достаточно шумный. Думаю, на синтетических данных будет плохо работать.

Colab

#ImageTo3D
👍1
Всем привет!
Давно не писал, потому что ничего такого по 3D, чем бы очень хотелось поделиться не выходило. Все плюс-минус такого себе качества.

Но я тут запилил бота для генерации изображений. Под капотом пока только одна моделька.
@everyone_ai_bot
🔥2
Обновил телеграм бота https://t.me/Everyone_ai_bot
Добавил генерацию портретов согласно стилю. Закидываете свою фотку, выбираете стиль и готово.
Получается довольно неплохо)
Наконец я вернулся из отпуска и готов радовать новыми постами 🤩

🎈Во-первых, у меня запланировано много доработок бота для генерации изображений в ближайшие 2 недели.
Я до отпуска добавил возможность генерации портретов согласно стилю, но я тогда не смог победить зависимость CUDA+CuDNN+ONNXRuntime и пришлось снизить разрешение модели, чтобы пролазить по памяти.
Сегодня я его победил и теперь результаты генерации изображения согласно стилю стали лучше.

Еще у меня в генерации стиля стоит простенькая модель определяющая пол и в зависимости от пола я подставляю в промпт photo of a man / photo of a woman. Так вот она может ошибаться, я потом ее заменю. Меня она часто как женщину идентифицирует.

🎈Также вышла пара генераторов 3D, один из них очень даже неплохой. Про них расскажу в следующих постах.
5
This media is not supported in your browser
VIEW IN TELEGRAM
Вот на каких видосах обучают нейронки, а потом говорят, что проблемы с руками 🤷‍♂️
😁10👍2
Всем привет!

Обновил бота для генерации!
https://t.me/Everyone_ai_bot

Если бот не отвечает, перезагрузите его отправив /restart

Основные обновления:
👉 Переделал UI - он стал удобнее и приятнее.
👉 Добавил 8 моделей для генерации: аниме, фотореалистичные портреты, иконки и все остальное.
👉 Улучшил качество стилизации портрета.
👉 В стилизации портрета можно выбрать базовую модель. Разные модели генерируют по-разному.
👉 Теперь в стилизации портрета можно задавать свой стиль и генерировать вообще все, что душе угодно - зомби, дисней, кровавый ворон из Warhammer и все, что в голову придет.
👉 Можно выбрать разрешение генерируемого изображения.
👉 Изображения теперь скачиваются в PNG для сохранения качества.
👍3🤝1
Давно не писал про свои эксперименты.
Не так давно вышел Kolors - это аналог stable diffusion, только от китайцев. Я его не смотрел, потому что он был уж совсем голый - ни ControlNet, ни LoRA. Но в выходные к нему прикрутили ControlNet и IP Adapter.

Еще много писали, что Kolors хорошо понимает промпт.
Вчера я его протестировал, мои выводы следующие:
1. Неплохо понимает промпт, особенно на китайском языке (гугл переводчик в помощь).
2. Не очень хорошо справляется со сложными сценами, где происходит взаимодействие объектов, персонажей.

В общем, он неплох для описания какого то одного персонажа.
Он, кстати, пролазит в 16Gb GPU если включить pipe.enable_model_cpu_offload()

На китайском результаты правда получаются лучше. Первое фото на китайском, второе на английском.
a young man with beard and glasses watching in the window, raining, forest, bear in the background
一个留着胡子、戴着眼镜的年轻人在窗边看着,背景是雨、森林和熊
👍1🤨1
И вдогонку про IP Adapter в Kolors. Я использую в боте Instant ID для стилизации портретов, поэтому мне было интресно, что покажет Kolors.
В общем, совсем непохоже получается. Пробовал на разных людях - генерирует другого человека.
На первом фото я, на втором типа я в соломенной шляпе.
👍4
Вышел новый генератор картинок!
Fliux — генератор изображений на 12 млрд параметров от Fal.ai и Black Forest Labs.

Разработчики - выходцы из Stability AI, отсюда понятно, почему такое крутое качество.
Очень хорошо поработали над руками и текстами. Также хорошо получаются отражения, текстуры, свет.
Все отмечают, что очень хорошо слушает промпт.

Единтсвенное модель весит 24Gb. Локальный запуск съедает около 40Gb GPU.
Умельцы уже прикрутили к ComfyUI на 12Gb, но я не пробовал.

Также разработчики обещали сделать генерацию видео и выложить ее в open source, так что ждем ☺️

Доступно в 3 вариантах:

— FLUX.1 [pro]: топовая модель, работает по API или онлайн;
— FLUX.1 [dev]: базовая модель с открытым исходным кодом, в 2 раза быстрее Pro, но с худшим качеством;
— FLUX.1 [schnell]: младшая модель для локального запуска.

Попробовать FLUX.1 [pro]
Попробовать FLUX.1 [dev]
Попробовать FLUX.1 [schnell]
Github
🔥5