Нейронавт | Нейросети в творчестве
8.7K subscribers
3.16K photos
2.61K videos
36 files
3.55K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus
Download Telegram
Neural Gaffer: Relighting Any Object via Diffusion

Казалось бы, у нас уже есть IC-light, ан нет, он недостаточно хорош. А кто хорош? Neural Gaffer делает релайтинг по одному изображению. Умеет релайтить картинки и nerf'ы. И делает это лучше IC-light (судя по видео с сайта).
Да, на сайте есть ссылки на пару похожих проектов

Код ждем

#relighting
This media is not supported in your browser
VIEW IN TELEGRAM
Subsurface Scattering for Gaussian Splatting

Подповерхностное рассеивание света для гауссиан!
Метод производит декомпозицию материала по типу PBR и релайтит объект в реальном времени

Прикрутите уже все эти фичи в блендер!

Код обещают в конце октября

#relighting #realtime #rendering #gaussian #novelview
Media is too big
VIEW IN TELEGRAM
A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

Реконструкция сцен с релайтингом на гауссианах. Среди разработчиков Adobe Research

Код ждем

#relighting #gaussian #novelview
This media is not supported in your browser
VIEW IN TELEGRAM
GS^3: Efficient Relighting with Triple Gaussian Splatting

Релайтинг сцен на гауссианах.
На вход набор изображений. На выходе рендер с заданным освещением.

Код

#relighting #gaussian
IC-Light V2

Вторая версия релайтера, на базе Flux
Умеет корректно работать со стилизованными изображениями, нативное высокое разрешение

Код ждем
Демо пробуем

#relighting
IC-Light V2-Vary

Альтернативные модели релайтера IC-Light V2 для тех кому нужны более мощные варианты освещения и модификации

Люди на гитхабе в один голос спрашивают будет ли опенсорс, но автор еще ничего не ответил

Демо

#relighting
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA Broadcast 2.0.0

День звука на канале продолжается

Обновилась утилита рилтаймовой обработки звука и видео

По звуку:
удаляет эхо, посторонний шум, оставляя голос. наверчивает ИИ-эквалазер, приближая говномикрофоны к студийному качеству

По видео: направляет зрачки в камеру, блюрит фон, заменяет фон, удаляет шум. Релайтинг лица - подсвечивает лицо виртуальным источником.

#realtime #streaming #denoise #audioenhance #eyecontact #bgreplacement #bg #relighting #deecho
LuminaBrush

Экспериментальный проект lllyasviel, похожий на IC-Light
Эффект освещения задаем цветными мазками кисти и текстовым промптом, на выходе получаем наш картинку, где персонаж помещен в другие условия освещения.

Обработка происходит в два этапа. На первом этапе объект приводят к равномерному освещению. Из этого этапа автор сделал отдельную фичу, см второе демо.

Гитхаб - там кода нет, только описание и примеры, так обычно оформляют сайт проекта
Демо
Демо2 равномерное освещение

#relighting
Diffusion Self-Distillation for Zero-Shot Customized Image Generation

Персонализация для генераторов картинок.
Применяют самодистилляцию - дообучение модели на ею же сгенерированном наборе пар картинок.

Считают что превзошли все методы персонализации без дообучения.

Метод применим для релайтинга

#тестбендера в комментах

Код
Демо

#text2image #personalization #relighting
LBM: Latent Bridge Matching for Fast Image-to-Image Translation

Универсальный метод преобразования изображений

Примеры применения: удаление объекта, генерация карт нормалей и глубины, релайтинг, реставрация/улучшение

Код
Демо (релайтинг)

#image2image #imageediting #inpainting #objectremoval #relighting #image2depth #image2normal #enhance #imagerestoration
Дайджест интересного о чем не успел написать отдельным постом

Free AI background remover: бесплатное удаление фона онлайн от Adobe #backgroundremoval

MANUS: хайповый автономный агент (записаться в вейтлист) для выполнения задач на компе, собранный из 29 инструментов. Есть расширения Chrome и Edge, аппки Android / IOS и приложения для ПК но бесплатно они мало что могут #agent

ANUS: MANUS клонировал сам себя в опенсорс #agent

OpenManus: ANUS, но рабочий. спасибо @Qwinty

Mirage от Captions: генератор видеоблогеров. За ваши $199 генерит и шевелит поясной портрет, а не только голову

Pika: добавили эффекты для превращения в ребёнка, героя, принцессу, или музейный экспонат. Pikaswaps и Pikadditions теперь генерят в 1080p. #image2video

WAN effects/LoRAs: тем временем подобные же эффекты в опенсорсе #image2video

SkyReels: добавили липсинк к своему генератору видео. Демо. #lipsync

FLARE: получение новых видов сцены или её 3D геометрии из несшитых рандомных фоток. Код / Демо #image2mesh #novelview #imageto3d

CTRL-D: редактирование видео промтом. Код #videoediting #video2video

Ideogram: выпустили Ideogram 2a и версию Turbo, для более быстрой и дешевой генерации картинок. Также улучшились тексты на них. #text2image

Light-a-Video: для релайтера видео появилось ComfyUI #relighting #comfyUI

Tight Inversion SDXL: редактирование картинок промтом. #imageediting