Нейронавт | Нейросети в творчестве
8.07K subscribers
2.97K photos
2.43K videos
35 files
3.32K links
Канал про нейросети в компьютерной графике, в кино и вообще

для связи @Neuronauticus
Download Telegram
ControlNet Tile для SDXL

Никто не ждал, но xinsir сделал контролнет для SDXL.
На странице модели примеры деблюра, апскейла, вариаций

#controlned #sdxl #deblur #upscale #variation
Помните Cuebric?

Они навертели обновок

- Увеличили разрешение генерации изображений до 1080p с возможностью апскейла до 8K

- Улучшили кисть для инпейнтинга.

- Gen Mesh - генератор 3D по изображению. Поддержка стандартных отраслевых 3D-форматов, включая .fbx и .usd

Неудобно что не посмотреть меш перед экспортом, генерация 3D модели начинается после выбора формата и нажатия кнопки экспорт, после этого вы получаете архив с моделькой и картами глубины. ДА, кстати, она создает 3D через карту глубины. И называется это у них 2.75D

#imageto3d #tools #upscale #inpainting #segmentation #image2depth #text2image
InstantIR: Blind Image Restoration with Instant Generative Reference

Семейство моделей для реставрации изображений "с высочайшим качеством и реалистичностью деталей". А для пущего эффекта можно еще и использовать текстовые промпты, вплоть до редактирования содержимого

Код
Веса
Демо ждем

#imagerestoration #BIR #imageediting #image2image #upscale
Открылся демоспейс реставратора изображений InstantIR

Демо

#imagerestoration #BIR #imageediting #image2image #upscale
Разводим реставратор InstantIR в #ComfyUI
Бонусом еще один демоспейс. Собрал все ссылки в кучу

Демо2
Демо2
ComfyUI_InstantIR_Wrapper
Код
Веса

#imagerestoration #BIR #imageediting #image2image #upscale
Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models

Генерация фотореалистичных изображений с пиксельной точностью от Nvidia. Отсутствует CLIP, пиксельное пространство вместо латентного.

Фичи:
- картинки по тексту
- ControlNet-апсемплинг до 4K (генератор выдает 1K)
- поддерживает Controlnet, сети управления
- HDR панорамы 360°
- дообучение, в том числе на несколько объектов

Впечатляет, но

Кода нет

#text2image #panorama #HDR #conditioning #upscale
ControlNets for Stable Diffusion 3.5 Large

Какое совпадение - 2
Вслед за Blackforest Labs, Stability AI выпускают пачку контролнетов к SD 3.5 Large

Blur - апскейлер до 8К и 16К
Canny
Depth

Веса на HF
Гитхаб
Уже в ComfyUI

#conditioning #controlnet #sd35 #text2image #upscale #depth2image
CCSR-v2.0

Обновился апскейлер CCSR

- Теперь пользователи могут сами выбирать, сколько степов нужно сделать, чтобы восстановить изображение, без необходимости заново обучать алгоритм.
- работает очень быстро и может восстановить изображение всего за 1-2 шага.
- восстанавливает изображение с более четкими деталями, сохраняя при этом точность воспроизведения.
- Теперь алгоритм работает проще, потому что результат первого шага сразу передается на второй шаг

Спасибо @asleephidden

#upscale
InvSR

Апскейлер на инверсии диффузии.
Короче еще один способ качественно увеличить картинку

Код
Демо HF
Демо Replicate
Колаб

#upscale
Deep Fourier-based Arbitrary-scale Super-resolution for Real-time Rendering

Свежий апскейлер, рилтайм.

Отличительная особенность - повышает разрешение изображения в любое количество раз.

Судя по всему, предназначен для повышения разрешения рендера игровых движков

Код
Видео от двухминутного доктора

#upscale #realtime
Media is too big
VIEW IN TELEGRAM
STAR: Spatial-Temporal Augmentation with Text-to-Video Models for Real-World Video Super-Resolution

Апскейлер видео от ByteDance

Они там придумали как апскейлить видео при помощи видеогенераторов, сохраняя консистентность во времени.

Основано на I2VGen-XL, VEnhancer, CogVideoX и OpenVid-1M

Прикручено к I2VGen-XL и CogVideoX-5B

Претрейн на CogVideX-5B поддерживает исходники только 720x480

Иyфу по потреблению VRAM не нашел

Код
Демо

#upscale #enhance #video2video
This media is not supported in your browser
VIEW IN TELEGRAM
Upscayl v2.5.5

Обновился опенсорсный инструмент для апскейла изображений - интерфейс для RealESRGAN и других зарекомендовавших себя моделей

Код

#upscale #gui
Gigapixel AI Recover & Enhance

Мобильное приложение от Topaz Labs для апскейла и реставрации фото доступно в AppStore

При первом запуске приложение скачивает 1.4 Гб моделей локально. Но это какой-то ограниченный функционал, только обработка лиц. Для полного функционала потребуется обработка в облаке

Халявная ли локальная обработка - непонятно 🤷

Обработка в облаке за кредиты. На старте дают 100 кредитов, на обработку одного фото у меня ушло 3 кредита

#upscale #mobile #iOS #deblur #imagerestoration #enhance #facerestoration
DreamClear: High-Capacity Real-World Image Restoration with Privacy-Safe Dataset Curation

Реставратор фото от ByteDance и ряда соавторов

Под капотом помимо собственной модели целый зоопарк:

PixArt-α-1024
sd-vae-ft-ema
T5 Text Encoder: t5-v1_1-xxl
LLaVA
SwinIR

Код

#imagerestoration #facerestoration #upscale #deblur
This media is not supported in your browser
VIEW IN TELEGRAM
Luma апскейл 4K

Недавно всем выдали доступ к своей модели Ray 2
А теперь вот представили видеоапскейлер для генераций

Ну и не стоит ждать от него чудес

#upscale