тоже моушн

Forwarded from Мишин Лернинг

0:10

👾Мир иллюстраторов и аниматоров никогда не будет прежним

Скажем вместе: спасибо тебе, диффузия! Кстати делать анимации, используя DALL•E 2 в режиме инпэинтинга становится новым трендом.

Правда пока это не полноценная Text2Video диффузия, но благодаря инпэинтингу уже можно делать разные движения, зумы и повороты, постепенно генерируя новую и новую область.

Но даже эта возможность открывает DALL•E 2 двери в анимацию, и выгодно отличает ее от Imagen, который из коробки не имеет Image Inpainting файнтюна. Но архитектурных ограничений у Imagen нет, так что все возможно.

Посмотрим что ждет нас впереди. Полноценный Text2Video Diffusion уровня DALL•E 2 не за горами.

@mishin_learning

🔥28👍4

3.56K views22:25

Forwarded from PHYGITAL+ART

0:08

Больше 280 (!) нейронных сетей для работы с графикой на одном сайте

Мы сделали самую большую библиотеку нейронных сетей для работы с графикой. Она бесплатна и обновляется ежедневно - AI library by Phygital+

Внутри удобный поиск, описание, примеры и гуглколабы для ускорения работы креатора и повышения его воображения. Пишите обратную связь автору канала: что хотите добавить, какой функционал нужен.

А чтобы дать возможность всем освоить ИИ, скоро мы анонсируем серию открытых лекций и OpenCall для художников о том, как ИИ можно использовать в своих работах. Подписывайтесь)

А если хотите первыми получить доступ к нашему продукту, который соединил лучшие нейронные сети в одном удобном интерфейсе - добавляйтесь тут в waitlist

🔥48👍7👎1

3.83K views10:04

0:13

отличный пример использования инпейнтинга в DALL-E 2 для создания весьма креативной анимации! за наводку спасибо @denissexy

сорс

❤50🔥12👍1👎1

11.7K views16:54

Forwarded from Not Boring Tech

🌼 Встречайте нового конкурента DALLE-2 — нейросеть Make-A-Scene от Meta (запрещённая организация в РФ) создаёт изображения потрясающего качества. Ей нужно скормить не только текстовый запрос, но и набросок от руки — так нейронка лучше понимает, что вы хотите сгенерировать. Подход довольно эффективен и в 66% случаев точнее отображает желаемую идею. Результаты получаются очень хорошими, но пока нельзя поиграться, ждём кода. Взял отсюда.

#AI | Not Boring Tech

🔥44👍5🤯3👎1😁1

4.18K views17:41

игрался с вариациями в далли - это когда ты без текстового запроса получаешь набор версий похожих на входящую картинку - и случайно сделал сет сладких няшных 3д аватарок. если хочешь себе такую, го в коменты, там можно забрать

@тоже_моушн

🔥49❤12👍2

3.95K views15:48

Gallery PsyGan | Immersive AI Projection Mapping with Unreal Engine 5

Forwarded from РЕПТИЛОИДНАЯ (Denis Rossiev)

AI × 3D

К сожалению, пока что генерация полноценных 3D моделей с помощью нейросетей получается плохо и медленно (последний раз, когда я пытался, сетка работала 2 часа и на выходе получилось качество 10 шакалов из 10)

Зато вот с ре-проекциями можно поработать. Я это уже делал: генерировал с помощью DALLE лица с макияжами, затем с помощью фейстрекинга Spark AR извлекал текстуру с лица и натягивал обратно на 3D-модель (или другое лицо).

А вот тут чуваки заморочились и использовали похожий подход для 3D-окружений: отрендерили сцену в виде черно-белого каркаса, сгенерили поверх него нейронкой текстуры и спроецировали обратно. Делается легко, получается красиво.

Процесс на видео с 0:40: https://www.youtube.com/watch?v=jZskAizpzRU

YouTube

This psychedelic gallery pairs AI generated art with Unreal Engine 5 and virtual reality to produce a unique exploration of dimension and visual style.

Feel free to try the Desktop build: https://thosesixfaces.itch.io/gallery-psygan

#unrealengine #aigenerated…

👍12🔥4❤2

3.52K views19:45

офигенный сайт на котором можно любую картинку превратить в простую анимацию с добавлением эффекта параллакса. функционал ограничен, есть несколько пресетов на выбор и минимум настроек, зато без регистрации и смс

за подгон спасибо Нейросети и Блендер

@тоже_моушн

👍33🔥15❤3

5.22K views10:51

хороший гайд на русском - как запустить Stable Diffusion внутри блендера (сложна)

похоже что не обойдется без продолжительных танцев с бубнами, после которых аддон Dream Textures позволит генерировать уникальные бесшовные текстуры. дальше их можно натягивать на свою геометрию. а если убрать галочку seamless то можно и арты генерить, правда разрешение упирается в возможности видео карты

а я все жду когда в открытый доступ выйдет плагин который забирает примитивную картинку из вьюпорта и делает красиво с помощью SD

видео на ютуб
аддон на гитхаб

@тоже_моушн

👍10❤2🔥2

7.65K views09:43

0:05

если попросить Stable Diffusion нарисовать какую то известную личность, с этим проблем не возникнет. а что если я хочу изобразить себя, свою бабушку или условного заказчика арта? для этого придумали Dreambooth, который по нескольким фотографиям может научить SD рисовать конкретного человека (кошку/собаку/etc), причем делает это очень неплохо. ребята из Corridor Crew недавно на этом знатно хайпанули

вот небольшой гайд на английском как это дело провернуть в колабе, причем говорят что обучение влезет даже в бесплатную версию

осталось прикрутить все это к генерации видео, надеюсь умельцы не заставят ждать

видео на ютуб
колаб

@тоже_моушн

❤23🔥6👍2👏1

5.08K views10:47

Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)

0:38

0:17

"Pointcloud Occlusion Inpainting with Stable Diffusion"

Пока мамкины диффюзеры бесхитростно, но с восторгом склеивают кадры из Stable Diffusion с помощью дефорума, пацаны с опытом постпродакшена достают грубину, композят инпайнтингом и работают с камерой. Поглядите, что творит Дима Точилкин.

Основная идея алгоритма состоит в том, чтобы сохранить нетронутыми части изображения, известные по предыдущему кадру, и закрасить только те области изображения, которые отсутствуют. Мы можем определить, что известно, а чего не хватает, по карте глубины и преобразованию камеры.

Он в значительной степени зависит от качества карт глубины и использует предположение, что SD имеет неявные знания о геометрии сцены на изображении. Таким образом, он может правдоподобно закрашивать недостающие части без явного знания трехмерных сеток сцены.

Он интерполирует отсутствующую информацию, «деформируя» пространство, что хорошо для художественных или триповых видео, но не подходит для реалистичной анимации.

Если хотите узнать больше про "Pointcloud Occlusion Inpainting with Stable Diffusion" и анимацию, читайте тред в Твитторе - пример того, как AI Filmmaking приобретает черты технологии, а не только восторженных демок в телеграмме.

https://twitter.com/cut_pow/status/1576748595109593088

🔥29❤1👍1

2.5K views08:15

Forwarded from Мишин Лернинг

🚀 IMAGEN VIDEO — Диффузии уже не остановить!

tl;dr
Помните Make-A-Video от MetaAI? Так вот — забудьте! Команда Google Brain только что создало лучшее Text-to-Video решение!

Если вкратце, то это имагеновый гомолог далишного Make-A-Video 🤖

Ну, а если чуть подробнее:

— Text Prompt подается в T5 энкодер
— Затем Base Model (5.6B ❤️) диффузит 16 кадров 40x24 pix в скромных 3 fps
— Затем темпоральный апсемплер TSR (1.7B) делает 32 кадра 40x24pix уже в 6 fps
— И пространственный апскейлер SSR-1 (1.4B) готовит предыдущие 32 кадра в разрешении 80x48 pix, и сразу второй SSR-2 (1.2B) делает 320x192
— Затем следуют еще два стейджа временного и один каскад пространственного суперреза и в итоге мы получаем 128 кадров в разрешении 1280x768 в 24fps

Основной фишкой такого подхода является Video U-Net — архитектура видео-юнет, пространственные операции которого выполняются независимо по кадрам с общими параметрами (батч х время, высота, ширина, каналы), тогда как временные операции работают уже по всему 5-ти мерному тензору (батч, время, высота, ширина, каналы).

Сделаю потом более подробный пост, а пока рекомендую всем посмотреть результаты на сайте проекта!

🚀 Imagen Video
📄 paper

🤖 м и ш и н л е р н и н г

🔥6🤯4👍3❤2🎉1

2.08K views19:50

0:57

итак, задачка - запечатлеть себя в нейроанимации Stable Diffusion. для этого автор взял 20 своих фоточек, обучил Dreambooth, сохранил веса в ckpt файл, который затем использовал как модель в SD в режиме анимации

пост в твитторе
короткий гайд про конвертацию в ckpt
колаб Dreambooth

@тоже_моушн

🔥44👍8❤5

3.43K views22:35

Forwarded from Нейросети и Блендер

2:04

Stable Diffusion в VR + Touchdesigner

Реалтайм концепт не просто с VR, но ещё и интерполяцией по векторному пространству основываясь на Deforum Diffusion colab.

Выглядит безумно!

Ожидаем больше технической информации как сделать так самостоятельно.

Автор - один из dev в Deforum.
Спасибо за наводку @Denis

❤20👍9🔥4

2.84K views04:49