Media is too big
VIEW IN TELEGRAM
Еще один поезд, но с меньшим FoV (40 vs 120), отсюда чуть быстрее движение, но и больше искажений при анимации.
👍6🔥4
Думаю запилить следующую коллекцию из работ в стилистике Simon Stalenhag.
Урбанистические пейзажи в его исполнении просто великолепны.
Урбанистические пейзажи в его исполнении просто великолепны.
👍11🔥3
Forwarded from shonenkov AI
Сделал релиз, теперь можно с помощью моделей ruDALLE генерить изображения с произвольным соотношением сторон
Обучать не нужно, все работает в zero-shot
Идея супер-простая: динамически менять размер контекстного окна пропорционально текущей позиции, чтобы попытаться хоть как-то сохранить правильную геометрию. Работает, черри-пикать тоже нужно, как и всю рудалю. А для горизонтальных картинок (из-за низкой скорости) пришлось оставить статическое контекстное окно - но получается тоже весьма неплохо - генерил себе шапки для NFT коллекций
Также, чтобы немного сгладить геометрию, затюнил модельку на сюрреализме, веса прикладываю ruDALLE Surrealist XL
Kaggle и Colab рабочие тоже собрал 🤝
Paper | Github | Weights | Colab | Kaggle | Twitter
Обучать не нужно, все работает в zero-shot
Идея супер-простая: динамически менять размер контекстного окна пропорционально текущей позиции, чтобы попытаться хоть как-то сохранить правильную геометрию. Работает, черри-пикать тоже нужно, как и всю рудалю. А для горизонтальных картинок (из-за низкой скорости) пришлось оставить статическое контекстное окно - но получается тоже весьма неплохо - генерил себе шапки для NFT коллекций
Также, чтобы немного сгладить геометрию, затюнил модельку на сюрреализме, веса прикладываю ruDALLE Surrealist XL
Kaggle и Colab рабочие тоже собрал 🤝
Paper | Github | Weights | Colab | Kaggle | Twitter
🔥15❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Выкатил бетку DiscoDiffusion Warp
Нововведения касаются режима анимации video_init
Добавлен морфинг кадров с помощью optical flow maps от исходного видео.
При генерации картинки на основе опорного кадра из видео теперь не нужно генерить каждый кадр с нуля - мы берем предыдущий обработанный кадр, морфим его, смешиваем со следующим, и подаем на вход.
Так можно добиться более целостного результата за меньшее время, так как на втором и последующих кадрах можно делать меньше шагов диффузии.
При экспорте видео также можно применить optical flow для сглаживания результата.
Слева - с варпингом, справа - без (каждый кадр с нуля)
Код
Колаб
Нововведения касаются режима анимации video_init
Добавлен морфинг кадров с помощью optical flow maps от исходного видео.
При генерации картинки на основе опорного кадра из видео теперь не нужно генерить каждый кадр с нуля - мы берем предыдущий обработанный кадр, морфим его, смешиваем со следующим, и подаем на вход.
Так можно добиться более целостного результата за меньшее время, так как на втором и последующих кадрах можно делать меньше шагов диффузии.
При экспорте видео также можно применить optical flow для сглаживания результата.
Слева - с варпингом, справа - без (каждый кадр с нуля)
Код
Колаб
👍12❤9