Forwarded from shonenkov AI
Сделал релиз, теперь можно с помощью моделей ruDALLE генерить изображения с произвольным соотношением сторон
Обучать не нужно, все работает в zero-shot
Идея супер-простая: динамически менять размер контекстного окна пропорционально текущей позиции, чтобы попытаться хоть как-то сохранить правильную геометрию. Работает, черри-пикать тоже нужно, как и всю рудалю. А для горизонтальных картинок (из-за низкой скорости) пришлось оставить статическое контекстное окно - но получается тоже весьма неплохо - генерил себе шапки для NFT коллекций
Также, чтобы немного сгладить геометрию, затюнил модельку на сюрреализме, веса прикладываю ruDALLE Surrealist XL
Kaggle и Colab рабочие тоже собрал 🤝
Paper | Github | Weights | Colab | Kaggle | Twitter
Обучать не нужно, все работает в zero-shot
Идея супер-простая: динамически менять размер контекстного окна пропорционально текущей позиции, чтобы попытаться хоть как-то сохранить правильную геометрию. Работает, черри-пикать тоже нужно, как и всю рудалю. А для горизонтальных картинок (из-за низкой скорости) пришлось оставить статическое контекстное окно - но получается тоже весьма неплохо - генерил себе шапки для NFT коллекций
Также, чтобы немного сгладить геометрию, затюнил модельку на сюрреализме, веса прикладываю ruDALLE Surrealist XL
Kaggle и Colab рабочие тоже собрал 🤝
Paper | Github | Weights | Colab | Kaggle | Twitter
🔥15❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Выкатил бетку DiscoDiffusion Warp
Нововведения касаются режима анимации video_init
Добавлен морфинг кадров с помощью optical flow maps от исходного видео.
При генерации картинки на основе опорного кадра из видео теперь не нужно генерить каждый кадр с нуля - мы берем предыдущий обработанный кадр, морфим его, смешиваем со следующим, и подаем на вход.
Так можно добиться более целостного результата за меньшее время, так как на втором и последующих кадрах можно делать меньше шагов диффузии.
При экспорте видео также можно применить optical flow для сглаживания результата.
Слева - с варпингом, справа - без (каждый кадр с нуля)
Код
Колаб
Нововведения касаются режима анимации video_init
Добавлен морфинг кадров с помощью optical flow maps от исходного видео.
При генерации картинки на основе опорного кадра из видео теперь не нужно генерить каждый кадр с нуля - мы берем предыдущий обработанный кадр, морфим его, смешиваем со следующим, и подаем на вход.
Так можно добиться более целостного результата за меньшее время, так как на втором и последующих кадрах можно делать меньше шагов диффузии.
При экспорте видео также можно применить optical flow для сглаживания результата.
Слева - с варпингом, справа - без (каждый кадр с нуля)
Код
Колаб
👍12❤9
Forwarded from Мишин Лернинг
Выкатили код LiT🔥: Новационный подход contrastive-tuning от Google Research, Brain Team, Zurich обходит CLIP и ALIGN
Помните, в ноябре 2021го выходила статья LiT🔥?
Сегодня стал доступен не только код, но и блог пост в googleblog, colab и онлайн демо, которое, кстати, очень и очень удачно демонстрирует силу подхода на известных примерах и контрпримерах!
🔓 В CLIP и текстовая и визуальная “башня” контрастив модели учились с нуля. u - unlocked from-scratch
🔐 Возникает вопрос: не будет ли лучше взять претрейны моделей (e.g.: ResNet, ViT, MLP-Mixer), и дальше файнтюнить их в режиме contrastive language–image? U - unlocked from a pre-trained model
🔒 Авторы показали, что лучше всего работает подход с полностью замороженной визуальной “башней”!
Модель ViT-G/14, обученная в режиме contrastive-tuning LiT, обходит такой же CLIP в zero-shot на ImageNet: 84.5% vs 76.2%, соответсвенно.
📄 Paper LiT🔥
🎲 Online Demo
📇 Google Blog
💻 LiT code
🔮 LiT Colab
Помните, в ноябре 2021го выходила статья LiT🔥?
Сегодня стал доступен не только код, но и блог пост в googleblog, colab и онлайн демо, которое, кстати, очень и очень удачно демонстрирует силу подхода на известных примерах и контрпримерах!
🔓 В CLIP и текстовая и визуальная “башня” контрастив модели учились с нуля. u - unlocked from-scratch
🔐 Возникает вопрос: не будет ли лучше взять претрейны моделей (e.g.: ResNet, ViT, MLP-Mixer), и дальше файнтюнить их в режиме contrastive language–image? U - unlocked from a pre-trained model
🔒 Авторы показали, что лучше всего работает подход с полностью замороженной визуальной “башней”!
Модель ViT-G/14, обученная в режиме contrastive-tuning LiT, обходит такой же CLIP в zero-shot на ImageNet: 84.5% vs 76.2%, соответсвенно.
📄 Paper LiT🔥
🎲 Online Demo
📇 Google Blog
💻 LiT code
🔮 LiT Colab
🔥14👍7
Добавил еще 6 картинок в коллекцию, включая дикий гибрид Айвазовского с Гигером, Эшера, Брюллова, Ван Гона, Бексински и Лисовски.
👍17🔥1😱1
Media is too big
VIEW IN TELEGRAM
Там подвезли новый стайл трансфер от Adobe под лицензией MIT (sic!)
Как ведет себя в дикой природе, мы еще будем посмотреть, но видосы впечатляют.
Код
За наводку спасибо @too_motion
Как ведет себя в дикой природе, мы еще будем посмотреть, но видосы впечатляют.
Код
За наводку спасибо @too_motion
🔥25
Новое - хорошо забытое старое. В процессе перебора всяких репозиториев, связанных с переносом стиля, в очередной раз наткнулся на интересный вариант стилизации под масло через оптимизацию мазков кисти.
Сам по себе подход не нов - накидываем рандомных мазков на холст, тюним, чтобы было похоже на желаемую картинку, и так несколько раз.
Здесь же есть интересная реализация смешивания всех этих мазков. Мы берем не просто среднее между мазками первого и второго слоя, а учитываем направление и воображаемую толщину краски.
Результат налицо.
Код из 2017
Сам по себе подход не нов - накидываем рандомных мазков на холст, тюним, чтобы было похоже на желаемую картинку, и так несколько раз.
Здесь же есть интересная реализация смешивания всех этих мазков. Мы берем не просто среднее между мазками первого и второго слоя, а учитываем направление и воображаемую толщину краски.
Результат налицо.
Код из 2017
🔥11👍1
Целеустремленный @denissexy вынудил разработчиков DALL-E 2 нагенерить ему еще хомяков-грузовиков.
Самое время требовать грузовиков-хомяков! (хомяков с кабинами вместо головы)
https://t.me/denissexy/5600
Самое время требовать грузовиков-хомяков! (хомяков с кабинами вместо головы)
https://t.me/denissexy/5600
Telegram
Denis Sexy IT 🤖
И еще немного избранного товара 🗿
😁6❤2
Forwarded from Технологии | Нейросети | Боты
Художники могут начинать нервничать: канадский дизайнер создал артбук из 1000 изображений роботов, которые сгенерировала нейросеть DALL-E 2.
Залил все фотки для удобного просмотра: t.me/DeepfakerHub/3
Залил все фотки для удобного просмотра: t.me/DeepfakerHub/3
🔥15❤2👍1
Резюме художников лет через 10:
Senior DALLE-5 Dataset Engineer
DALLE-2 Dataset contributor
Senior DALLE-5 Dataset Engineer
DALLE-2 Dataset contributor
😁7😱1
Наконец-то и на улице ленивых жоп (вроде меня) наступил праздник!
Кулибин под ником LowFuel, известный своей сборкой discodiffusion для командной строки, добавил туда автоматическое улучшение итоговой картинки:
- увеличение х2
- нарезку ее на куски
- повторный прогон через нейронки
- склейку обратно
Примеры выше можно получить в 1 клик. Го тыкать!
Код
Кулибин под ником LowFuel, известный своей сборкой discodiffusion для командной строки, добавил туда автоматическое улучшение итоговой картинки:
- увеличение х2
- нарезку ее на куски
- повторный прогон через нейронки
- склейку обратно
Примеры выше можно получить в 1 клик. Го тыкать!
Код
👍17🔥5
Forwarded from Нейроэстетика
🐭 Grainy 35mm photo of a mouse experiencing VR for the first time
И мило, и стильно и психоделично. Как по мне, то была бы лучшая обложка для книги «Цветы для Элджернона» Дэниела Киза.
И мило, и стильно и психоделично. Как по мне, то была бы лучшая обложка для книги «Цветы для Элджернона» Дэниела Киза.
👍38