свежачок, только из печи: колаб в котором можно обработать видео с помощью VQGAN+CLIP по текстовому запросу. получается что то типа стайл трансфера но с арт-директорскими замашками. автор

попросил VQGAN+CLIP перерисовать рика эстли как будто это цветные коты играют на деревьях в рисовке художника леонида афремова. как по мне направление интересное и надо копать, искать подходящие запросы и подбирать правильные модели, потенциал большой. хотя не хватает оптикал флоу чтобы убрать строб от кадра к кадру. надеюсь кто нибудь прикрутит)

а здесь многострадальный рик перерисован в стиле кандинского с помощью стайл трансфера из этого поста. скажу честно, ожидал более красивый результат, но главное что это удалось запустить в колабе. максимально долгая генерация, на этот ролик ушло 6 часов, из которых 2 часа просчитывался оптикал флоу (потому что цпу, буэ). хорошо что эту операцию не нужно повторять если захочется использовать другой стиль

От подписчика: SyleGAN3 обученный на различных ландшафтах. У меня примерно так же во снах локации меняются

а лисички взяли спички, к морю синему пошли, море синее зажгли

ура, я теперь счастливый пользователь технологии из этого поста и могу тоже делать бесконечный зум по текстовому запросу. и не только зум, автор алгоритма много интересных фишечек в него заложил, в планах теперь потыкать их все)

можно посмотреть и на ютубе

Шедеврально 🙀
Парк юрского периода, но c котом.
YouTube

чудо юдо рыба кит. на котором город стоит.

если кто не в курсе, древнее чудовище получило такое наказание за то что глотало корабли прям с людьми направо и налево.

интересно было поиграть в эмитацию облета камеры вокруг центра картинки (если что я не сам придумал, актор колаба поделился настройками движения). фокус получился, но из за особенностей алгоритма выглядит это странно. например мы ожидаем что домик просто повернется, но на деле он начинает разворачиваться в каком то четырехмерном пространстве, открывая бесконечное количество окон, столбов и бревенчатых стен. да и кит непонятный вышел, вроде кит а вроде нет. форма угадывается, кожа похожа. а целиком в кита не собирается.

п.с. всех кто решит обидеться за сочетание музыки ONUKA и цветов российского флага в кадре, просьба не обижаться, это не про это

сколько пробовал разных генераторов аниме портретов, этот прям бомба, рекомендую затестить

я теперь вот такой аниме симпатяшка

ну и такое очень хочется попробовать конечно

сеточка просто очуметь. есть колаб в котором генерится очень быстро. я чуть настроил его под себя, потому что статика это скучно. но пока что полной автоматизации добиться не получилось, приходится вручную указывать кадр для обработки и скачивать результат. допилю и выложу в скором времени

ух, я сегодня в ударе!
обработал фрагмент клипа рика эстли в стиле аниме алгоритмом из этого репозитория. для фулл-хд немного не хватило памяти, но это ж тест) осталось привести колаб в божеский вид и тогда выложу на благо общественности, не отключайтесь!

поиграли с pytti в строительство вавилонской башни в стиле виммельбуха. сеть решила что строить ее будут люди со средневековых картин под предводительством академиков великанов, а использовать будут современные технологии - металлические фермы и экскаваторы. башня же - как будто с картины брейгеля. такая вот эклектика

самая крутая сцена в интерстелларе конечно - когда макконахи, упав в черную дыру, застревает где то на границе измерений в книжном шкафу своей дочки. у нас с путти получилось что то вот такое. кстати я тут шагнул на следующий уровень генерации изображения - до свидания 8бит, здравствуй гладкая сочная картинка с кучей деталей. очень нравится!

готовы стать героями японского мультика?

в этом колабе можно обработать свое видео в таком около анимешном стиле благодаря алгоритму AnimeGAN2. колаб полностью на русском языке, весь код спрятан, все для людей)
вычисления происходят на удаленном сервере, нужен только браузер!

жду ваши анимации в комменты. и туда же пишите пожелания по доработке или если что то сломается

огромное спасибо Анатолию, без которого это было бы невозможно)
и спасибо Яне которая отлично ест яблоко!

а что если этим колабом стилизовать не селфи а что то посерьезнее? мне поступило предложение опробовать его на клипе Би2 - Пекло. особенно интересно было протестить связку AnimeGan2 и нейро увеличителя Real-ESRGAN с моделю anime. в итоге получилась такая сочная вкусная картинка. по моему результат очень крутой! некоторые кадры после обработки выглядят более динамично и эффектно чем в оригинале. но и косячных тоже немало, потому что алгоритм изначально заточен именно на стилизацию лиц.

активное продвижение этого поста приблизит выход нового колаба в котором любой сможет провернуть подобное)