в чем отличие от других алгоритмов - этот довольно простой. меньше затрат мощностей и времени, но и результат не такой красивый как в посте про нью йорк, выглядит как эффект наложенный на видео. алгоритм который использует ostagram.me например не просто накладывает эффект а именно перерисовывает картинку, как то стилизованно меняет расположение изначальных элементов изображения.
https://github.com/gordicaleksa/pytorch-neural-style-transfer
такая сеть отлично работает со статикой но когда надо обрабатывать видео, это занимает очень много времени и ресурсов и необходимы попутные алгоритмы чтобы изображение не дрыгалось каждый кадр, так как кадры обрабатываются отдельно.
огромный плюс такого алгоритма - возможность посмотреть практически реалтайм результат обработки. год назад я пробовал обрабатывать видео файлы и это занимало время - разделить файл на кадры, обработать много кадров, собрать из кучи кадров обратно видос - не быстро. смотреть на себя на вебке уже с эффектом - вот что я люблю)
в общем я попробовал выделить стиль из нескольких картинок и выше можно увидеть что получилось.
немного про ограничения:
на моей ртх 2080 при разрешении 1280х720 заметные потери кадров.
640х360 - работает идеально, но элементы стилизации великоваты для такой картинки.
решил остановиться на чем то среднем - 960х540. на выходе примерно 12 фпс, для мозга это выглядит как мультик, движение сглаживается встроенными в нас алгоритмами)
https://github.com/gordicaleksa/pytorch-neural-style-transfer
такая сеть отлично работает со статикой но когда надо обрабатывать видео, это занимает очень много времени и ресурсов и необходимы попутные алгоритмы чтобы изображение не дрыгалось каждый кадр, так как кадры обрабатываются отдельно.
огромный плюс такого алгоритма - возможность посмотреть практически реалтайм результат обработки. год назад я пробовал обрабатывать видео файлы и это занимало время - разделить файл на кадры, обработать много кадров, собрать из кучи кадров обратно видос - не быстро. смотреть на себя на вебке уже с эффектом - вот что я люблю)
в общем я попробовал выделить стиль из нескольких картинок и выше можно увидеть что получилось.
немного про ограничения:
на моей ртх 2080 при разрешении 1280х720 заметные потери кадров.
640х360 - работает идеально, но элементы стилизации великоваты для такой картинки.
решил остановиться на чем то среднем - 960х540. на выходе примерно 12 фпс, для мозга это выглядит как мультик, движение сглаживается встроенными в нас алгоритмами)
GitHub
GitHub - gordicaleksa/pytorch-neural-style-transfer: Reconstruction of the original paper on neural style transfer (Gatys et al.).…
Reconstruction of the original paper on neural style transfer (Gatys et al.). I've additionally included reconstruction scripts which allow you to reconstruct only the content or the style ...
картинки с которых взяты стили. мозаика и обученная на ней модель прилагается к проекту на гитхабе
а на десерт немножко кринжа
эту сетку изначально обучали на очень большом объеме картинок разного содержания. и чтобы обучить ее новому стилю, надо ей скормить датасет из фотографий.
https://cocodataset.org/#download
всего то 13Гб и 83к фотографий
но главное - что это за фотки? кто автор? кто на снимках? я пока не искал ответ но если долго листать папку, становится понятно что там много жирафов, собак, кошек, спорта, людей которые едят, просто странных людей и тд. видимо такой датасет используют для обучения распознавания, для классификации.
вот будет весело листать и случайно найти себя, не правда ли?
эту сетку изначально обучали на очень большом объеме картинок разного содержания. и чтобы обучить ее новому стилю, надо ей скормить датасет из фотографий.
https://cocodataset.org/#download
всего то 13Гб и 83к фотографий
но главное - что это за фотки? кто автор? кто на снимках? я пока не искал ответ но если долго листать папку, становится понятно что там много жирафов, собак, кошек, спорта, людей которые едят, просто странных людей и тд. видимо такой датасет используют для обучения распознавания, для классификации.
вот будет весело листать и случайно найти себя, не правда ли?
Forwarded from Denis Sexy IT 🤖
Media is too big
VIEW IN TELEGRAM
Натренировал свою StyleGAN-2-ada модельку на похожих картинках как в посте выше, завтра выложу в канал и сможете сами генерировать себе что захочется ✨