Deepfake развивается быстрее, чем кажется

r/#videos

вот тут в полном разрешении можно посмотреть и видны немножко артефакты, но все равно огого!

Короткометражка / экспериментальная анимация на основе нейронных сетей от исследователя и художника Selim Atken.

На фоне звучит стихотворение Ричарда Бротигана, прочитанное самим автором работы.

хоть я и не поклонник такого стиля, но выглядит потрясающе!

Товарищ Tom White, AI Artist из Новой Зеландии, придумал, как доить из связки сетей VQGAN+CLIP картинки, вполне соответствующие канонам pixelart. Вот уже вторую неделю он выкладывает нейро-пиксельную азбуку в отдельном твиттер треде, вчера добрался до буквы W. Я подозреваю там огромный объём cherry picking-а, но он обещает скоро выложить colab, так что можно будет самостоятельно поэкспериментировать.

Если вам такое нравится, обратите также внимание на восьмибитную фан-арт серию Рика и Морти, нарисованную австралийским художником-аниматором Полом Робинсоном. А если нет — почитайте про "суммарный алфавит", набор из 400 символов, достаточный для набора текстов на 90 языках, использовавшихся в СССР, или нашу с Максом Рябининым недавнюю статью про кросс-языковое решение схем Винограда нейросетями.

вот теперь можно и в колабе затестить!

100 художников и бесшовное полотно из рендеров где шарик, перекатывается из одной сцену в другую: очень залипательное зрелище, особенно на мобилке (только перейдите обязательно в ютуб плеер, телега открывает своим не в полное окно).

Очень крутые челенджи мутят пацаны в Твитере, прошлый был с бегущим человеком. Если вы помните - сложно было выбрать лучший, но вот на этом я прям поймал вау-эффект.
На этом

Кидайте в комменты своих любимчиков.

недавно закончил работу над большим и сложным проектом - фестиваль Новая Волна в Сочи. вместе с крутыми ребятами из Raketamedia мы сделали визуальное оформление для двух концертов - др Димы Билана и концерт закрытия. поделюсь результатами и мыслями.

первое - мне очень приятно видеть как вырос уровень графики в ракете за последние годы. меньше статики, больше красивого, навороченного, жирного 3д. но главное что художественный уровень тоже продвинулся, приятно делать и видеть в качестве результата такие сочные картинки!
так же рад видеть в ракете новые лица) Игорь @igor_lu, ты очень крут!

второе - хоть я и не любитель попсовой музыки, хотелось посмотреть как оно все выглядит в сборке - со светом, спецэффектами и прочим. и тут меня ждало разочарование. оказывается даже если по отдельности все элементы выглядят круто, в результате может получиться цыганская свадьба. все слишком ляписто, ярко, все друг друга перебивает, нет акцентов. и в итоге то что отлично смотрится на экране, на сцене выглядит совсем никак, это был не самый приятный опыт, печаль

третье - за последние несколько месяцев я нехило прокачался в блендере (во многом благодаря нетривиальным задачам от ракеты). процесс небыстрый, так как блендер довольно специфический софт, особенно когда приходишь к нему после других 3д пакетов. многое интуитивно непонятно, но почти всегда гугл приходит на помощь. а еще заметил что разные лайфхаки и шорткаты для блендера гораздо проще получить вербально от другого пользователя, там такого рода скрытых плюшечек целая тонна.
кстати отдельное спасибо Анатолию @videobombala за помощь и скрипты, без тебя я б не справился)

немножко кошмаров. но направление интересное

Вы уже наверняка пробовали генерировать интересные картинки с помощью связки CLIP + Любая генеративная модель (VQGAN, BigGAN и пр.). Если еще не пробовали, то бегом пробовать (инструкция и описание здесь). Основная суть всегда одна и та же: CLIP отвечает за связь эмбеддингов текста и изображений (или каких либо данных), а вторая сеть отвечает за генерацию.

Ожидаемо что, кто-то попытался совместить CLIP с генерацией 3D моделей и текстур. Исследователь Nikolay Jetchev в своем Twitter делится результатами экспериментов. Деталей крайне мало, но судя по всему сама геометрия моделей генерируется SMPL.
А как вам кажется нужно совмещать CLIP и 3D?Делитесь идеями в комментариях 🧑‍💻

смотрю на такое и завидую, слишком уж красиво! про инфернальную версию уже написал NeuralShit. детализация слабовата, но ощущения движения завораживают, потому что не от мира сего. информации о том как сделано и тем более готового колаба нет, потому что слишком хорошо получилось) твиттер автора

Вот же красотища! Пора покупать новый окулус

Фантастическая интерактивная работа на юнити 😍

В вебе это тоже возможно с деградацией картинки на слабых устройствах

#reference by KeJyun Wu

для всех любителей переноса стиля прекрасная новость - автор канала derp learning запилил колаб внутри которого та же технология что и на сайте ostagram.me

теперь необязательно стоять в очереди или платить деньги - все запросто делается в колабе. колаб кстати образцовый - на русском языке и все лишнее от глаз спрятано. заходи, нажимай на кнопку, загружай картинки и получай архив в загрузки - шик!

минусы:
долгая генерация. на одну картинку требуется 3-10 минут, в зависимости от разрешения.
на подбор подходящего стиля может уйти много попыток. грубо говоря из 10 генераций хорошо если хотя бы одна будет выглядеть достойно. здесь на помощь приходит огромная база чужих экспериментов - остаграм.
алгоритм довольно древний и написан на тензорфлоу (вроде бы пайторч более современный и прогрессивный фреймворк, но это не точно), иногда заметны типичные для него артефакты изображения.
и очень важный нюанс - требование к качеству исходника стиля. у донора должно быть такое же соотношение сторон как у картинки которую хочешь обработать. лучше если разрешение тоже совпадет. иначе в финальной картинке будут искаженные элементы стиля. не уверен, косяк ли это колаба или самого алгоритма.

плюсы:
настоящий глубокий перенос стиля. я пробовал обрабатывать кадры из видео и похоже что от кадра к кадру нет сильных скачков стилизованных элементов, все остается на своих местах, в отличие от моего другого любимого стайл трансфера.
так же в скором времени надеюсь проверить перенос стиля для видео. все необходимое в репозитории для этого имеется, главное чтобы заработало внутри колаба.