Первое норм использование нейросетки для создания эффекта анимации

Парни из Corridor Crew давно снимают приколюхи со спецэффектами для ютьюба, например, они сделали то самое видео, где люди мучают робота из Boston Dynamics.

В этот раз они взялись за создание нейросеточного аниме. Визуальный стиль персонажей взяли с мультфильма «Vampire Hunter D», а свой видос назвали «Камень, ножницы, бумага».

В основном выглядит круто; есть, конечно, небольшие нюансы, которые всё ещё выглядят «нереалистично» и дёшево.

Самое крутое тут в том, что они ещё сделали отдельное видео, где задорно и подробно рассказывают о создании этого «аниме». Выложим с переводом чуть позже.

👍 — похоже на мульт
👎 — непохоже на мульт

Об этом событии рассказал в комментариях один из подписчиков, так что не стесняйтесь и пишите что-то дельное.

Как сделать почти реальное аниме в домашних условиях с помощью нейросетей?

Американская команда визуальных дизайнеров и ютьюберов Cоrridor Crеw выложила видео в котором увлекательно и подробно рассказано как сделать свое «аниме» с помощью нейросетей. Они использовали инструменты, которые есть в свободном доступе. Ребята справились с «мерцанием», эффектом, который рисует на каждый кадр стилистически другое изображение. И раскрыли еще несколько подробностей.

Их видео, кстати, перевел нейросетями🤭

Какие выводы?

То, что проделали ребята, могут повторить и криэйтеры из самой захудалой деревушки. Теперь ненужно базироваться в Лос-Анджелесе, чтобы делать топ-контент. У команды Corridor, безусловно, есть вкус, но если бы эту технологию использовал какой-нибудь режиссер эстет, например Уэс Андерсон, или Дени Вильнев, результат, в теории, мог бы превзойти все ожидания.

Скорее всего, весь процесс, который парни проделали, скоро смогут автоматизировать до одного клика мышки. И интернет заполнится второсортными по сюжету, но безупречно выглядящими, мультами.

Если вам нравится такой неформатный, относительно музыки, контент, ставьте лайк, и будет ещё.

Всегда уважал, но никогда особо не любил Kali Uchis. А недавно прям начал ощущать к ней притяжение, особенно к песням на испанском. Обязательно нужно послушать её новый релиз «Red Moon In Venus».

Тем временем, иностранный агент Oxxxymiron, видимо, собирает зарубежом на своих сольниках не сильно меньше чем в России. В Армении 6000. А вот полный зал на Кипре.

Напоминаю, что в Москве он как-то раз умудрился собрать 20 000 человек.

Про Saluki и ATL

Вчера вышел трек «Lagg Out», авторства Saluki и ATL.

Честно, говоря, вообще нихуя не понял о чем Салуки читает, из всего его парта разобрал лишь пару строк. Многие уже знают, что я неровно дышу к русскому фольклору, так вот, с этим Салуки угадал; начав трек с пронзительного бабушкиного пения, залетел прямо мне в русское сердечко. Я считаю, что культурные отсылки очень важны для русскоязычной музыки, нам нужна своя аутентичность. Главное делать это стильно, у Арсения получилось. Браво!

Несмотря на то, что слова Салуки по большей части непонятны, и, скорее всего, примитивны, сам дизайн трека шикарен, ну, чисто наш Kanye. Обратил внимание, что помимо его самого, ещё над музыкой работали два продюсера: J. ROUH и OSA. Американская привычка, знаете, когда открываешь кредитсы Kanye, и там 20 человек. В общем, как продюсер и стилист, Saluki безбожно крут.

А вот парт ATL, он уже привычно рисует так страшно похожий на сегодняшний день антиутопичный мир.

Читает:

Колется иголочка нефтяная
Катится ласточка гробовая
После похорон, где мы трэповали
Открыл глаза, лежу ахуеваю
Думскролинг: вести армагедона
Принял душ с кровью прямо пред иконой

А в конце бит меняется, и звучит будто локализованная «My Beautiful Dark Twisted Fantasy».

Сок, просто сок!

Немного о личном

Продолжаю дальше рассказывать о моей эмиграции, надеюсь временной. Для новоприбывших: админ Уорхола из Питера перебрался Шымкент, и тут выживает.

Сначала выживать было почти просто. Курс тенге был 7,4 за рубль, сейчас он стал 5,5. То есть, сейчас октябрьские 40 тысяч рублей превратились в 30.

Каждый месяц за фиктивное РВП плачу налоги — 4500р. Жалко.

На еду, вроде как, научился тратить около 5500р в месяц, но это не точно. Ещё купил себе недавно авокадо и съел.

Стало наконец-то тепло. Зимой нужно было мыть посуду на улице, было не оч.

Как стало тепло, началась аллергия, пью теперь таблетки. Походу аллергия на дым. Тут везде дым, что-то горит, что-то жарят, какие-то может заводы. Воздух не самый лучший. Зато тепло. А в Питере холодно. Ненавижу холод.

Прочитал за последнее время «Бойню номер 5» Курта Воннегута, «Лето Господне» Ивана Шмелева, «Осень Патриарха» Габриеля Гарсия Маркеса, Филипа Дика про овец. Все книги просто шикарные, катастрофически восхитительные.

Сейчас у меня осталось две главных проблемы, из давящего бесконечного числа.

1 Я не успеваю сделать всё намеченное на день
2 Я не могу приучить себя рано ложиться спать

Я изучил эти проблемы, я о них уже писал. Есть успехи; думаю, скоро смогу справиться с ними, и тогда напишу об этом гайд — стану инфоцыганом.

Сейчас очень много времени потратил на поверхностное изучение всех нейросетей, забив на музыку, скоро выкачу обзор. Там есть прикольные штуки, поэтому надеюсь, что не зря всё это.

А на видео запечатлел, как казан отчистили от толстого слоя масла с помощью костра. Норм тема. #великоепутешествие

Часто думаю о смерти своей бабушки, она умерла в сентябре. В «Осени патриарха» есть часть про смерть матери диктатора. Испытал лютый флэшбек.

Хочется выплеснуть всю боль. Написать про то, что такое на самом деле русская смерть, унижающая и беспощадная.

Оксимирон* хочет вернуться в 2015 год

Новый тур Окси* сопровождается инсталляцией, где он… с накрашенными губами??? Ещё он там говорит, что хочет вернуться в 2015 год больше всего на свете.

Не знаю зачем это вам, но мне посмотреть прикольно было.

*признан иностранным агентом

Новый дворецкий: робот Spot

Показ бренда Coperni. В пресс-релизе объясняют происходящее отсылкой к басне Жана де Лафонтена про ягненка и волка. Ягнёнок — это, типа, модель 🤯

Обзор на все нейросети. Часть первая

Будет четыре

Говорят, что нейросети — новый биткоин. Говорят, что нейросети — мыльный пузырь.

Вот я взял и протестировал огромное количество сервисов, плагинов и программ, построенных на нейросетях. Короткие обзоры приправлены моим личным мнением, если оно там уместно. Есть действительно интересные штуки.
А выводы напишу чуть позже.

Аудио

а про видео читайте в следующей части

• Cleanvoice — Может помочь подкастерам, сокращает паузы, очищает голос, убирает «эээ».
• Izotope RX — у Изотопа в этом плагине есть функции, которые могут, как очистить голос от шумов, так и разложить музыку на составляющие. Нечто похожее может и сервис Audiostrip.
• lalal.ai — может разделить музыкальный трек на составляющие: отдельно вокал, барабаны, и тд. Иногда работает лучше чем ребаланс Изотопа Ркс. Есть ещё полностью бесплатный сайт vocalremover, спасибо подписчикам за подсказку.
• Izotope Neutron — плагин, который умеет сводить музыку, и причем давно. Качество не суперпрофессиональное, но лучше чем ничего.
• Jukebox — нейросетка от OpenAI, которая может генерировать похожие песни на популярных исполнителей. Интерфейс у неё чисто для програмистов, одну музыкальную композицию она может создавать 9 часов. И звучать она будет не особо качественно, но прикольно. В будущем это будет просто пушка, когда качество и скорость подрастут.
• Aiva — музыкальный AI редактор, который может писать музыку по многим выставленным параметрам. Внутри есть миди-редактор, в котором можно детально отредактировать всё. Хит тут не написать, можно фоновую музыку для видео. Хорошо у этой штуки получается делать медитативную музыку, можно выгружать миди, ставить норм звуки и продавать, или слушать вместо Endel. Короче, если под хитмейкерство заточат, нам конец, а пока — залупа.
• Orb Producer и Orb Composer — а вот эти штуки уже можно использовать, если ты ноль в музыке. Это плагины для DAW. Пакет с продюсером дает возможность делать современную музыку, от аккордов, до мелодии. А Композер может зафигачить оркестровку на подобии классической музыки, которая будет в сто раз аутентичнее, чем это делает AIVA. Не хит автоматом, но уже неплохо.
• Musia — что-то типа Orb.
• Captain — что-то типа Orb.
• Splash Pro — бесплатная простая прога, которая может генерить миди. Но тут можно попросить её спеть твой текст в нужную тональность, для хайперпопа норм.
• Beatoven.ai — может сделать фоновую музыку для видео, наверное, и для подкаста. Может можно даже засэмлировать что-то. Результаты действительно могут звучать прикольно, но генерирует не быстро.
• Murf — ИИ для озвучки, читает текст. Иногда нормально выходит, иногда путает ударения и коверкает слова, но неплохо на самом деле. Может быть можно ударения расставить вручную.
• Altred — сервис по изменению голоса, озвучке. Делает русский язык с акцентом, но звучит прикольно. Английский — вообще топ. В теории, можно говорить голосом Кендрика Ламара, но у меня не вышло.
• Sounddrow — можно написать сиплую фоновую музыку.
• Samplette.io — ищет сэмплы на Ютьюбе по заданным параметрам. Крутая штука для битмейкеров.
• Adobe Podcast — сервис, который может улучшить плохо записанный голос, эмулировать запись на более дорогой микрофон. Вещь классная, но с русским языком иногда не очень хорошо работает.
• Uberduck — смешной ИИ, который может озвучивать текст голосом Канье Веста и других популярных чуваков.
• Rifussion — быстро пишет песни по запросу, пока звучит немного убого, хотя джаз местами похож. Можно сэмплировать, реально, особенно, если вы фрик.
• Elevenlabs — может сделать дипфейк загруженного голоса, но платно.

Обзор на все нейросети. Часть вторая

Кстати, если хотите, чтобы я написал свою футорологию в связи с бешеным ростом популярности нейросетей, тогда голосуйте лайком.

Про музыкальные и аудио нейросети читать тут, а про фото тут.


Видео

• Topaz Video — улучшает видео. Внутри проги можно использовать много разных моделей нейронок, от умного увеличения разрешения, до нивелирования артефактов компрессии.
• Synthesia — создает инфоцыганский видео-аватар. Можно сделать в виде себя, и будет выглядеть как реальный человек. Работает с русским языком. Читает заготовленную речь, переводит. Короче, с помощью этой штуки нормально так SMM преобразится. Попробовать не удалось, стоит $30, демо нет. Но обзоры впечатляющие. Еще есть Hourone и Colossyan.
• Discript — видеоредактор для создания блогов. Он умеет убирать речевые ошибки, слова паразиты, незаметно склеивая видео. А если вы перепутали слова, можно переписать их прямо в текстовом редакторе и он их скажет вашим голосом. Очень крутая штука, но нет русского языка. Думаю появится. Можно сказать, что это видеоверсия Murf.
• Davinci Resolve — это обычная монтажка, но тут есть функции с ИИ, например, сейчас очень удобно можно создавать и тречить маски, ротоскопировать.
• RobustVideoMatting — ротоскопирует, удаляет фон в видео. Поставить можно через Гугл Коллаб. Гугл Коллаб — это как виртуальный комп.
• EbSynth — прога, которая может стилизовать кадры видео под картину, иллюстрацию и тд. В итоге поможет сделать анимацию.
• D-ID — самые реалистичные аватары для озвучки.
• Audiolabs — делает видео из текста. Может как рисовать, так и подбирать стоковые видео. Выглядит прикольно, но стоит минимум $100. Нет примеров, кроме как те, что на офишал канале.
• Xpression Camera — можно делать кринжовые дипфейки, оживлять чужие фотки, и использовать прямо он-лайн для своей вебкамеры.
• Steve AI — сервис для создания анимаций в стиле рекламы и презентаций. Залупа, особенно на русском.
• Dreamix — нейросеть, которая может генерировать видео из фото. Копирайтить видео, удаляя элементы. Её в общем доступе нет, но это вынос мозга.
• CapCut — модное приложение для монтажа в котором есть ИИ-приколюхи. Например, может убрать фон.
• Facemega — может делать видеофэйки, оно платное, я не попробовал, поэтому о качестве судить не смогу.
• RunwayML — сервис в котором можно многое: убрать фон, либо убрать из видео объект. Платный, но можно попробовать бесплатно на разрешении 720p. Убрать объект с помощью нейронок ещё можно и в After Effects, только чуть сложнее.