погружаюсь в нейро оптикал флоу чтоб порадовать вас новым крутым колабом. есть амбициозные планы соорудить свой эбсинт но до реализации еще очень далеко

кто еще не пробовал новую демку гауган2 - скорее пробовать! качество сильно выросло. говорят еще генерацию по текстовому запросу прикрутили. а тут видео с примерами генераций

Вот все смеялись про кнопку "сделать красиво".
А Влад @tech_va_automation взял и сделал.
С помощью ИИ и Foundry's Nuke+Unreal Plugin!
ИИ-кейер и трекер, камера солвер и удаление маркеров - полностью автоматизированный процесс от . Вплоть до раскладывания всей возникающей даты и информации по правильным, post-production ready папкам.
И в отличие от черных ящиков не настраиваемым результатом, здесь на выходе полный набор рулек и педалек, которыми можно докручивать результат до нужного. ИИ-уже за вас посчитал все параметры кейера и прочее, но если вам не нравится, вы можете эти параметры подергать потом.
Еще раз. На выходе не только видео или картинка, а полный набор рулек для софта, с помощью которых получено это видео. Нейросетка не генерит картинку, она генерит значения параметров для софта. А софт считает картинку.
Гениально.
Ну, за кого не чокаясь?

https://www.tech-va.com/

о, какая прикольная штука. онлайн генератор картинок по текстовому запросу. работает на vqgan, довольно шустрый, есть пресеты. айда пробовать!
на картинке выше - кролик в весеннем лесу яркими цветами

🦑 KAPAO | Новая сахарная SOTA на CrowdPose

KAPAO - это эффективный и точный single-stage метод детекции и оценки позы человека. Есть код и веса!

Ресерчеры представили 3 версии: KAPAO-S, KAPAO-M, KAPAO-L

- Эффективный (быстрый) и точный метод
- KAPAO-L(arge) бъет SOTA на CrowdPose
- Решение основано на yolov5 (s,m,l)

💻 Code 📰 Paper

p.s.: ребята шарят и умеют в demo!

Отвал башки! Тут пацаны из гугла обучили NERF на RAW фотках. Получается просто башенного качества рендеринг HDR изображений. Можно менять экспозицию, фокус. Вы только посмотрите на получаемый эффект боке в ночных сценах!

Дополнительное преимущество этого метода перед обычным нерфом - это то, что он хорошо работает на шумных снимках с малым освещением. За счет того, что информация агрегируется с нескольких фотографий, метод хорошо справляется с шумом и недостатком освещения, превосходя специализированные single-photo denoising модели.

Статью ознаменовали как NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images. Ну, разве что кода еще нет.

Сайт проекта | Arxiv

🔥MTTR: End-to-End Text Referring Video Object Segmentation

Представлена новая SOTA в сегментации объектов на видео по их текстовому описанию. Качество просто невероятное!

Модель основана на мультимодальном трансформере, в который подаются фичи от текстового энкодера (RoBERTa) и видео энкодера (Video Swin). Примечательно, что в отличие от предыдущих решений, обучение здесь end2end — sequence prediction problem.

P.S. Авторы опубликали и код, и веса моделей 👍

Статья, GitHub

в поисках интересного бесплатного VR контента для oculus quest 2 наткнулся на игру half half. и теперь знаю что бывают отличные игры для интровертов. предупреждение на входе - здесь никто никого не должен обижать. ничего милее я не видел.
графика - наивная, минималистичная и очень стильная. твой аватар в виртуальной реальности - странное эфемерное существо наподобие Безликого из Унесенных Призраками Миядзаки. и все вокруг такие же. диалоги между игроками звучат как бессмысленное детское "лалала" и это только усиливает иллюзорность происходящего. все вокруг танцуют, смешно двигаются и машут друг другу цветными лапками.
доступны несколько коллективных игр: просто полетать среди облаков на радужном кайте, совместить полеты с забиванием небольшой черной дыры в ворота противника, релакснуть утопая в бесконечном океане с рыбами итд.
и главная фишка half half - ПРЯТКИ! стильное геометричное игровое поле. водящий становится великаном а те кто прячется - уменьшаются в размерах и получают интересную механику перемещения - стреляют себя в новое место из рогатки чтоб перепрятаться.

короче это тот случай когда словами сложно адекватно передать детали, потому что авторы смогли придумать действительно атмосферную реальность со своей философией, образностью, фишечками. не столько игра, сколько vr experience. побольше бы таких инди игрушек. рекомендую!

мои попытки перепридумать Ebsynth для колаба еще не скоро принесут плоды. но глубоко погрузившись в эту тему я узнал кое что интересное: есть небольшая группа исследователей из Чешского Технического Университета в Праге, которые плотно сосредоточились над разными аспектами переноса стиля и именно они выдают самые крышесносные проекты, которые стреляют в motion design инфополе последние годы. самые популярные - Ebsynth и Monstermash. помимо этого есть ряд очень перспективных исследований (например по этой ссылке). кстати они почти не используют ИИ, в основном все решается за счет очень сложной математики.

2д флюидная симуляция
демо перенос стиля на 3д объект
реалтайм перенос стиля на видео

пусть звучит неоправданно пафосно, но это именно те люди которые формируют визуальный облик будущего анимации. и чую, в ближайшие годы они еще удивят нас несколькими очень мощными проектами и готовыми инструментами

автор цифрового контента, style transfer энтузиаст а так же постоянный участник Генклуба Сергей Пирогов @Dartmoor записал небольшой ознакомительный туториал - о том как в колабе с помощью "двухголового" vqgan+clip создавать красоту

ютуб
колаб

один из ярких представителей pytti-арта собрал свои лучшие работы в почти двухчасовой ролик на ютубе. включай любимую музыку и улетай

ютуб
твиттер автора

крутую сетку которая умеет сегментировать объекты на видео по текстовому описанию теперь можно запустить в колабе

гитхаб
колаб
HuggingFace

✍️ NeuroCensor v.1.0 🚫

Версия 1.0, значит пока ничего серьезного. Хоть как-то работает, что уже хорошо, ведь все и всегда с чего-то простого начинается. В общем теперь можно выступать в роли цензора и удалять объекты, аля Черное зеркало, по текстовому описанию. Работает быстро, но есть вероятность, что памяти Колаба может не хватить на тяжелые видео, поэтому я поставил некоторые ограничения. Вместе с этим добавил возможность писать на любом языке (или сразу нескольких).

В видео продемонстрировано удаление «Grizzly bear» и «Мужчины в куртке».

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/NeuroCensor.ipynb

протестировал генерацию под музыку stylegan3 из этого колаба. до Lucid Sonic Dreams пока не дотягивает, но результат прикольный, очень гладкая анимация. надо теперь разобраться как накапливать смещение по латентному пространству как например в этом посте. кстати у меня есть подробный урок о создании анимации в колабе с помощью Lucid Sonic Dreams