К статье про MTTR (сегментация видео по тексту) выложили colab ноутбук!

Colab, HuggingFace

Ура! То, о чем так долго твердили народные массы, свершилось! В ai dungeon скоро добавят генерацию пиксель-арта под контекст.

Нашел маскота для NÜWA от Microsoft.

Дизайнеры интерьеров плачут в сторонке 😢

Тут в NVIDIA научили трансформеры синтезировать расположение предметов интерьера по заданному плану (форме) и типу комнаты. Мебель они, конечно, не генерируют, а используют набор заданных 3D ассетов.

Очень показательный пример того, как трансформерами можно моделировать любые распределения, в том числе и те, где порядок не важен. Комнату можно наполнить одной и той же мебелью начиная обставлять с разных объектов, но в итоге прийти к идентичной расстановке. Читаните статью, если интересно разобраться в деталях. Также есть код.

>> Папира >> Сайт >> Код

by @redpenblackpen

Ребята из silero выкатили апгрейд, код и колаб прилагается.

Восстановление знаков пунктуации и заглавных букв — теперь и на длинных текстах
https://habr.com/ru/post/594565

Частично возможности вы можете протестировать в боте
• Речь в текст @silero_audio_bot
• Silero в телеграм @silero_news

Наш небольшой бот на модели от silero
• Текст в речь @deepttsbot

Нейронный рендеринг без нейронных сетей?

Помните нейронный рендеринг и нерфы для реконструкции 3D сцены и синтеза новых видов? Так вот, обычно эти подходы требуют значительных временных затрат для обучения на одной конкретной сцене из-за того, что там используются громоздкие MLP (Multi-layer Perceptron), и нужно семплировать очень много тренировочных 3D точек с разных углов обзора.

Но вот поворот! Оказывается, всё то же самое можно делать и без сетей вовсе! Исследователи из Беркли показали, что можно учить напрямую сетку вокселей, сохраняя в ее узлах коэффициенты сферических функций, с помощью которых можно очень быстро отрендерить сцену с любой позиции и угла камеры. Все гениально просто.

Это просто бомба! Не нужны больше никакие Structure-from-motion и прочие классические алгоритмы.

>> Пипира >> Код >> Сайт

Пробный видос от ArcaneGAN v0.3

ArcaneGAN - #3 в трендинге huggingface.
#мамявтелевизоре

Вышло обновление GPEN для Windows.

Теперь не нужно каждый раз качать обновления с гугл диска. Достаточно запустить 2) Install or update GPEN.bat

Также теперь есть возможность запустить улучшение фотографий на CPU.
Добавлено улучшение всего изображения, а не только лица (bat файлы с припиской Real-ESRGAN).
Light версия GPEN (обучена на более низком разрешении, полезно для слабых машин).
Колоризация Ч/Б изображений и другие возможности GPEN, которые можно изучить на официальном GitHub.

Скачать - https://drive.google.com/file/d/1YJJVnPGq90e_mWZxSGGTptNQilZNfOEO/view?usp=sharing

слегка аркейнизировался с помощью ArcaneGAN v0.3 от @derplearning вот в этом колабе. для пущей красивости еще прогнал результат через Real-ESRGAN. мне нравится что получается, хотя есть несколько деталей которые смущают - статичная текстура губ, странное наполнение рта если он открыт, вторые брови если сильно их поднимаешь и конечно мерцание окружения, которое видно только в анимации. но это все придирки, крутой результат!) в колаб кстати можно закинуть секвенцию картинок и получить что то подобное

на волне хайпа даже сериал пришлось начать смотреть, ниче такой, красивый, и местами интересно

Я уже пилю v0.4. Как-то так будет