Кстати о матрице, ловите

Runway поделились как получать четкие и близкие к источнику результаты с GEN-1:

1) Если нужно изменить стиль по референсу, то лучше вытащить кадр из видео —> стилизовать его через img2img под нужный стиль любым софтом (SD, MJ, Runway, итд) —> использовать итоговую картинку как референс.

2) Идём в расширенные настройки (Advanced) и ставим:

Structural consistency: 0
Style weight: между 3 и 7
Frame consistency: 1.2

300 нейрокотанов!

Никуда не расходимся: организую вам ранний доступ к ботам, играм, креативу, и другим ништякам, которые ваяю. Для этого у вас в аккаунте появится цифровой коллекционный предмет на блокчейне TON, который вы сможете использовать прямо в телеге. Можете хранить его в кошельке @wallet, но я бы советовал Tonkeeper ибо там ключи хранятся у вас, есть поддержка NFT, эксплорер dApp, и вагон других непонятных слов нужных фич.

Степенно буду писать всем в личку и знакомиться, не пугайтесь.

Дальнейшие детали последуют. Открыл чат

Гайд по расширенным настройкам Gen-1 от Runway.

Рассматриваем Style Weight, Frame Consistency, и другие крутилки на примере стайлтрансфера по рефу.

https://dtf.ru/s/595875-neyro-iskusstvo/1738988-gayd-po-rasshirennym-nastroykam-gen-1

Linkin Park потихоньку выкладывали по треку с компиляции в честь 20-летия Meteora, приправляя это всё генеративным визуалом, и сейчас плейлист уже разросся до 89 позиций, включая разархивированные демки, лайв записи и клипы в 4к, а также уже выпущенные треки.

Какой из новых релизов Linkin Park вам понравился больше всего и ваши впечатления о визуале?

https://youtu.be/7NK_JOkuSVY

Задавались вопросом почему нейронкам сложно даются руки?

Тут особой загадки нет:

1. Размер данных. Лица на фото встречаются значительно чаще рук. Даже, когда показано все тело, руки, как правило, занимают гораздо меньше места в кадре, и соответственно в пикселях.

2. Отсутствие понимания анатомии. Это гораздо более глубокая проблема: AI никогда не использовал руки в физическом мире, поэтому приходится делать выводы о том как они выглядят в различных позах путем поверхностного сопоставления с образцом. Вот почему нейронке тяжело даже правильно определить количество пальцев — руки часто закрываются инструментами или пересекаются в рукопожатиях, например.

3. Эффект зловещей долины. Легкие деформации текстуры стен или объектов можно и не заметить. Но неправильные руки моментально тригерят людей.

Видос в тему

Ну, за дизайнеров, брендменеджеров и вот эти вот все упаковки.

Текст-2-дизайн.

Сайт отлично сделан, не иначе ИИ наваял. Очень хорошая связка генератива и традиционных инструментов.

https://flair.ai

Как добиться в Runway генерации видео близкого к оригиналу мы уже рассмотрели. Теперь рассмотрим как с GEN-1 получить неожиданно-любопытный результат.

1) Загружаем видео и используем в качестве референса, картинку максимально не похожую на оригинал.

2) В расширенных настройках (Advanced) ставим:

Style: Structural consistency — 6
Style: Weight — от 4 до 5
Frame consistency — 1.2

Подробнее на что влияет каждая из настроек можно посмотреть здесь с примерами.

Если у вы занимаетесь профессиональной съёмкой на смартфон и по каким-то причинам у вас не работает Filmic Pro, есть смысл попробовать mcpro24fps.

Фичи:
* ручная регулировка фокуса, ISO, фреймрейта, итд
* запись с внешних источников звука (пробовал петличку BOYA и пушку Rhode)
* поддержка Log и LUT
* 10-битная запись на некоторых устройствах
* запись с нескольких камер
* и не только

Работает на русском и английском.

Только для Android. С гугл плей у меня не установилось, но разрабы сами выкладывают рабочие билды на Яндекс.Диск

Представлены видео со свободной точкой обзора — free-view videos (FVV) на основе ReRF!

Текущие методы, использующие нейронную визуализацию (NeRF) для создания FVV-контента ограничены либо работой в оффлайн режиме, либо способностью обрабатывать только короткие сцены с минимальным движением.

Новый метод ReRF (Residual Radiance Field) обладает отличным сжатием, и подходит для реал-тайм визуализации длинных динамичных сцен с возможностью свободно вертеть камерой.

Для FVV сделан отдельный кодек, который сжимает контент в десятки-сотни раз без потери качества:

ReRF — 0,645 МБ/кадр
INGP — 87,3 МБ/кадр
DVGO — 785,6 МБ/кадр

Сопровождается ReRF-плеером для онлайн-трансляций и длительных FVV сцен.

Подключил своего цифрового двойника к сайту/апе, через SD+SAM сгенерил ему новый шмот, повертел со всех сторон в ReRF-плеере, что понравилось — отправил на печать в 3D-принтере или доставкой на дом.

Интересно как свободную камеру в мире кино применят. Сейчас такое практикуется в играх от первого лица.

Сайт
Бумага
Код (пока нет)

Редактирование видео по рефу другого видео: vid2vid-zero

В основе метода три модуля: один для инверсии текста и соблюдения соответствия видео промту; второй для консистентности кадров; и третий для пространственной регуляризации и сохранения достоверности оригинальному видео. Не требует предварительной трени на видеоряде.

Тесты показывают хорошие результаты с заменой объектов и мест в кадре.

Демо
Гитхаб