🎬 Как нейросети помогли поздравить девушек с 8 марта (и немного замучили нас)

К 8 марта мы решили оживить известные культурные и исторические сюжеты при помощи нейросетей. Сразу предупреждаем: волшебной кнопки, которая всё сделает сама, так и не нашли — а искали долго!

📚 Сцена 1: Арина Родионовна читает Пушкину сказку

С помощью нейросети Kling мы оживили статичное изображение. Звучит просто, но на деле пришлось вручную «нарезать» фото по крупностям. Kling, кстати, решил проявить инициативу и заметно омолодил Арину Родионовну.

---

🍑 Сцена 2: Серов рисует «Девушку с персиками»

Самая жесть! Серов почему-то не оставил фотографий процесса работы. В 1887 году с фототехникой было, мягко говоря, не очень. Пришлось выкручиваться:

- нашли современное фото оригинальной комнаты,
- «усадили» за стол ту самую девушку, забрав ее пряма с картины и поколдовав в PS
- дорисовали художника через нейросеть FLUX (Krea).

После этого Kling всё оживил. Получилось здорово, но несколько бессонных ночей у нас было.

---

🗽 Сцена 3: Вера Мухина и её знаменитая скульптура

Казалось бы, простая задача — попросить Kling, чтобы архитектор Вера Мухина повернулась через плечо в сторону своей знаменитой скульптуры. Но в итоге пришлось сделать больше десяти генераций, прежде чем нейросеть поняла, как выглядит обычный человеческий поворот.

---

💔 Сцена 4: Зоя Космодемьянская

Эта сцена — одна из самых драматичных. Kling хорошо передал эмоции и напряжение момента. Правда, с надписью на табличке нейросеть так и не справилась — вместо текста снова написала что-то своими любимыми «макаронами».

---

🚀 Вывод: нейросети и ожившая история

Несмотря на «макароны», десятки попыток объяснить нейросети, что же именно нам нужно, возможность оживить историю и искусство впечатляет по-настоящему.

С помощью разных нейронок мы показали моменты, которые нельзя снять, но можно создать. Это не магия и точно не «одна кнопка». Просто новый способ посмотреть на привычные вещи.

👨‍🚀 Две фотографии, нейросети и немного упрямства

Иногда достаточно двух фотографий, чтобы собрать целую сцену.
Примерно так я вижу правильное использование нейросетей в ТВ-производстве.

Ниже — поэтапный разбор.
📽 Видео сделано из двух фото и одной текстуры. Все исходники — под видео.

1. В первом кадре заменил отражение в шлеме на космос. Обычный фотошоп.
2. В Kling анимировал, как звёзды «проплывают» в отражении.
3. Для второго ракурса — снова ручная сборка: добавил визор с отражением.
4. Самое сложное — открыть визор. Нужно было превратить кадр с закрытым стеклом в кадр с открытым шлемом и лицом Гагарина. Почти никто не справился:
— Kling, Hailulu, Pika, Runway — мимо;
— Pixverse справилась, хотя и считается самой простой. Вот тут и разберись, кто на самом деле круче.
5. Переход между двумя сценами сделал через Pika Frames — плавный морфинг.
6. Всё собрал в монтажке, как обычно.

📌 Нейросети — это не магия, а просто ещё один инструмент. Полезный — если знаешь, что хочешь получить.

🎬 Как нейросети «собирают» видео и фото — заглянем под юбку визуальных моделей

Одна из ключевых технологий в нейросетевых видео/фото генераторах — это диффузионные модели. Они постепенно снижают энтропию, то есть уменьшают уровень случайности в изображении, шаг за шагом выделяя и упорядочивая значимые элементы. Процесс начинается с полного шума, который нейросеть воспринимает как абсолютно случайный набор пикселей. Затем модель использует обученные на большом количестве изображений алгоритмы, чтобы распознать и усилить признаки знакомых объектов (лица, текстуры, предметы). На каждом этапе модель постепенно "очищает" изображение, убирая шум и усиливая детали, которые соответствуют поставленной задаче или описанию. В итоге картинка становится всё более чёткой и реалистичной, так как нейросеть «узнаёт» и детализирует объекты, исходя из накопленного ранее опыта.

Вот как поэтапно работает диффузионная модель (на простом примере запроса «котик»): Если конкретные параметры (цвет шерсти, порода или поза) явно не заданы, нейросеть выбирает их исходя из наиболее часто встречавшихся вариантов в обучающем наборе данных. Например, типичный котик может быть полосатым или серым, сидеть или лежать в естественной позе — просто потому, что таких примеров было много при обучении модели.

Алгоритм работы

1. Начало (полный шум): Запрашиваете нейросеть создать котика. Модель начинает с хаотичного, случайного набора пикселей — полная абстракция, без малейшего намёка на кота.

2. Первый этап (грубое очертание): Модель начинает распознавать общие черты котов, с которыми она ранее сталкивалась. Появляются очертания: круглое туловище, намёк на уши, хвост.

3. Второй этап (уточнение форм): Картинка уже становится похожа на кота. Модель уточняет положение лап, головы, хвоста. Начинают прорисовываться глаза и нос.

4. Третий этап (детализация): Появляются текстуры шерсти, глаза приобретают чёткую форму, появляются усы. Изображение становится отчётливым и узнаваемым.

5. Финал (реализм): Модель устраняет последние шумы и неровности, прорисовывая реалистичные детали. Картинка становится чёт/кой, завершённой и максимально похожей на реального котика.

Теперь мы точно знаем, каких котиков больше всего любит Sora (ChatGPT)

🚗 Как видео-нейросети помогают сделать кадры более кинематографичными и не потратить бюджет Парагвая

Мы уже более 8 лет снимаем автомобильные ралли-рейды. Лучше нас это, кажется, никто не делает, даже крупнейший марафон "Silk Way" работает с нами. Но в этом году я решил попробовать кое-что новое прямо на трассе ралли "Северный Лес": из фотки в видео при помощи нейросети.

📸 Фото вместо камеры

Смысл простой: когда нет лишних рук, фоллоу-фокуса и времени, ты просто делаешь фото. А дальше — запускаешь генерацию.

Вместо 30 минут на постановку, слайдер и ожидание идеального света — у тебя уже готов динамичный кадр, причем при наличие сети прямо на телефоне. Плавный облет, блики в объектив, dolly - все что вы хотели но боялись тащить ))))

Все сцены, которые вы видите в этом посте, были созданы именно так.

🙋‍♂️ Когда зрители становятся операторами

Один из самых интересных кейсов — фото, присланные зрителями. Ты не можешь быть везде. Но если кто-то снял аварию, прыжок или эффектный момент — ты можешь оживить этот кадр и вставить его в сюжет.

⚠️ Что важно помнить

Нет, не всё выходит идеально. Иногда нейросеть выдаёт что-то странное. Иногда анимация не туда. Но даже если не получилось с первого раза — попробуешь снова, или пойдёшь другим путём. Главное — это возможность сделать "план Б".

💡 Вывод

Нейросеть растормаживает фантазию. Сколько раз я думал: «Вот бы сейчас сделать тот или иной кадр», — но техники нет, времени нет, через 30 минут закат и конец съёмочного дня. Нейронки дают ощущение, что всё возможно, жалко что только ощущение (пока). В любом случае, это прекрасный инструмент нового времени.

Посмотрим, что будет дальше. А пока — используем то, что работает здесь и сейчас.

9 мая особый праздник, специально к нему мы при помощи нейросетей подготовили это проект.

Для меня это своего рода magnum opus применения нейросетей в телевидении.

Мы взяли фронтовые кадры Эммануила Евзирихина, которыми поделился его внук и мой коллега по телеканалу 360 - Михаил Евзирихин. C помощью нейросети превратили статические фотографии в короткие фильмы: дым клубится, траки танка вращаются, ветви качаются, люди оживают.

Каждый ролик длится около 40 секунд, в нём живут люди и техника Сталинграда, Восточной Пруссии, Праги. Меня всегда завораживала мысль, что за каждой картиной, фотографией, иллюстрацией скрыта история, которую мы зачастую не знаем просто смотря на изображение. Мы попытались немного выйти за край статического изображения и дать почувствовать при каких обстоятельствах, условиях был сделан снимок.