Kling 3.0

Сюда тоже добавили функцию Elements, теперь можем получать консистентных персонажей и объекты в любых ракурсах.

Завезли мультишот, то есть можно создавать несколько ракурсов в рамках одной генерации. Такое уже существовало ранее, например в Veo, но теперь с элементами функция становится круче. Для быстрых сюжетов удобно минуя банану (для слопа).

В целом качество видео стало круче по детализации, накрутили динамики, взаимодействия между объектами. Но проблемы диффузионных моделей и галлюцинаций никуда не пропали, на дальних ракурсах лица персонажей и детали все так же будут теряться.

А также добавили технические ништяки, например выбор длительности посекундно от 3 до 15. Промптинг действий по таймингам, промптинг sfx.

Объективно клинг и так топ-имба среди всех видеомоделей на сервисах, но все задачи он не закроет.

Закину тесты, когда появится в общем доступе (пока что на самых дорогих тарифах агрегаторов) а на скрине цена за мультишот 15с

Всё лучшее из ai опенсорса в аддоне для Blender

img2img
img2vid
imgto3d
LLM для создания блокинга сцен
Generate 360 HDRI

Подробнее

Нашел это творение Rublev CG

ЗАПУСТИЛ НОВОЕ ОБУЧЕНИЕ

Обучаю лору на персонажа. Никогда не думал, что буду заниматься этим. Но все бывает впервые, поэтому рассказываю.

Задача:  
- нужна потоковая генерация стилизованного персонажа для длинных видео
- нужна стабильная внешность, стиль, пропорции.

Бананить через референсы и гадать с промпатми для потоковых генераций занимает много времени (сложность добавляет цензура, тк перс похож на эминема)))

Поэтому решили идти в обучение своей LoRA.

Хороших гайдов мало. Поэтому пришлось тестить, в основном с детасетом и описаниями: здесь важно брать и количеством, и качеством.

Сделал уже несколько итераций и с каждым разом результат все лучше. Покажу и расскажу все нюансы, как доведу до идеала.

Проблемы, которые сейчас имеются: датасет в 40 изображений не охватывает все сцены, незнакомые локации получаются в реализме и также персонаж может менять пропорции. Поэтому нужно дотягивать датасет с более жестким фильтром на похожесть перса.

❗️ Если кто-то обучал своих персонажей для Klein, можете поделиться опытом в лс или комментах.

смотрите че сделал

смотрите че сделал

сиденс 2.0 динамику оч хорошую добавляет, щас отправлюсь мультишот тестить

Ai рендер бесплатно

В новом ролике у Godnesss рассказали про пайплайн 3D+AI с Kling и SeeDance.

А сейчас публикую обещанный способ с LTX2.3, генерьте бесплатно и на своих пк.

Как пользоваться:

1. Закидывайте ворк в ComfyUI
2. Подгружаем анимацию + реф для стилизации (по первому кадру анимации)
3. Как в случае с машиной выбираем режим глубины (цифра 2). Для людей выбираем режим по позе (цифра 1).
4. Вставляем промпт с небольшим описанием движений.
Быстро можно сделать закинув в Gemini анимацию и референс стиля.
5. Выбираем все пути к моделям (ссылки на скачивание всего доступны в вф, если чего-то нет, ищите по названию в поисковике и скачивайте с сайта HuggingFace.

Воркфлоу используем, когда нужны небольшая динамика и понятные движения.

Когда хотим, чтоб нейронка достроила что-то, чего нет в анимации, тогда идём в Seedance, как в примере с дтп.

Дополняю гайдом, чтоб всем наглядно было видно.

Те, кто даже не знает как установить комфи — тут рассказал

Camera control test 2

Пересобирал ворк в комфи под рабочую задачу заодно на тачке протестировал. Собрал буквально за 30 минут даже колеса не стал крутить максимально втупую. 3 кадр только забыл включить задней части тачки, поэтому жопу LTX сам додумал. Если надписи изначально и мелкие объекты поправить на этапе картинок и сделать норм композ то можно прям сэкс будет.

Так же рефайн отработал нормально в 50фпс прогонял тоже вообще без слопа плывущего. Тут 24 и тоже ничего.