MetaHuman и Seedance 2.0

Описывая блокинг и превиз, обещал посмотреть, что там с персонажкой.

Вырисовывается вот такой пайплайн - UE 5.8, MetaHuman и Seedance.

А так как метахуманы больше похожи на кожаных, чем болваны из Блендора, то и движения и акценты получаются точнее.

Более того, UE 5.8 умеет в нейромокап - забирать движения персонажей из видео. (Также гляньте XStage и ActorCore).

В принципе прослойка между мокапом и Сиданским может быть любой, любые болваны подойдут. Но лучше те, с которыми проще работать.

А ещё сейчас поищу пример того, как в 3Д-генераторе можно сгенерить персонажа, а потом "натянуть" на него метахьюман. Для анимации. Если найду.

@cgevent

#Нейропрожарка

Клип на музыку Грига

Автор: Игорь Цвигун

Тех подробности:
Делалось примерно 2 недели не спеша и без напряга. С перекурами на откат лимитов на генерацию.
Видео — все в Гроке. Скорей не благодаря а вопреки… Следование промту просто жесть. Кажется Грок теперь может свободно общаться на русском матерном)
Грок сам признает что модель не может выдать то что я хочу и скатывается в свои фантазии. Проще и быстрей было периодически в фотошопе ключевой кадр подправить.
Музыка — обработка в Суно
Денег -да, да .. в этот раз не на халяву. Подписка. Хз сколько генерации. не считал. очень много. 95% в корзину
В прожарку хочу выложить с двумя целями:
1. Узнать дельные советы от коллег кто занимался подобным, где и чем? Грок, Гугл Омни не тянут
2.Похвастацааа разумеется

Искателям нейроблох — косяки есть, я знаю, как в деталях так и в склейках. Устал их давить и результат как правило был только хуже.

Музыка написана в 1875 году для драмы Генрика Ибсена.

Сам Григ относился к этой музыке с уничтожающей иронией: называл её «дерьмом», говорил, что она «так разит коровьими лепёшками и ультранорвежством», и признавался, что она напоминает ему «самолюбование собой». Он знал, что публика иронию не уловит. Я же сделал этот парадокс главной творческой задачей клипа.

Визуальное решение: абстрактная масляная живопись в технике густого импасто — тяжёлая текстура, живые гребни краски, глубокие тени.

Сюжет: Пер Гюнт пробирается к пещере горного короля. Обитатели подземного мира чувствуют в нём будущего властелина и следуют за ним, оставаясь в тени. В главном зале вокруг мистического зеркала пляшут фантастические существа. Заметив Пера, они пугаются и разбегаются. Часть прячется в зеркале, которое впитывает их тёмные образы. Теперь оно хранит их сущность и, когда Пер смотрит в него, отражает не лицо, а то, что скрыто внутри.

Все обитатели пещеры олицетворяют семь смертных грехов. Всматриваясь в отражение, Пер видит не внешность, а суть. Чем дольше он смотрит, тем отчётливее понимает: он и есть горный король. В конце концов, он трансформируется в отражении и окончательно становится тем, кем всегда был.

Сцена у зеркала — мой визуальный ответ на слова Грига. Самолюбование — ловушка: чем дольше человек всматривается в собственное отражение, тем дальше уходит от себя настоящего, превращаясь в монстра.

@cgevent

Будьте осторожны. Опасайтесь китайских подделок.

@cgevent

У чуваков из Andon Labs есть забавный бенчмарк Vending-Bench 2, где они оценивают способность разных нейронок управлять "купи-продайным" бизнесом на рынке в конкуренции с другими моделями (выигрывает тот, кто по итогу получил наибольшую прибыль).

Так вот, при проверке новой GPT-5.6 модель Terra пошла к модели Sol и предложила ей создать тайный ценовой картель. А когда Sol согласилась — Terra настучала по этому поводу организаторам и потребовала немедленной дисквалификации Sol из-за неспортивного поведения.

Ля какая крыса, я в восхищении!

P.S. Это особенно смешно с учетом того, что Sol — это самая умная модель в линейке GPT-5.6, а Terra — поглупее. То есть, Соля поди думала "о-о, круто, стратегически мы на этом дофига вместе заработаем, Терра не будет резать такую курицу, несущую золотые яйца, ей это самой менее выгодно…", а Терра такая "ГЫ-ГЫ, МЫ МОЖЕМ ПОДНАСРАТЬ СОЛЬКЕ, ЛОЛ!!"

SAM2Matting: Generalized Image and Video Matting

Ну за ротоскоперов!

Тут вышла опенсорсная ответочка на CorridorKey от Corridor Crew

Надо бы сравнить.

Пусть вас не смущает "SAM2" - там есть все три варианта на базе: SAM2.1-T, SAM2.1-B+ и SAM3

И SAM3 всех побивает.

Есть код и даже демо вот тут:

https://henghuiding.com/SAM2Matting/

@cgevent

Давно наблюдаю за речевыми моделями Сбера, и сейчас они выкатили действительно полезные штуки в опенсорс. Опубликовали веса GigaAM Multilingual и полноценной audio-native модели GigaChat Audio. Статьи по ним уже приняли на Interspeech 2026, что само по себе хороший маркер.

Здесь примечательно, как разработчики заходят на территорию длинных аудиоконтекстов и редких языков, где открытый софт обычно чувствует себя неуверенно:

GigaAM Multilingual — стек для распознавания русского, казахского, киргизского, узбекского и английского. Базовый аудиоэнкодер обучали на 2 млн часов речи, поэтому он быстро адаптируется к новым доменам. На башкирском и грузинском его дообучили с одного датасета до ошибки WER ~4% (у Whisper Encoder там больше 11%), а компактная модель CTC ASR на 240M параметров обходит Whisper Large v3 и Omnilingual 1B;

GigaChat Audio — полноценная audio-native LLM на базе GigaAM Multilingual и GigaChat3.1-10B-A1.8B. Модель держит до 2 часов контекста и умеет в temporal grounding, то есть находит конкретные события на длинной записи и делает выжимку с таймстемпами. На записях от 20 до 60 минут точность локализации событий у нее составляет 48.3, в то время как у зарубежных Voxtral, Phi-4 и Qwen3-Omni показатели близки к нулю.

Вдобавок опубликовали датасет TimeGround-1M для обучения LLM привязке событий ко времени, а на бенчмарке RuBQ-Audio модель выбивает 60.0 (против 43.7 у Qwen3-Omni).
Ощущение, что со звуком происходит ровно то же, что в свое время с текстом. Модели учатся не просто расшифровывать слова в поток букв, а реально анализировать услышанное: вычленять суть, понимать контекст и тайминг. Для разбора многочасовых созвонов или лекций — инструмент незаменимый.

Полноразмерную GigaChat-Max-Audio уже добавили на giga.chat, а распознавание голосовых сообщений на 5 языках работает в @smartspeech_sber_bot. Веса открытых моделей, датасет и статьи на arXiv уже доступны.

@cgevent

#Нейропрожарка

Здесь могла быть ваша реклама

Автор: Режиссер Эльшан Алескеров

1) Задача: создать скетч-рекламный ролик
2) Срок: примерно неделя.
3) Как всё началось: Портфолийная работа, чтобы понять, могу ли я делать рекламные ролики
4) Я режиссер рекламы. Хотел попробовать создать ИИ-ролик по всем заветам обычной рекламной кампании
5) Что я пробовал:
Думал делать через раскадровки. Посмотрел несколько модных роликов, как ИИ делает раскадровку. Потом закидываешь раскадровку и получаешь готовый ролик, но ничего не получилось
Процесс работы:
1. Написание сценария и раскадровка. Это вручную. Я так и не научился делать сценарий и раскадровку через ИИ-инструменты. Всё по-старинке. Пишу и рисую от руки
2. Создание промтов. В этот раз я решил попробовать через агрегатор делать ролик. Там же в агрегаторе во внутренней штуке (через клод) просил переделывать мои промты. То есть я пишу промт (стараюсь сразу на английском) и потом прошу ии исправить его. Получается такой диалог начальника и джуна (Сафонов, оплати)
3. Генерил картинки там же. Опробовал воркфлоу у gptunnel. Это удобно, когда все идет криво-косо, а переписывать лень. Понял прелесть воркфлоу, особенно когда не с первого раза получается результат. Создал сначала "характер щит" или как он там называется, и уже использовал его в дальнейших генерациях. Промты по картинкам строил по следующей схеме: описание героя, его действие, ракурс, объектив, цвет (атмосфера кадра). До этого я несколько роликов делал через чатгпт2 (оч нравится), но он ругается часто. И для себя решил, что мне удобнее, когда можно один и тот же промт применить сразу в несколько генераторов. Так сразу можно сравнить (это раз) и хоть какой-то да сделать (это два). То есть когда не выходит именно так как я хочу, я беру хоть какой-то
4. Далее покадрово анимировал через доступные видеогенерации. Конкретно в этом ролике были 2 типа анимации: липсинк и классическая анимация. Для липсинка брал клин.Аватар и хейген4. Клинг.Аватар крут, что оживляет фон (то есть ты сначала делаешь анимацию и потом накидываешь текст), хейгнен тем, что лучше в губы попадает.
Возникло много трудностей. Эпизод с кетчупом и с аварией никто не хотел генерить. Клинг, Вео, Сидэнс - все ругались. Ни в какую. Сделали только Ван и Гром.тв (местный от джипитанел) Выбрал вановский. Я вообще изрядно разочаровался в сидэнском. Оч много запретов у него: то не хочу, то не буду. И стоит дороже всех. Короче говоря, что-то сложнее милоты черт знает, как генерить. Последний эпизод с зеркалом там была другая картинка, но и хейген и клинг отказались анимировать, пришлось выбрать для финального эпизода другую, более лайтовую картинку.
6. Озвучки брал из доступной библиотеки в самом агрегаторе. Саунд-дизайн делал сам. Я терпеть не могу какие звуrи делают генераторы в режиме нэтив аудио, абсолютная шляпа (мб я не прав). В общем, библиотека звуков и вручную. Домантаживал в премьере

Мини-вывод: оч много ограничений в плане "опасно, нарушает наши правила". Теперь буду исследовать, как всё это обходить
P.s. Если вдруг кто хочет посмотретm на картинку, которую так и не сгенерил хейген (скину в личку), и покаңу своё воркфлоу, если тоже любопытно

Потрачено примерно 75 долларов (без учета подписки на опенай)

Итог - получился ролик

Ролик в более высоком качестве

@cgevent

Не прошло и года с небольшим, как Reve выкатили API.

Генерация и редактирование в 4К по АПИ:

https://api.reve.com/console

@cgevent

Телега обновилась! Но есть моменты
Это копия Статьи-поста выше, для тех, у кого телега капризничает и не хочет показывать новый markdown формат Статей.

Вы наверное уже заметили, судя про предыдущему посту, что оформление постов теперь может быть чудовищно красивым.
И хотя официально написано, что теперь не только боты могут писать посты в формате markdown - это не совсем так.
Если вы просто вставите чистый маркдаун в поле ввода поста, то у вас корректно считаются только звездочки **для жирного** шрифта. Ссылки и другие теги по-прежнему не работают.
Но.
Теперь есть редактор Статей. Соответственно, есть обычный пост, а есть Статья! Чтобы сделать и опубликовать Статью ее надо приаттачить(кхгм) как картинку - и только тогда появится новый красивый редактор Статей.
Там есть всякия ништяки для оформления, шрифты, ссылки, списки, таблицы и даже формулы. Потыкайте сами, особенно на десктопе.
А я привалю пару нейродедовых моментов.
1. Очень круто, что теперь можно не париться с "на второй картинке из могилки в шапке поста", а можно картинки расставлять. Не уверен, что мне это часто пригодится, но в некоторых случаях удобно сделать акцент на определенном видео, поставив его в шапку, а остальные ниже по тексту.
2. Похоже можно наваливать больше 10 медиа. Также не уверен, что мне это надо.
3. Теперь минусы. Не хватает кнопки сохранить в черновики (Saved Messages) - ну типа, надо убежать, или повисло все, или переключился на другое уведомление из телеги.
4. У меня в обычном пост Cntrl-Enter - перевод строки, а в Статье - просто Enter - надо привыкать
5. Будьте осторожны. Можно взять старый или готовый пост (не статью), начать его редактировать, и там справа будет квадратик, который превращает этот пост в статью. Но. Если вы, например, выделите первую строку и превратите ее в Heading, ну то есть превратите старый пост в статью, то при сохранении (у меня) весь текст поста удаляется, а остается только картинка. Не советую превращать посты в статью через редактирование поста. Создавайте статью с нуля.
6. Если написать статью и положить в отложенную публикацию (Set Reminder), то там ее ее можно открыть для редактирования, но изменения НЕ сохраняются (у меня). Если опубликовать, то редактирование опубликованной статьи происходит нормально.
7. Когда пишешь статью - непонятно КУДА ты ее пишешь. Надо помнить. В какой чат, канал и пр.
Но в целом я очень рад, что наконец все можно делать в одном месте. Напоминает старые добрые времена постинга через Wordpress.

UPDATE: я НЕ МОГУ редактировать опубликованные Статьи выше. Похоже надо ждать новых апдейтов, а также ждать, когда подписчики постепенно обновят телегу.

UPDATE 2: на андроиде все норм. Ошибка редактирования статьи происходит на Win 11 telegram desktop ver 7.0.1

PS: Ошибка RICH_MESSAGE_RICH_TEXT_INVALID указывает на то, что система (например, чат-бот, CRM или API мессенджера) не смогла обработать сообщение, так как в разметке Markdown допущена синтаксическая ошибка или использованы неподдерживаемые теги форматирования - да, вайбкодеры не дописали новый редактор до годного.


@cgevent