В общем, в видосе не было ни капли графики! Все ракеты тоже настоящие! Запуск Starship начнется через полтора часа.

К слову, там тоже не будет ни капли графики, наконец-то сможем вживую увидеть плоскую землю!

Смотреть тут.

С сегодняшним анонсом от StabilityAI версии для генерации img2video, мы получим рост инструментов для создания и модификации видео.

Да, у нас уже были Runway, Pika и другие подобные инструменты, но возможность тонкой настройки, большого комьюнити и возможность допиливания модулей, это лучший бензин для продукта.

Изменение парадигмы создания VFX для low и middle сегмента почувствуют это на себе в полной мере, трекинг, маскирование и сокращение времени генерации для разного рода эффектов, это то что ждет нас в ближайшее время.

В видео несколько примеров того, что можно будет делать в разы удобнее и быстрее. Промпт, футаж и матирование основные инструменты new wave.

Вот в порядке бреда! Гипотетически у нас есть способ забирать импульсы из мозга, также у нас есть сети, которые, "как говорил Хуанг", будут генерировать каждый пиксель. Они, в теории, смогут генерировать контент, опираясь на какое-то подобие инпута, состоящего из наших импульсов (аналог промптов). Как скоро мы сможем сделать себе персональный рай или ад? Или просто уйти в галлюцинации?

Ладно, давайте просто опустимся с небес и попробуем предположить, возможен ли просто генеративный обещанный Хуангом игровой мир. В теории алгоритмы генерации окружения с получением глубины для проджекта уже есть. Алгоритмы проджекта текстур на генеративную геометрию уже есть (пример). Алгоритмы расстановки (дрессинга) на локациях уже есть (PrometheanAI). Автономные AI-driven агенты уже есть. Музыка, тексты, генерации квестов есть. Материала для обучения тонна, игр за последние 30-40 лет понавыпускали достаточно.

Тут важно понимать, что я говорю не о готовых решениях а о возможном развитии создания развлекательного цифрового контента.

Да, все это с большой оговоркой, да, сейчас собрать это все воедино мало кому под силу, скорее даже некому. И это вообще не перспектива ближайших 10 лет. Но сам вектор человеческой мысли и дорожка, которую мы себе прокладываем, с одной стороны, меня радует, а с другой стороны, я понимаю, что мы бредем по этому лесу и однажды упадем в медвежий капкан, который сами же себе и вырыли.

На видео генерация FPS в SD

Кстати забыл с вами поделиться, такие видосики из статичных картинок можно погенерить ниже по линку like stable-video-diffusion.

Сорс

Ты еще не научился делать ровную, аккуратную сетку, а Mesh GPT уже взяли на работу.

Что интересно, генерации происходят на базе LLM-модели, обученной на выборке с готовыми моделями. При разработке стремились добиться схожих результатов с тем, как обычно художники производят этап Lowpoly.

И тут я вижу проблему вот в чем. С одной стороны, цель благородная: облегчить, автоматизировать один из этапов производства. С другой, этот этап настолько заебистый, и столько входящих параметров нужно учитывать, чтобы действительно по требованиям сделать эту лоупольку, что, казалось бы, нет смысла это автоматизировать.

Т.к. помимо пайплайна Lowpoly+bake существуют и другие: мидполи, с фасками, без фасок, через USD с сабдивами, nanite и другие, которые, как я очень надеюсь, вытеснят со временем все остальные. Пока что я вижу, что так и происходит, проблема только в том, что не все движки нативно поддерживают эту технологию.

Пока алгоритм оптимизируют и доведут до потребностей реального продакшена, переход уже произойдет.

Если с самим принципом построения мы разобрались, то сама идея генерации через LLM дает куда более точные результаты, чем через те же поинтклауды. Грани мы имеем более четкие, что важно для хардсерфейс объектов. Тут под хардсерфейс я имею в виду любые твердотельные объекты, включая мебель, тоже туда же, не органические формы в целом. Вопрос только в том, может ли этот подход также эффективно работать с более органическими формами.

Читать подробнее
Видео

Ну и щепотка LLM от китайской компании DeepSeek. Работает на трансформерах и только с текстом. Вообще, конечно, забавно, что большое количество языковых моделей явно будут продвигать политику и взгляды той страны, в которой она была разработана.

Отсюда нужен фреймворк, способный запрашивать данные из разных моделей и выводить тебе факты с поправками на географию и пропаганду.

Чат с открытым исходным кодом.
67 миллиардов параметров.
2 триллиона двуязычных токенов.
Базы до ноября 22 года.

SceneTex - интересная работа, которая берет наработки в области генерации text2img и прожекта на геометрию. Из опорной стены архвизеров выбили еще пару кирпичиков.

В этой работе постарались решить довольно крупную проблему согласованности пространства для генерации. Когда прожект идет на отдельный объект, проблем почти нет. А когда у вас стул или диван стоит на полу, то велик шанс залететь с текстурой дивана на пол или стену.

Тут получилось избежать подобных проблем, в видео как раз показана работа конкурентных алгоритмов с подобными проблемами.

Дело за малым, либо продать наработки, либо самостоятельно довести до релизного продукта. Одно из двух обязательно произойдет.

Описание
Видео

🚀 Вывод российских геймдев разработчиков на мировые рынки!

Центр развития креативной экономики АСИ запускает акселераторы с целью вывода российских геймдев-разработчиков на зарубежные рынки. Первый акселератор будет ориентирован на азиатские рынки, в частности, Китай. В рамках программы помощи 30 компаниям предоставят обучение, экспертную поддержку и возможность установить контакты с партнерами из дружественных стран.

🎮 Главная задача акселератора - разработка видеоигр с зарубежными партнерами и совместное продвижение игровой индустрии. Участники программы получат знания про экспорт в страны Азии и БРИКС+, создадут стратегии совместного производства игр и смогут представить свои проекты на крупных международных форумах.

🌍 Результаты акселератора будут представлены на Петербургском международном экономическом форуме, Восточном экономическом форуме и саммите БРИКС. Также планируется распространение опыта и результатов программы на другие страны.

Это отличная возможность для российских геймдев разработчиков расширить свои границы и выйти на мировой уровень! 🌟

С тех пор, как Unity обосралась со своей новой бизнес-моделью, Godot не оставляет надежды занять освобождающееся место и показывает реалистичные демки со сканами и модной системой освещения SDFGI Lighting.

Лайтинг основан на дистанс-филдах, как в UE, но пока не умеет в окклюдеры и эмиссивные поверхности, при этом свет динамический.

А помните время, когда Blender не воспринимали всерьез и говорили, что это не стандарт индустрии? С Godot вполне может произойти то же самое.

У меня, к сожалению, не хватает времени на изучение нового движка, поэтому я к вам, комьюнити, хочу обратиться. Напишите, пожалуйста, в комментариях о плюсах и минусах Godot. Может ли он составить достойную конкуренцию Unity и UE?

сдохла sdxl turbo + tensorrt = 50fps @ 4090

Видео не ускорено. Теперь инсульт доступен и в реалтайме,
what a time to be alive!

Забавно, что при такой скорости боттлнек уже на фронтенде.

тред

@derplearning

Пока что появление новых инструментов не выглядит и близко как однокнопочные решения, и для достижения сносных результатов все еще нужно тратить довольно много времени и жонглировать кучей разного софта.

Только если раньше это были тяжелые профессиональные стендалон решения, то сейчас это куча облачных сервисов, за которые нужно платить, хотя и не сопоставимую по стоимости с теми же лицензиями Autodesk.

В итоге круги ада, которые нужно пройти:

- 4 ракурса желаемой модели ☠️
- стриминг marmoset to krea.ai
- промптинг, пока не получишь желаемый результат
- Runway, чтобы получить кропнутый анимированный бюст

Это не значит, что ужасная и нерабочая схема. Сейчас, пока все не устоялось, можно проявлять творческий подход к новым инструментам, учитывая то, что вы хотите получить на выходе. Кажется, сейчас самое время экспериментировать со своими историями в области комиксов, анимации и кино.

Когда я говорил, что развитие графического представления может вообще пойти по другому пути, я имел в виду, что может не быть плавного изменения пайплайнов от сложных к простым.

Может произойти вообще координальный сдвиг, и нужен ли будет хотя бы каркас в виде 3D геометрии, еще большой вопрос.

Вполне вероятно, что в контексте игр будем обходиться контрольными точками, путь между которыми будет генерироваться вариативно и, возможно, у каждого по-своему, на основе приблизительного описания.

А пока что - просто тесты рендеринга примитивов и расчеты света и тени.

Пример того, как это может выглядеть.

Скорость вывода, рассыпающаяся картинка, консистентность вывода в сетевой игре. При таких вводных, большой вопрос: оставят ли нам радость локальные вычисления. Это все же может быть тяжелой ношей на текущем зоопарке оборудования. К тому же, вероятно, нужны новые более адаптированные к этому чипы.

Очень интересно, покажут ли на релизе трейлере в GTA6 предполагаемых NPC от GPT. Анонс какого-то генератива от игры десятилетия ожидается, ведь Rockstar всегда удивляла передовыми технологиями на десятилетие вперед.