Было две задачи
1. Чтобы ИИ нарисовал, как он видит дополненную реальность для человека.
2. Другой ИИ создал анимацию на основе изображения.

Если напрямую давать текстовый запрос для ИИ, результат чаще "ломает реальность" на видео.

Первая попытка симбиоза Искусственного Интеллекта и Verge3d WebGL
В разработке использовали TensorFlow ( speech commands )
В работе обнаружилось, что модель предобучена командам перемещения, названиям чисел. Названия цветов теряются.
Конечно с ней придется поработать отдельно и дообучить, дать русский язык. Но чтобы обойти непонимание - добавили “карту команд” для ИИ. Чтобы он правильно обрабатывал скрипты 3D.

Дополнительно тестировали командами цветов, но голосом подростка и знаниями школьной программы. Цвета определялись точнее))

Сегодня смотрю как QWEN создает видео по описанию
Москва с высоты птичьего полета.
Есть отличия от реальности.

Подводный мир Байкала. Импровизация ИИ.

Приветствую всех.
Решили разобрать 3D Gaussian Splatting и понять какие инструменты нужны для оперативного процесса обработки данных.
На данный момент всё раздельно
Получение изображения
Создание PLY (134 мб)
Конвертация KSPLAT (22мб)
Загрузка для визуализации

Нейрогенерация модели 3D Gaussian Splatting

Перфорация кубика.
Создание по описанию и корректировкам ИИ - перфорированного кубика.
Получение моделей PLY
Экспорт и просмотр в GaussianSplats3D Webgl

Device Orientation in Verge3D

Пример работы Device Orientation в приложении.
В приложении работают HDR карты. Можно встроить плавную смену карт, взаимодействие с моделями.

https://blend3dweb.ru/examples/gyro/gyro.html

ИИ видео на основе изображения автомобиля

Пример обработки изображения до получения модели.
Для высокой детализации нужна локальная модель ИИ , дополнительные настройки и мощность оборудования.

Протестировали ИИ на получение модели реалистичного дерева.
формат ply / ksplat

Создали и тестируем скрипт, который передает данные из программы Blender в Nvidia NerF.
Информация, которую использовали для разработки:
https://github.com/blend3dweb/instant-ngp/blob/master/docs/nerf_dataset_tips.md