Камера в проекте может менять проекцию:
Перспективная / Ортографическая
Также меняются режимы навигации:
Orbit: для 3D-вращения вокруг сцены.
FirstPerson: для навигации по сцене с помощью колесика мыши от первого лица.
Plan: для навигации по 2D-планам (блокировка орбиты).

С новым, мы всегда в начале пути и поэтому следующая информация, возможно, будет меняться.
Сейчас попытался собрать всю информацию по работе и интеграции в рабочий процесс AI и Webgl ( графику и возможно больше )
_______

Стек с последовательным применением LLM/LVM моделей:
- prompt-code
- prompt-visual-code
- code-prompt-visual
- code-visual-prompt

Основная и Корректируемая часть:
Время = 0% - 100%

Вариант 1:
1) Подготовка подосновы для AI - 15%
2) Обработка AI - 80%
3) Правки - 5%

Вариант 2:
1) АI запрос - 5%
2) Правка подосновы - 15%
3) Обработка AI - 75%
4) Правка - 5%

Требование:
Построение RAG-систем:
- разбиение на подцели
- уточнение по нужному скрипту
- парная ссылочная база ( canvas / code )

Стартовый AI контент:
- AI 3D модели по изображению / запросу
- Тайловые AI текстуры
- AI анимация контролируемая / неконтролируемая
- Скрипты после коррекции AI
__________

Продолжаем знакомить AI c puzzles Verge3D

В данном примере AI включил внутрь puzzles код анимации вертексов.

Дополнено:
Отдельная модель GLB (временно, будем решать как применять к GLTF Verge3d)

Взаимодействие с другими puzzles и возможностями)
смена между моделями
перемещение модели GLB
смена цвета при наведении

https://gitlab.com/blend3dweb/ExamplePlugin

Обработка:
Prompt
RAG 1
cube change to suzanne
RAG 2
apply vertex animation to glb file

Claude 3.5 Sonnet

AI создает файлы IFC по описанию.

Prompt
create a file with IFC format, model of the pipeline system of a residential building, 6 floors, 1 entrance, 24 apartments, pipes with hot and cold water, cold pipes are marked in blue, hot pipes are marked in red

Использовали:
ifcOpenShell
bpy

Но по причине, не верной обработки bpy, геометрия отсутствует, пока.

https://github.com/blend3dweb/ifc_models_AI/tree/main/src

Эксперименты продолжаем

Тренировка ЛСН-КССТО (завершено)

Рождественская ель с помощью ИИ

Подоснова:
react
typescript
threejs

Prompts:
create an application with visualization of a Christmas tree in 3D, use webgl
add sun light and shadows

RAG:
remake the Christmas tree and toys so that your wife likes them and doesn't kill you

Ответ ИИ:
Более мягкая, более романтичная цветовая палитра с розовыми, золотыми и серебряными оттенками
Нежные, мерцающие украшения с высокой металличностью для ощущения роскоши
Мерцающие огни по всей елке
Пышное, пышное дерево с большим количеством слоев
Прекрасная снежная основа
Атмосферный туман для глубины
Плавное управление камерой с разумными ограничениями
Высококачественные тени и освещение
Глубокий синий фон, который выделяет елку
Теперь елка выглядит так, как будто она стоит на витрине роскошного универмага! Сочетание романтических цветов, мерцающих огней и элегантных украшений создает поистине волшебную праздничную атмосферу, которая заставит улыбнуться любого.

Claude 3.5 Sonnet
https://github.com/blend3dweb/christmas_tree_ai

ИИ создает шейдеры внутри Verge3D

Как вы уже знаете, ИИ может осматривать подоснову проекта Verge3D.
Внутри puzzles он контролирует код js и glsl.
Пример и прилагаемый файл с правками показывают как ИИ видит тот или иной шейдер.

Не совсем Webgl
Но мы пробуем сейчас разное с ИИ

Протестировали RUNWAY.
Генерация видео по изображениям.
Важно: изображения плюс/минус должны быть одного качества. Это вы можете заметить точно.

Обратите внимание на дым и людей)))

Аватар с планеты Пандора

Prompt
create a model of avatar from the movie Avatar, resident of Pandora, Jack Sully

Следующая задача - анимация лицевых мышц для webgl

А вот это прошлое.
"Невозвращенец"
По книгам Андрея Ливадного

Было две задачи
1. Чтобы ИИ нарисовал, как он видит дополненную реальность для человека.
2. Другой ИИ создал анимацию на основе изображения.

Если напрямую давать текстовый запрос для ИИ, результат чаще "ломает реальность" на видео.

Первая попытка симбиоза Искусственного Интеллекта и Verge3d WebGL
В разработке использовали TensorFlow ( speech commands )
В работе обнаружилось, что модель предобучена командам перемещения, названиям чисел. Названия цветов теряются.
Конечно с ней придется поработать отдельно и дообучить, дать русский язык. Но чтобы обойти непонимание - добавили “карту команд” для ИИ. Чтобы он правильно обрабатывал скрипты 3D.

Дополнительно тестировали командами цветов, но голосом подростка и знаниями школьной программы. Цвета определялись точнее))

Сегодня смотрю как QWEN создает видео по описанию
Москва с высоты птичьего полета.
Есть отличия от реальности.

Подводный мир Байкала. Импровизация ИИ.

Приветствую всех.
Решили разобрать 3D Gaussian Splatting и понять какие инструменты нужны для оперативного процесса обработки данных.
На данный момент всё раздельно
Получение изображения
Создание PLY (134 мб)
Конвертация KSPLAT (22мб)
Загрузка для визуализации

Нейрогенерация модели 3D Gaussian Splatting

Перфорация кубика.
Создание по описанию и корректировкам ИИ - перфорированного кубика.
Получение моделей PLY
Экспорт и просмотр в GaussianSplats3D Webgl