Нейросеть Point-E от OpenAI генерирует 3D-модели

Генерация происходит по текстовому запросу. Строго говоря, на выходе не совсем 3D-модели, а облака точек. Они получаются при последовательном взаимодействии двух встроенных моделей: «текст-в-изображение» по типу Stable Diffusion и «изображение-в-3D».

Последняя обучалась на наборе изображений, связанных с 3D-моделями объектов. Разработчики дополняют генерацию точек mesh-системой, которая конвертирует облако точек в изображение, но она работает ещё не очень хорошо.

По мере развития подобные генеративные технологии могут совершить настоящий прорыв во множестве областей —от наполнения объектами метавселенных, игр и фильмов до дизайна реальных интерьеров и 3D-печати.

#нейросеть #генерация #3D #AI

https://click.mail.ru/redir?u=https%3A%2F%2Ftechcrunch.com%2F2022%2F12%2F20%2Fopenai-releases-point-e-an-ai-that-generates-3d-models%2F&c=swm&r=http&o=mail&e=1672136571&v=2&s=e7606e6260358859

Nvidia научила ИИ генерировать видео по текстовому описанию с высоким разрешением

ИИ-модель VideoLDM, разработанную в сотрудничестве с Корнельским университетом, американская компания представила на конференции IEEE по компьютерному зрению и распознаванию образов.

Видео генерируется в разрешении до 1280x2048 и состоит из 113 кадров, длина которых чуть менее пяти секунд. Главные ее преимущества – создание разнообразных и согласованных во времени видео высокого разрешения с высоким качеством.

На демонстрационных роликах можно увидеть, например, как играет на гитаре лягушка по текстовому запросу: «лягушка, играющая на гитаре в группе». Или кадры волн, разбивающихся о маяк, в ответ на запрос: «волны разбиваются об одинокий маяк, зловещее освещение».

Кроме того, модель способна генерировать видео сцен вождения – с различными сценариями и окружающей обстановкой. Но пока разработка является лишь исследовательским проектом – NVIDIA не анонсирует, когда модель появится в открытом доступе.

#Nvidia #ИИ #генерация

https://research.nvidia.com/labs/toronto-ai/VideoLDM/