Готовлю сейчас новые эксперименты для статьи, где сравниваю число данных требуемых для обучения нейронной сети определенному radiance signal-у и классических локальных моделей (гармоники, гауссианы).
Конечно способности ИИ генерализироваться из-за заложенных в него спектрального байеса и оверпараметризации поражают.
Для достижения "равных метрик" ИИ требуется около 25-100 семплов на пиксель, классике же - 10ки тысяч семплов на пиксель.
Понятно что зависит от сцены, а так же того как классические методы агрегируют данные для фиттинга и так далее. Но результаты: небо и земля.
В одном случаи это вопрос 1 секунды "обучения" на современном ГПУ, в другом - минут
Конечно способности ИИ генерализироваться из-за заложенных в него спектрального байеса и оверпараметризации поражают.
Для достижения "равных метрик" ИИ требуется около 25-100 семплов на пиксель, классике же - 10ки тысяч семплов на пиксель.
Понятно что зависит от сцены, а так же того как классические методы агрегируют данные для фиттинга и так далее. Но результаты: небо и земля.
В одном случаи это вопрос 1 секунды "обучения" на современном ГПУ, в другом - минут
🔥2
Стартап Synthesia.io знакомого профессора из TUM, Matt Niessner, продолжает удивлять своими демками.
Красивейший нейронный рендер аватаров, которые теперь еще научились в эмоции 🔥
Большую презентацию с прям продакшен кейсами, где они демонстрируют генерацию презентаций по текст-скрипту можете поглядеть вот тут
P.s. в лабе много ребят из постсовка, так что если думаете о пхд в шикарном (но жёстком) месте - рекомендую!
Красивейший нейронный рендер аватаров, которые теперь еще научились в эмоции 🔥
Большую презентацию с прям продакшен кейсами, где они демонстрируют генерацию презентаций по текст-скрипту можете поглядеть вот тут
P.s. в лабе много ребят из постсовка, так что если думаете о пхд в шикарном (но жёстком) месте - рекомендую!
👍2😱2
Open AI оказывается уже давненько выкатил интересный язык TRITON - конкурент CUDA, позволяющий разительно проще писать программы при всём при этом бенефитя от использования Local Shared Memory и прочих плюшек, нацеленных на уменьшение потребляемого bandwidth-а. напомню, что сейчас по сути bandwidth - основное бутылочное горлышко GPUs.
Зацените пример кодинга Softmax-а. Компилятор сам аллоцирует SM для локального суммирования чисел в текущем ThreadBlock-е, вставляет __syncthreads(), и далее продолжает thread-independent исполнение
И всё это еще с масками. поддерживают указатели! (их блин даже в Вулкане полноценно еще нет 🥹)
Для понимание именно такое задание я вчера дал своим студентам для пар по GPGPU на Vulkan-е (типа CUDA только граф. API) и решение на нём выглядит куда более громоздким)
Узнал же я про него через новый фреймворк для обучение и исполнения NERFов, т.к. они использовали Triton в качестве языка. Скоро может разберусь как он там устроен)
P.s. OpenAI ищет для его развития компайлер-прогера
Зацените пример кодинга Softmax-а. Компилятор сам аллоцирует SM для локального суммирования чисел в текущем ThreadBlock-е, вставляет __syncthreads(), и далее продолжает thread-independent исполнение
И всё это еще с масками. поддерживают указатели! (их блин даже в Вулкане полноценно еще нет 🥹)
Для понимание именно такое задание я вчера дал своим студентам для пар по GPGPU на Vulkan-е (типа CUDA только граф. API) и решение на нём выглядит куда более громоздким)
Узнал же я про него через новый фреймворк для обучение и исполнения NERFов, т.к. они использовали Triton в качестве языка. Скоро может разберусь как он там устроен)
P.s. OpenAI ищет для его развития компайлер-прогера
🔥3
Началось HPG 2024 Student Real-Time Competition, где за лучшие шейдера обычно раздают бесплатно видеокарты/денежки (до $1к) и прочие плюшки! Возможно будут очки VR Quest 3 в этом году, раз главным спонсором является Meta 😊
прикольная строчка в резюме, а закодить можно всего за один вечер :) рекомендую
приложил примеры прошлых победителей. дедлайн 19 июля
прикольная строчка в резюме, а закодить можно всего за один вечер :) рекомендую
приложил примеры прошлых победителей. дедлайн 19 июля
Ребята из Stanford-а продолжают развивать идею цикличного вызова LLMs (тут прям ChatGPT), но в области CGI.
типа давайте доверим LLMке изменение питон скрипта описывающего 3Д сцену, графов определяющие материалы и т.д.
что нового:
- Image-Based Feedback loop. мы будем возвращать ChatGPT на вход получившийся рендер после реализованных изменений, чтобы LLMка смогла "подправить" свои ошибки. ведь теперь ChatGPT может анализировать изображения
- Модуль "воображения", которым выступает по сути DALL-E 3. перед тем как просить ChatGPT предложить какие-либо изменения "кода" материала, мы сначала генерим по тексту диффузкой как мог бы выглядеть этот самый итоговый материал чисто в теории. то есть, что и художники делают в реальной жизни, представляют итоговый результат
Много вопросов, эксперименты ограниченные, но некоторые результаты конечно очень сочные. Обещают код с плагином для Blender-а - там посмотрим!
типа давайте доверим LLMке изменение питон скрипта описывающего 3Д сцену, графов определяющие материалы и т.д.
что нового:
- Image-Based Feedback loop. мы будем возвращать ChatGPT на вход получившийся рендер после реализованных изменений, чтобы LLMка смогла "подправить" свои ошибки. ведь теперь ChatGPT может анализировать изображения
- Модуль "воображения", которым выступает по сути DALL-E 3. перед тем как просить ChatGPT предложить какие-либо изменения "кода" материала, мы сначала генерим по тексту диффузкой как мог бы выглядеть этот самый итоговый материал чисто в теории. то есть, что и художники делают в реальной жизни, представляют итоговый результат
Много вопросов, эксперименты ограниченные, но некоторые результаты конечно очень сочные. Обещают код с плагином для Blender-а - там посмотрим!
Media is too big
VIEW IN TELEGRAM
Продолжаем тему ИИ-based редактирования 3д сцен. Тут авторы запили полноценный пайплайн состоящий из множества компонент вместо использования какой-то 1ой генеральной модели типа ChatGPT (но и её также применяют! 😁)
- Сегментируют мешки
- Классифицируют материалы
- Генерируют как мешка должна выглядеть "в идеале" диффузной сеточкой на основе text prompt
- Выбирают с помощью из набора уже predefined физически-корректных материалов самый подходящий под каждый сегмент объекта. Используют CLIP для этого дела
- Далее с помощью inverse рендера оптимизируют параметры графа этого материала (BRDFки, текстуры и т.д.)
На выходе PBR моделька, которую можно использовать в рендеринге, 3д редакторах, для игр и фильмов. Даже сделали удобный UI интерфейс
Относительно вчерашней статьи классическая демонстрация разницы между двумя подходами:
максимально генеральным основанным лишь на Foundational Models vs полуинженерным, с заложенными приорными знания в виде сложной архитектуры
2ое всегда дает лучше результат в краткосрок
- Сегментируют мешки
- Классифицируют материалы
- Генерируют как мешка должна выглядеть "в идеале" диффузной сеточкой на основе text prompt
- Выбирают с помощью из набора уже predefined физически-корректных материалов самый подходящий под каждый сегмент объекта. Используют CLIP для этого дела
- Далее с помощью inverse рендера оптимизируют параметры графа этого материала (BRDFки, текстуры и т.д.)
На выходе PBR моделька, которую можно использовать в рендеринге, 3д редакторах, для игр и фильмов. Даже сделали удобный UI интерфейс
Относительно вчерашней статьи классическая демонстрация разницы между двумя подходами:
максимально генеральным основанным лишь на Foundational Models vs полуинженерным, с заложенными приорными знания в виде сложной архитектуры
2ое всегда дает лучше результат в краткосрок
Прекрасный пост от Андрея Карпатый (ex-фаундер учёный OpenAI, ex-director Tesla AI) повествующий историю про революционность AlexNet, изменивший мир ИИ тогда и продолживший путь к тому, что мы сегодня наблюдаем!
Обожаю рассказывать, и напоминать себе и коллегам по цеху про The Bitter Lesson, который из неё вытекает.
Да, "просто" написанный иначе код уже существующего алгоритма может изменить науку круче, чем вывод 100ен новых алгоритмов. За это я люблю Computer Science: вычислительная сложность не перманентна и мы можем на неё влиять. И важна, в первую очередь, производительность алгоритма в будущих системах, поэтому делать ресерч здесь очень круто)
P.s. очень сочувствую Алексею. Я тоже 1ый год PhD потратил на переписывания исполнения и обучения нейронок на чистом CUDA 😅
Обожаю рассказывать, и напоминать себе и коллегам по цеху про The Bitter Lesson, который из неё вытекает.
Да, "просто" написанный иначе код уже существующего алгоритма может изменить науку круче, чем вывод 100ен новых алгоритмов. За это я люблю Computer Science: вычислительная сложность не перманентна и мы можем на неё влиять. И важна, в первую очередь, производительность алгоритма в будущих системах, поэтому делать ресерч здесь очень круто)
P.s. очень сочувствую Алексею. Я тоже 1ый год PhD потратил на переписывания исполнения и обучения нейронок на чистом CUDA 😅
This media is not supported in your browser
VIEW IN TELEGRAM
Yellow, новый стартап от Mandeep Waraich (ex Google’s Head of Product: Core ML – Large Models and Industrial AI) и Vincent Sitzmann (Prof. MIT) словил $5 млн в seed раунде 🔥
Стартап про генерацию 3Д контента для игровой индустрии, в частности моделек для персонажей с уже настроенным "скелетом" для последующей анимации - rigged meshes
очень верю в ребят, т.к. Vincent сделал прекраснейший PhD за 3 года c последующим PostDoc за 2, и сразу после стал профом в MIT основав Scene Representation Group, которая уже производит топовый ресерч. а сейчас еще и стартап в добавок. не представляю откуда у одного человека столько времени, но как-нибудь возможно его спрошу об этом
P.s. ребята ищут инженеров на удалёнку
Стартап про генерацию 3Д контента для игровой индустрии, в частности моделек для персонажей с уже настроенным "скелетом" для последующей анимации - rigged meshes
очень верю в ребят, т.к. Vincent сделал прекраснейший PhD за 3 года c последующим PostDoc за 2, и сразу после стал профом в MIT основав Scene Representation Group, которая уже производит топовый ресерч. а сейчас еще и стартап в добавок. не представляю откуда у одного человека столько времени, но как-нибудь возможно его спрошу об этом
P.s. ребята ищут инженеров на удалёнку
N-BVH: Neural ray queries with bounding volume hierarchies-Код-Сравнения
Наши соседи из Саарбрюкена сделали прикольный ресёрч по нейронному сжатию геометрии. По сути, они предлагают реймаршить shallow MLPs c multi-layer grid encodings (InstantNGP), как NERF-ы, на выходе давая visibility и в придачу intersection point + albedo + normal, в случаи если visibility != 1.0
Но т.к. реймаршинг - это дорого, Филипп с Александром обучают BVH поверх множества нейронных node-ов, чтобы скипать пустое пространство.
Таким образом они соединили классическую acceleration data structure, которую современные GPU умеют быстро травёрсить, с новомодными нейронками. которые также современные ГПУ могут ускоренно исполнять 😊
добились сжатия по памяти в десятки раз!
конечно же, из-за того что всё это реализовано "софтверно", итоговые тайминги не очень привлекательны, но мы понимаем что всё это может быть аппаратно ускорено. в теории. вопрос только: cтоит ли туда копать? 🤔🤔🤔
Наши соседи из Саарбрюкена сделали прикольный ресёрч по нейронному сжатию геометрии. По сути, они предлагают реймаршить shallow MLPs c multi-layer grid encodings (InstantNGP), как NERF-ы, на выходе давая visibility и в придачу intersection point + albedo + normal, в случаи если visibility != 1.0
Но т.к. реймаршинг - это дорого, Филипп с Александром обучают BVH поверх множества нейронных node-ов, чтобы скипать пустое пространство.
Таким образом они соединили классическую acceleration data structure, которую современные GPU умеют быстро травёрсить, с новомодными нейронками. которые также современные ГПУ могут ускоренно исполнять 😊
добились сжатия по памяти в десятки раз!
конечно же, из-за того что всё это реализовано "софтверно", итоговые тайминги не очень привлекательны, но мы понимаем что всё это может быть аппаратно ускорено. в теории. вопрос только: cтоит ли туда копать? 🤔🤔🤔
только не понятно чего авторы не предлагают уже ранее разработанные методы префильтрации фичей из мира нёрфов, которые борются с абсолютно такими же проблемами аляйзинга при реймаршинге нейронок что и они
надо спросить
надо спросить
This media is not supported in your browser
VIEW IN TELEGRAM
потому что иначе будет вот такое вот. ладно, запущу через неделю их код - проверю.
если что проверим "сработает ли фикс"
если что проверим "сработает ли фикс"