В последние пара дней в твиттере происходит забавный срач на фоне выхода Sora и ооочень крутой модели text->game от Google (рекомендую оценить если ещё не видели)

Графики решили пообесценивать достижения ИИ-ресерчеров, а те в ответку поиздевались над первыми

А я в этот момент сижу на двух стульях и хохочу с этого небольшого цирка 😁

Но Ben got the point:

Оставаясь чисто рендерщиком в 2024 году, можно и правда повторить судьбу лингвистов в области Natural Language Processing

Почему полезно графикам следить за миром фундаментального ИИ?

Я думаю уже все видели самую ожидаемую презентацию Ильи Суцкевера с NIPS 24

Если же нет, то вот рекомендую выделить 20 минут своего времени, т.к. он озвучивает часть мыслей в слух, которые уже витали в воздухе, но многие в них сомневались

Находясь на научном фронтире, благодаря аллоцированным ему ресурсам (~1$ млрд) и его положению, важно что он подтверждает своими словами 2 тейка:
- Данные не растут. У нас всего 1 интернет. И именно он не позволяет отскалироваться современным моделям, полагаясь на pre-training
- Одним из решением может являться Synthetic Data

Что значит Synthetic Data в нашем случаи? Конечно же это рендеры, которые можно использовать для обучения моделей. Безусловно там еще множество фундаментальных проблем, но я бы ожидал всё больше инвестиции в физически-корректные визуализации и автоматизацию создания контента в ближайшие года

И да, Sora, кажется обучалась на Apex, подтверждая теорию выше :)

#ии #графон #индустрия

Можно ли применить Inference-Time Scaling не только для улучшения LLM - как было с o1 - но и для генерации изображений?

Именно такой вопрос проресёрчили ребята из Гугл, NYU и MIT, и оказалось что ответ: да, можно, и приводит к успеху

Напомню на чём строится идея за этим направлением в общих чертах:
1️⃣ У нас есть проблемы с обучением ИИ, которые решают задачи с 100% точностью end-to-end
2️⃣ Но мы неплохо продвинулись в вопросе верификации ответов

Разница: легко научиться понимать вкусный ли торт, но в разы сложнее научиться его печь с нуля

Поэтому, мы можем, используя всякие метрики: CLIP/DINO/FID/IS, проверять насколько сгенерированное изображение соответствует запросу и выбирать лучшее из всех попыток - Random Search

Или пойти дальше и по пути генерации пикчи - решения ODE/интегрирования - заглядывать немного в будущее и смотреть какие шумы приведут к каким результатам и выбирать лучший путь - Search over Paths

Имхо, очень любопытно. Но можно ли эту мысль перепроецировать на рендеринг? 🤔🤔
#ии #статья

Nvidia наконец опубликовала whitepaper по Blackwell архитектуре, которую я не комментировал публично без оф. данных

Из интересного (сравнение 4090 vs 5090):

1️⃣ "Built for Neural Rendering". NRC, Neural BSDF, DLSS и т.д.

Значит направление моего ресерча всё же выбрано верно (последняя статья прям об этом, где мы обошли NRC) 😎
Добавили вызов нейронных шейдеров в трассировке через SER, на что был и правда запрос. Еще и ускорили его в 2х🔥

2️⃣ Безумный рост bandwidth в 1.7x. Для контекста - это главное бутылочное горлышка почти всех use-case-ов, и оно долго стагнировало

3️⃣ Рост TFLOPs и тензорных и обычных на ~27%. Также добавили fp4 для ИИ, позволяющий втиснуться в VRAM и предоставляющий 2х TFLOPS (аж 1.6 PFLOPS 🤯)

4️⃣ Nanite для RTX c кластерными ускоряющими структурами (CLAS), разделением TLAS на подблоки для статики\динамики, спец. геометрии для волос и управлением через GPU

имхо, прекрасное поколение и по сухим техническим данным! Пиарить просто не стоило так нагло 😉

#ии #индустрия #графон

В связи с тем, что DLSS 4.0 на основе трансформеров также был зарелизнут, многие работающие в графике задались вопросом как далеко всё это может продвинуться

Мало того, что мы скалируем 720p изображение в 1080p/4K, и вместо "16 путей света/пиксель семплируем лишь 1", так теперь еще и предсказываем аж 3 кадра во временном пространстве

Тем самым ИИ предсказывает аж 15 пикселей из 16, или же 240 путей света из 256 🤯

Где предел? Да чёрт его знает 😅, но я бы смотрел через призму Neural Scale Law, утверждающего что в определенный момент придется делать DLSS в 10х тяжелее, чтобы качество выросло аж на 10% (см. графики)

Очевидно Нвидиа использует многие ИИ-хаки (Дистилляция, Квантизация), чтобы эти кривые роста костов немного сместить, но подход не долгосрочный и до 1 битной точности осталось небольшое окно (сейчас 4-8 бит afaik)

Чего с этими знаниями делать? Да пусть каждый решает сам, но важно держать данный контекст если задумываетесь как можно еще сильнее графон продвинуть вперёд)

#ии #графон #индустрия

Интересный анализ по Nvidia от Epoch AI

Там очень много данных, советую самому в них покопаться. там найдете супер полезные инсайды если вы занимаетесь ресерчерем, строите бизнес, инвестируете или просто вам полезно знать куда движутся тренды

То, что я нашел для себя довольно интересным:

1️⃣ Начиная с 2019 в среднем хватает всего 10ти месяцев для удвоению введенных в эксплуатацию Compute GPU FLOPS во всем мире

2️⃣ Соответственно в среднем годовой рост составляет 2.3х, в то же время спрос на вычисления для обучения фронтирных моделей растет в 4-5х -> "упираемся" в скалируемость по железу

3️⃣ В среднем переход от FP32 к INT8 дал 12х буст в compute - а не 4x как можно было бы предположить. У H100 разница вообще в 59 раз 🤯

4️⃣ Компьют дешевеет на 30%/год. Стоимость человеческого труда же только растет...

#индустрия #ии