Можно ли применить Inference-Time Scaling не только для улучшения LLM - как было с o1 - но и для генерации изображений?

Именно такой вопрос проресёрчили ребята из Гугл, NYU и MIT, и оказалось что ответ: да, можно, и приводит к успеху

Напомню на чём строится идея за этим направлением в общих чертах:
1️⃣ У нас есть проблемы с обучением ИИ, которые решают задачи с 100% точностью end-to-end
2️⃣ Но мы неплохо продвинулись в вопросе верификации ответов

Разница: легко научиться понимать вкусный ли торт, но в разы сложнее научиться его печь с нуля

Поэтому, мы можем, используя всякие метрики: CLIP/DINO/FID/IS, проверять насколько сгенерированное изображение соответствует запросу и выбирать лучшее из всех попыток - Random Search

Или пойти дальше и по пути генерации пикчи - решения ODE/интегрирования - заглядывать немного в будущее и смотреть какие шумы приведут к каким результатам и выбирать лучший путь - Search over Paths

Имхо, очень любопытно. Но можно ли эту мысль перепроецировать на рендеринг? 🤔🤔
#ии #статья

Nvidia наконец опубликовала whitepaper по Blackwell архитектуре, которую я не комментировал публично без оф. данных

Из интересного (сравнение 4090 vs 5090):

1️⃣ "Built for Neural Rendering". NRC, Neural BSDF, DLSS и т.д.

Значит направление моего ресерча всё же выбрано верно (последняя статья прям об этом, где мы обошли NRC) 😎
Добавили вызов нейронных шейдеров в трассировке через SER, на что был и правда запрос. Еще и ускорили его в 2х🔥

2️⃣ Безумный рост bandwidth в 1.7x. Для контекста - это главное бутылочное горлышка почти всех use-case-ов, и оно долго стагнировало

3️⃣ Рост TFLOPs и тензорных и обычных на ~27%. Также добавили fp4 для ИИ, позволяющий втиснуться в VRAM и предоставляющий 2х TFLOPS (аж 1.6 PFLOPS 🤯)

4️⃣ Nanite для RTX c кластерными ускоряющими структурами (CLAS), разделением TLAS на подблоки для статики\динамики, спец. геометрии для волос и управлением через GPU

имхо, прекрасное поколение и по сухим техническим данным! Пиарить просто не стоило так нагло 😉

#ии #индустрия #графон

В связи с тем, что DLSS 4.0 на основе трансформеров также был зарелизнут, многие работающие в графике задались вопросом как далеко всё это может продвинуться

Мало того, что мы скалируем 720p изображение в 1080p/4K, и вместо "16 путей света/пиксель семплируем лишь 1", так теперь еще и предсказываем аж 3 кадра во временном пространстве

Тем самым ИИ предсказывает аж 15 пикселей из 16, или же 240 путей света из 256 🤯

Где предел? Да чёрт его знает 😅, но я бы смотрел через призму Neural Scale Law, утверждающего что в определенный момент придется делать DLSS в 10х тяжелее, чтобы качество выросло аж на 10% (см. графики)

Очевидно Нвидиа использует многие ИИ-хаки (Дистилляция, Квантизация), чтобы эти кривые роста костов немного сместить, но подход не долгосрочный и до 1 битной точности осталось небольшое окно (сейчас 4-8 бит afaik)

Чего с этими знаниями делать? Да пусть каждый решает сам, но важно держать данный контекст если задумываетесь как можно еще сильнее графон продвинуть вперёд)

#ии #графон #индустрия

Интересный анализ по Nvidia от Epoch AI

Там очень много данных, советую самому в них покопаться. там найдете супер полезные инсайды если вы занимаетесь ресерчерем, строите бизнес, инвестируете или просто вам полезно знать куда движутся тренды

То, что я нашел для себя довольно интересным:

1️⃣ Начиная с 2019 в среднем хватает всего 10ти месяцев для удвоению введенных в эксплуатацию Compute GPU FLOPS во всем мире

2️⃣ Соответственно в среднем годовой рост составляет 2.3х, в то же время спрос на вычисления для обучения фронтирных моделей растет в 4-5х -> "упираемся" в скалируемость по железу

3️⃣ В среднем переход от FP32 к INT8 дал 12х буст в compute - а не 4x как можно было бы предположить. У H100 разница вообще в 59 раз 🤯

4️⃣ Компьют дешевеет на 30%/год. Стоимость человеческого труда же только растет...

#индустрия #ии

Рендер-движки — всё? конечно нет, но:
Команда из Стэнфорда представила новый бенчмарк WorldScore, позволяющий оценивать модели генерации и рендера миров по таким критериям, как:
1️⃣ управляемость камерой
2️⃣ манипуляция объектами в сцене
3️⃣ темпоральная стабильность
4️⃣ консистетность проекции
.. и множество других

Как видно по результатам абсолютно все модели еще далеки от качественных результатов.

Имхо, штука поможет немного сбавить процент ненаучных тейков и более спокойно оценить траекторию прогресса в данном направлении!

P.s. идейно можно соединить с каким-то UE5 для доп. валидации на 100%-точно предсказываемых манипуляциях...

#графика #ии #статья