#unrealneural #пытаюсьпонять
Почему мультимодальные LLM модели испытывают трудности с пространственным пониманием?

Это исследование показывает, что проблемы с пространственным восприятием у MLLM связаны не с дефицитом данных, а с архитектурой. Пространственная способность зависит от позиционных сигналов, получаемых от визуального кодировщика, поэтому необходим редизайн, например, внедрение функции точного таргетинга.
https://www.alphaxiv.org/abs/2509.02359v1

#unrealneural #врежимеожидания
MeshPad: генеративное создание 3D-сеток из эскизов

MeshPad — это подход для генерации 3D-сеток на основе эскизов, основанный на последовательности треугольников и модели Transformer. Редактирование выполняется через простые изменения в эскизе: удаление областей и добавление новой геометрии. Для ускорения используется стратегия спекулятивного прогнозирования, которая сокращает вычислительные затраты и позволяет завершать каждый шаг за несколько секунд. В экспериментах.
https://derkleineli.github.io/meshpad/

#unrealneural #врежимеожидания
PolyDiff: диффузионная модель для генерации 3D-сеток

PolyDiff — первая диффузионная модель, способная напрямую создавать реалистичные и разнообразные трёхмерные полигональные сетки. В отличие от методов, использующих неявные представления, PolyDiff работает непосредственно с сеточной структурой, учитывая как геометрию вершин, так и топологию граней. Модель рассматривает сетки как «треугольные супы», постепенно искажённые категориальным шумом, и обученный трансформер-шумоподавитель восстанавливает исходную структуру. На этапе генерации сетки формируются из полностью зашумлённых данных с последовательным устранением шума. Подход обеспечивает улучшение метрик качества: среднее снижение FID на 18,2 и JSD на 5,8 по сравнению с современными методами.
https://arxiv.org/abs/2312.11417

#unrealneural #ЛабораторияИИ #AILAB #Эксперименты
Вайб-проектирование

LLM для работы в Revit
Продолжаем эксперименты с Revit и LLM, которая по текстовым запросам моделирует внутри программы. Система тестируется под рабочими названиями Text2BIM, RevitMCP, RevitAI и Revit Copilot. Потенциал — автоматизация любых операций, включая оформление.

Cursor на 28% улучшили фичу Tab с помощью RL

Для тех, кто не пользуется: Tab предсказывает, какое действие пользователь собирается сделать далее. Когда вы перемещаете курсор или начинаете писать какой-то код, Tab пытается понять, что вам нужно и, если она достаточно уверена в своем предсказании, то предлагает вам продолжение (чаще всего завершение кода).

Отличная фича, но часто предлагала шум. В общем, Cursor решили что-то с этим делать.

В других редакторах (например, в Copilot) подобную проблему пытались бороть обычными фильтрами: язык, были бы предыдущие предложения приняты или нет и тд.

Звучит в целом норм, но Cursor выбрали путь сложнее и интереснее, потому что они использовали RL с двумя сильными составляющими:

1. Сложная reward модель. Политика на каждом шаге предсказывает вероятности разных исходов + вероятность того, что предложение будет принято. Reward, исходя из этих вероятностей, поощряет принятые предложения и штрафует отклонённые. Например, если вероятность принятия ≥ 25%, accepted даёт +0.75, rejected — −0.25, если ничего не показывается – 0. Вот модель и решает, как ей лучше себя вести. Также в награде учитывается длина оффера, общее количество офферов и др.

2. On-policy data. То есть данные, на которых училась политика, собраны в реальной работе модели уже после её обновления. Получили новый чекпоинт -> задеплоили -> собрали данные (это занимает пару часов) -> учим дальше. Это чтобы не было distribution shift и градиент обновлялся правильно. Реализовать такое, конечно, мега запара.

Итог: в новой версии на 21% меньше предложений, но на 28% выше доля принятия.

Мало того, что это огромный скачок метрики, это еще и качественно другой результат: тут accept rate растет не за счет костыльной фильтрации шумных предсказаний, а за счет того, что сама модель стала более прагматичной и предлагает меньше ерунды.

Good job

cursor.com/blog/tab-rl