#unrealneural
Spatial-MLLM — это разработка, направленная на улучшение пространственного интеллекта мультимодальных больших языковых моделей (MLLM) для визуальных задач, основанных на 2D-изображениях.

Spatial-MLLM предлагает новый подход к улучшению пространственного мышления моделей, которые изначально разрабатывались для обработки 2D-визуальных данных. Традиционные видео-MLLM часто используют визуальные энкодеры, такие как CLIP, оптимизированные для семантического понимания, но не для пространственных задач. Spatial-MLLM решает эту проблему, интегрируя 3D-информацию через архитектуру с двумя энкодерами (dual-encoder), что позволяет моделям лучше понимать пространственные отношения без необходимости использования 3D-данных на этапе обучения.

https://diankun-wu.github.io/Spatial-MLLM/

#вкопилкуэрудита
Интересные технологии из СССР

#unrealneural
Anymate - инструмент накидывания скелета на меш модели.

Anymate — масштабный набор данных из 230 тыс. моделей с риггингом и анимациями
https://huggingface.co/spaces/yfdeng/Anymate

#unrealneural
Машина Дарвина-Геделя: открытая эволюция самосовершенствующихся агентов

Авторы(Salamanca AI) считают, что машины Дарвина-Геделя представляют собой конкретный шаг к системам искусственного интеллекта, которые могут автономно создавать собственные ступени для постоянного обучения и инноваций!
ИИ агент сам переписывает свой код и эволюционирует?!

arxiv.org/abs/2505.22954

#пытаюсьпонять #вкопилкуэрудита
Почему Vision Transformers оказываются эффективнее сверхточных сетей?

Начнем с разбора, что это?

Vision Transformers (ViT) — это архитектура нейронных сетей, адаптированная для обработки изображений, основанная на механизме трансформеров, изначально разработанных для задач обработки естественного языка (NLP).

ViT обрабатывают изображения, разбивая их на небольшие участки (патчи), которые затем преобразуются в последовательность векторов, подобно словам в предложении в NLP. Эти векторы подаются в трансформер, который использует механизм внимания (self-attention) для анализа взаимосвязей между патчами.

В отличие от CNN, которые фокусируются на локальных признаках (через свертки), ViT анализирует изображение целиком благодаря механизму внимания. Это позволяет модели улавливать долгосрочные зависимости между удаленными частями изображения (например, между глазами и ртом на портрете). Механизм внимания автоматически определяет, какие патчи наиболее релевантны для задачи, что делает модель гибкой и способной выделять ключевые области изображения.

ViT хорошо масштабируется с увеличением данных и вычислительных ресурсов. Исследования показывают, что при больших объемах данных (например, JFT-300M) ViT превосходит CNN, так как трансформеры лучше используют большие датасеты для обучения сложных паттернов.

Архитектура трансформеров унифицирована: одна и та же модель может быть применена как к тексту, так и к изображениям, что упрощает разработку мультимодальных систем.

ViT легко адаптируется к различным задачам компьютерного зрения (классификация, детекция, сегментация) благодаря гибкости механизма внимания и возможности дообучения (fine-tuning).

Для больших изображений ViT может быть более эффективным, чем CNN, так как не требует глубоких иерархий сверток, а обрабатывает патчи параллельно.

Ну и самое интересное - как ViT соотносятся с человеческим восприятием изображений?

1. Человек, глядя на изображение, может мгновенно переключать внимание между разными областями, фокусируясь на наиболее важных (например, на лице человека в толпе). Механизм self-attention в ViT имитирует эту способность, позволяя модели выделять ключевые патчи и игнорировать менее релевантные.
2. Люди интерпретируют изображения, опираясь на контекст (например, распознают кошку, учитывая не только ее форму, но и окружение). ViT также учитывает контекст, анализируя связи между всеми патчами изображения.
3. Человеческая зрительная система обрабатывает информацию иерархически: от простых признаков (края, углы) к сложным объектам. Хотя ViT не использует явные иерархические слои, как CNN, многослойные трансформеры постепенно формируют более абстрактные представления, что можно сравнить с иерархией в человеческом мозге.

Но не все так однозначно сопоставимо🧐

ViT обрабатывают изображение глобально через механизм внимания, в то время как человеческое зрение начинается с локальной обработки краев и текстур в зрительной коре. ViT разбивает изображение на фиксированные патчи, тогда как человек сканирует сцену динамически, используя саккады и фиксации для фокусировки на важных областях. Кроме того, ViT требует больших объемов данных для обучения, в отличие от человека, способного распознавать объекты после минимального опыта (few-shot learning).

#unrealneural
13 MCP серверов:

- Agentset MCP
- GitHub MCP Server
- arXiv MCP
- MCP Run Python
- Safe Local Python Executor
- Cursor MCP Installer
- Basic Memory
- Filesystem MCP Server
- Notion MCP Server
- Markdownify MCP Server
- Fetch MCP Server
- Mobile Next
- MCP Installer

https://huggingface.co/posts/Kseniase/204958200717570

#эксперименты #ЛабораторияИИ
Архитектура, аудио, видео сгенерированы нейросетями

#эксперименты #ЛабораторияИИ
Архитектура, видео сгенерированы нейросетями

#эксперименты #ЛабораторияИИ
Архитектура, видео сгенерированы нейросетями

#unrealneural
Cad-MLLM

Унифицированный подход к генерации CAD-геометрии на основе текстового запроса. Для генерации используются последовательности команд моделей САПР, далее идет обработка с помощью LLM. Это мультимодальный конвейер генерации моделей.

https://arxiv.org/abs/2411.04954

#эксперименты #ЛабораторияИИ
Немного тестов Veo3

#эксперименты #ЛабораторияИИ
Немного тестов Veo3

#unrealneural
Интерактивные блокноты, чтобы поэкспериментировать с машинами непрерывного мышления Continuous Thought Machines sakana.ai/ctm/

https://github.com/SakanaAI/continuous-thought-machines