Научить робота уверенно брать предметы - это, кажется, вечная тема в робототехнике. Несмотря на десятилетия исследований, надежные и универсальные системы захвата до сих пор остаются скорее теорией, чем реальностью.
Стоит копнуть глубже стандартных демо, и выясняется, что на сложных бенчмарках, FetchBench например, точность лучших систем едва дотягивает до 20%. Это фундаментальный барьер, мешающий внедрять роботов в реальные, неструктурированные среды.
GraspGen - фреймворк для генерации 6-DOF захватов, который не только показывает SOTA результаты, но и вводит новый, крайне интересный подход к обучению.
В его основе лежит связка из генератора на базе Diffusion Transformer и дискриминатора, знакомая всем по GAN-ам архитектура, но с важным отличием.
Генератор, получив на вход облако точек объекта, предлагает множество вариантов захвата, а дискриминатор оценивает их качество и отсеивает неудачные.
И вот тут-то и кроется основная идея, которую в NVIDIA назвали «On-Generator Training». Вместо того чтобы обучать дискриминатор на заранее собранном офлайн-датасете из "хороших" и "плохих" захватов, его учат непосредственно на тех ошибках, которые генерирует его подопечный - диффузионная модель.
Иными словами, дискриминатор становится экспертом не в захватах вообще, а в типичных промахах конкретного генератора. Он учится распознавать и отбраковывать именно те ложноположительные варианты, которые сам генератор считает удачными, но которые на самом деле приведут к провалу. Такой подход создает мощную и целенаправленную обратную связь.
Разработчики выпустили симулированный датасет, содержащий более 53 млн. примеров захватов для 3 разных типов манипуляторов, включая параллельные захваты и вакуумные присоски.
В симуляции на сете ACRONYM GraspGen показывает AUC (площадь под кривой точность-покрытие) 0.94, это больше ближайших конкурентов на 48%.
На комплексном бенче FetchBench он обошел предыдущих лидеров M2T2 и Contact-GraspNet на 7.8% и 16.9% соответственно.
Но самое главное - это тесты на реальном железе. В экспериментах с роботом UR10 в зашумленной среде GraspGen достиг общей успешности в 81.3%, в то время как M2T2 и AnyGrasp показали лишь 52.6% и 63.7%.
Код, веса моделей и датасет уже доступны на GitHub и Hugging Face.
Авторы позаботились об энтузиастах: есть подробные инструкции по установке через Docker или pip, готовые демо-скрипты, позволяющие визуализировать захваты для своих облаков точек или 3D-моделей буквально в несколько команд.
Более того, GraspGen изначально спроектирован как модульная и расширяемая система. Разработчики предоставляют подробный туториал, который объясняет, как генерировать данные и обучать модели для совершенно новых объектов и, что важнее, новых типов манипуляторов, реализуя принцип BYOD.
Интеграция с симулятором Isaac Lab для еще более продвинутой генерации данных и возможность дообучения на реальных данных.
@ai_machinelearning_big_data
#AI #ML #Robotics #GraspGen #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥62❤35👍24😁4🎉3👨💻1
Media is too big
VIEW IN TELEGRAM
В эти выходные в Шанхае откроется Всемирная конференция по искусственному интеллекту, которая соберет как китайских технологических гигантов, Huawei и Alibaba, так и западные компании: Tesla, Google и Amazon.
Более 800 компаний представят свыше 3000 высокотехнологичных продуктов. Ожидается показ 40 больших языковых моделей, 50 ИИ-устройств и 60 интеллектуальных роботов.
reuters.com
Южнокорейский техногигант хочет предложить пользователям больше опций выбора в ИИ-сервисах на своих устройствах, помимо уже интегрированной Google Gemini.
По словам Чхве Вон-Джуна, операционного директора мобильного подразделения, начиная с линейки Galaxy S26, компания планирует предоставить клиентам выбор из нескольких ИИ-сервисов.
bloomberg.com
Мустафа Сулейман, CEO Microsoft AI, поделился своим видением будущего ассистента Copilot. По его мнению, он станет настолько персонализированным, что обретет постоянную идентичность, будет стареть и даже жить в своей комнате. Первым шагом к этой концепции стала новая функция Copilot Appearance.
Это эксперимент по созданию виртуального персонажа, который в реальном времени реагирует на диалог с помощью мимики и голоса и обладает памятью о предыдущих разговорах. Аватар может улыбаться, кивать и даже выражать удивление.
Функция уже доступна в режиме раннего доступа в Copilot Labs для ограниченного числа пользователей в США, Великобритании и Канаде.
theverge.com
MIT CSAIL представил Neural Jacobian Fields (NJF) - систему, которая кардинально меняет подход к управлению роботами. Вместо создания сложных математических моделей для жестких и дорогих конструкций, NJF позволяет роботу самостоятельно изучить свое тело и его реакции на команды, используя только зрение.
В процессе обучения робот совершает случайные движения, а система, в это время, наблюдает за ним с нескольких камер, выстраивая внутреннюю модель его физики м связывая управляющие сигналы с фактическим движением. В основе лежит развитие технологии NeRF.Ценность разработки в том, что после обучения, для управления в реальном времени роботу достаточно одной обычной камеры.
Технология уже успешно протестирована на различных устройствах, от мягких пневматических манипуляторов до стандартных 3D-печатных конструкций. Хотя система пока не обладает тактильной обратной связью, она открывает путь к созданию более дешевых и гибких роботов, способных адаптироваться к своей собственной, даже нестандартной, физической форме.
news.mit.edu
Leena AI, разработчик корпоративных ассистентов, анонсировала запуск "ИИ-коллег" - агентов нового поколения, которые могут общаться с сотрудниками голосом.
По мнению CEO компании, голосовое общение станет следующим этапом в развитии рабочих инструментов. Оно позволяет сотрудникам решать задачи на ходу, например, за рулем или в очереди. Так, пользователь может голосом попросить ассистента завести новую сделку в Salesforce и одновременно подготовить запрос в технический отдел по итогам встречи. Агент самостоятельно заполнит формы и составит черновик письма, запросив подтверждение перед отправкой.
У агентов есть личностные черты и даже есть любимая спортивная команда. Утром "ИИ-коллега" может "проснуться", просмотреть заметки и продолжить работу над задачами, как обычный сотрудник. В Leena AI прогнозируют, что технология может повысить продуктивность команд до 50%.
siliconangle.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍85❤25🥰18🔥6🎉2👨💻2😨2
This media is not supported in your browser
VIEW IN TELEGRAM
Команда Tencent Hunyuan представила модель, способную создавать полноценные трёхмерные сцены всего по одному описанию — тексту или изображению.
— Генерация 3D-сред из текста или картинки
— Поддержка редактирования и симуляций в стандартных CG-пайплайнах (Blender, Unity, Unreal)
— Подходит для игр, VR, цифрового контента и прототипирования живых миров
Вы просто пишете: "Japanese garden at sunset" — и модель генерирует трёхмерную сцену с деревьями, прудом и мягким освещением.
Эта модель может серьёзно повлиять на будущее генеративного 3D — от геймдева до виртуальных миров.
@ai_machinelearning_big_data
#3DGeneration #GenerativeAI #TextTo3D #Hunyuan3D #TencentAI #GameDev #VirtualReality
Please open Telegram to view this post
VIEW IN TELEGRAM
👍107🔥26❤25👏7🥰4😁2👨💻2
ASI-ARCH - экспериментальная демонстрация искусственного сверхинтеллекта для исследований в области ИИ, который способен полностью автономно вести научную работу по поиску новых нейросетевых архитектур.
Система самостоятельно выдвигает гипотезы, реализует их в виде исполняемого кода, обучает и проверяет на практике. Результатом этой работы стали 1773 автономных эксперимента, которые заняли свыше 20 000 GPU-часов и привели к открытию 106 новых SOTA-архитектур с линейным механизмом внимания.
На первом этапе, система работает с небольшими моделями размером около 20 млн параметров, обучая их на 1 млрд токенов. На этом этапе было проведено 1773 эксперимента, которые заняли примерно 10 000 GPU-часов.
Всего на этом этапе было отобрано 1350 перспективных кандидатов — все они превзошли базовую архитектуру DeltaNet как по лоссу, так и по метрикам на бенчмарках.
Второй этап - верификация. Кандидаты первого этапа были масштабированы до 340 млн параметров, чтобы соответствовать конфигурации DeltaNet. После фильтрации архитектур с избыточной сложностью или числом параметров осталось около 400 моделей.
Их обучение на 1 млрд. токенов потребовало ещё 10 000 GPU-часов. В итоге, именно из этой группы были выделены 106 архитектур, достигших SOTA-уровня.
Для финальной валидации исследователи отобрали 5 лучших моделей, обучили их на 15 млрд. токенов и сравнили с Mamba2, Gated DeltaNet и DeltaNet.
ASI-ARCH явно предпочитает работать с проверенными временем компонентами: гейтингом и свёрткой. Но самое главное - распределение компонентов в 106 лучших моделях имеет значительно менее выраженный long-tail distribution по сравнению с остальными 1667 сгенерированными архитектурами.
Это означает, что система добивается успеха не путем хаотичного перебора экзотических идей, а через итеративное улучшение набора проверенных техник. По сути, это очень напоминает методологию работы ученых-людей.
Одна из лучших найденных ИИ-архитектур, PathGateFusionNet, показала средний результат по всем бенчмаркам 48.51. Для сравнения, Mamba2 набрала 47.84, а разработанная человеком Gated DeltaNet — 47.32. Другая генерация, ContentSharpRouter, достигла показателя 48.34.
Если посмотреть на отдельные тесты, то PathGateFusionNet получила на BoolQ 60.58 балла, а Gated DeltaNet - 60.12. AdaptiveEntropyRouter в версии на 340 млн. параметров показала результат на тестах 44.31, что на 2.21 пункта выше, чем у Gated DeltaNet (42.10).
И так практически во всем, улучшения наблюдаются по всему спектру задач.
Для всех 1773 сгенерированных архитектур распределение источников было таким:
Но если посмотреть только на 106 SOTA-итогов, картина меняется. Доля идей, основанных на Analysis, возрастает с 38.2% до 44.8%, а доля Cognition немного снижается до 48.6%.
Таким образом, чтобы достичь ощутимых результатов, ИИ недостаточно просто копировать и комбинировать человеческие наработки. Он должен анализировать собственный опыт, учиться на своих же удачах и провалах, синтезируя более совершенные решения.
@ai_machinelearning_big_data
#AI #ML #Research #ASIARCH
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥117❤43👍24🥰3👨💻3
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Microsoft снова доказывает силу синтетических данных для задач компьютерного зрения!
Современные модели компьютерного зрения с фокусом на человека (Human-centric CV) требуют миллиардов параметров, гигантских датасетов и дорогостоящего инференса. Но можно ли добиться такой же точности, не тратя миллионы?
Исследователи показали: модели можно обучать только на синтетических данных высокого качества — и при этом достигать тех же результатов.
Microsoft представили DAViD — open-source фреймворк, позволяющий создавать цифровых людей с точной геометрией лиц и текстурами.
Проект демонстрирует, как можно использовать синтетические датасеты для:
🟠 Предсказания глубины изображения (Depth Prediction)
🟠 Оценки поверхностей (Normal Estimation)
🟠 Сегментации фона и людей на фото/видео (Background & Human Segmentation)
Почему это круто:
🟢 Синтетические данные = пиксельная точность разметки
🟢 Почти бесконечное разнообразие сцен, ракурсов, освещения и поз
🟢 Прекрасно масштабируются для обучения моделей с нуля или дообучения
Самое приятное, что Microsoft выложили всё в опенсорс:
✔️ 300 000 сэмплов
✔️ Предобученные модели
✔️ Исходный код фреймворка
🟢 Проект: https://microsoft.github.io/DAViD/
🟢 Статья: https://arxiv.org/abs/2507.15365
🟢 Github: https://github.com/microsoft/DAViD
@ai_machinelearning_big_data
Если ты работаешь с human-centric CV — это мощный старт. Даже без реальных данных.
#cv #microsoft #opensource
Современные модели компьютерного зрения с фокусом на человека (Human-centric CV) требуют миллиардов параметров, гигантских датасетов и дорогостоящего инференса. Но можно ли добиться такой же точности, не тратя миллионы?
Исследователи показали: модели можно обучать только на синтетических данных высокого качества — и при этом достигать тех же результатов.
Microsoft представили DAViD — open-source фреймворк, позволяющий создавать цифровых людей с точной геометрией лиц и текстурами.
Проект демонстрирует, как можно использовать синтетические датасеты для:
Почему это круто:
Самое приятное, что Microsoft выложили всё в опенсорс:
✔️ 300 000 сэмплов
✔️ Предобученные модели
✔️ Исходный код фреймворка
@ai_machinelearning_big_data
Если ты работаешь с human-centric CV — это мощный старт. Даже без реальных данных.
#cv #microsoft #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
11❤71👍53🔥23❤🔥3🤩1🥱1👨💻1
NVIDIA показала, как 1.5B-модель можно раскачать до топовых результатов в логике, математике, коду и STEM-задачам — без увеличения параметров модели.
📈 Результат после месяцев обучения:
+55% к логическим задачам
+14.7% к математике
+13.9% к коду
+25.1% к сложным STEM-вопросам
🛠 Как они это сделали:
– Использовали RL (обучение с подкреплением) на 5 типах задач, включая 40K примеров по математике и 24K по программированию
– Все ответы проверялись автоматически в "песочнице", которая оценивает, правильный ли результат
– Применили улучшенную стратегию обучения — *Group Relative Policy Optimization* — и добавили несколько хитрых трюков:
Все эти приёмы помогли сохранить интерес модели к поиску новых решений, а не скатываться к заученным паттернам.
Итог: модель не "застывает", а продолжает исследовать — и выдает стабильный рост качества без расширения архитектуры.
📄 Почитать статью полностью : arxiv.org/abs/2507.12507
@ai_machinelearning_big_data
#ml #ai #nvidia
Please open Telegram to view this post
VIEW IN TELEGRAM
4🔥122👍34❤17😐2🗿2😁1👨💻1
This media is not supported in your browser
VIEW IN TELEGRAM
🎬 Alibaba опять в ударе, сегодня у нас релиз Wan2.2
Это первая в мире open-source модель генерации видео с архитектурой MoE и полным кинематографическим контролем!
🚀 Что внутри:
🔸 Первая MoE‑модель для видео — масштабируется без лишней нагрузки. Разные эксперты отвечают за этапы диффузии, работая в команде.
🔸 Кинематографический контроль — управляем светом, цветом, движением камеры и композицией прямо из prompt’а.
🔸 Полная open-source линейка:
-
-
-
📈 Умеет лучше всех генерировать *сложные движения* и выглядит уже почти как кино 🎥
🟢 GitHub: https://github.com/Wan-Video/Wan2.2
🟢 Hugging Face: https://huggingface.co/Wan-AI
🟢 ModelScope: https://modelscope.cn/organization/Wan-AI
@ai_machinelearning_big_data
#AI #VideoAI #GenerativeAI #OpenSource #Wan
Это первая в мире open-source модель генерации видео с архитектурой MoE и полным кинематографическим контролем!
🚀 Что внутри:
🔸 Первая MoE‑модель для видео — масштабируется без лишней нагрузки. Разные эксперты отвечают за этапы диффузии, работая в команде.
🔸 Кинематографический контроль — управляем светом, цветом, движением камеры и композицией прямо из prompt’а.
🔸 Полная open-source линейка:
-
Wan2.2-T2V-A14B
— текст → видео -
Wan2.2-I2V-A14B
— изображение → видео -
Wan2.2-TI2V-5B
— объединённая генерация 📈 Умеет лучше всех генерировать *сложные движения* и выглядит уже почти как кино 🎥
@ai_machinelearning_big_data
#AI #VideoAI #GenerativeAI #OpenSource #Wan
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥91👍28❤25👌2👨💻1
Media is too big
VIEW IN TELEGRAM
Обновленный интерфейс Copilot теперь расположен в левом верхнем углу окна бразуера. Он получил оптимизированный дизайн, голосовое управление и улучшенное понимание контекста.
Copilot способен анализировать содержимое нескольких открытых вкладок одновременно. Это позволяет, например, сравнивать варианты путешествий или выбирать ресторан, не переключаясь между страницами. Система автоматически распознает URL-адреса, поисковые запросы и команды в чате.
Новый режим уже доступен бесплатно. В будущем Microsoft планирует добавить функции сортировки истории по проектам и контекстные рекомендации.
Mustafa Suleyman (CEO Microsoft AI) в сети X
Runway представила свою новую модель Aleph. Она может вносить точечные изменения в уже существующие видеоролики с помощью текстовых команд. Пользователи могут добавлять и удалять объекты, изменять время суток, убирать дым или отражения.
Одной из самых заметных функций стала генерация совершенно новых ракурсов камеры. Модель также способна изменять возраст персонажей, перекрашивать объекты, создавать эффект зеленого экрана и переносить движение с видео на статичные изображения.
Сейчас Aleph доступна только для корпоративных и креативных партнеров, среди которых уже есть голливудская студия Lionsgate. Широкий доступ планируется в будущем.
runwayml.com
На Всемирной конференции по искусственному интеллекту в Шанхае Huawei впервые публично продемонстрировала свою новую вычислительную систему CloudMatrix 384. Эксперты рассматривают ее как прямого конкурента самой продвинутой на сегодня системы от Nvidia - GB200 NVL72.
CloudMatrix состоит из 384 новейших чипов 910C и, по некоторым метрикам, превосходит решение Nvidia, которое использует 72 чипа B200. Как отмечают аналитики из SemiAnalysis, Huawei компенсирует более слабую производительность отдельных чипов за счет их большего количества и инноваций на системном уровне.
Система уже эксплуатируется на облачной платформе Huawei.
reuters.com
Alibaba анонсировала свои первые умные очки Quark. Устройство, которое выйдет на рынок Китая к концу 2025 года, позиционируется как конкурент умным очкам от Ray-Ban.
По капотом у Quark большая языковая модель Qwen и ИИ-ассистент Quark, которые управляют функциями звонков, прослушивания музыки, перевода в реальном времени и покупок. Очки тесно интегрированы с экосистемой Alibaba: платежным сервисом Alipay, торговой площадкой Taobao и картографическим сервисом Amap.
Технологически устройство работает на чипе Qualcomm AR1 и, по заявлению компании, получилось на 40% тоньше существующих аналогов на рынке.
scmp.com
Независимый лейбл Hallwood заключил сделку с Imoliver - самым прослушиваемым автором, создающим музыку с помощью нейросети. Imoliver уже набрал более 3 миллионов прослушиваний своей песни "Stone" на платформе Suno.
Теперь трек выйдет на всех основных стриминговых сервисах 8 августа, а полноценный альбом запланирован на октябрь. Глава Suno Майки Шульман назвал это событие "ключевой вехой для будущего музыки".
hollywoodreporter.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍46❤25🔥10🥰3👨💻1
Forwarded from ТЕХНО: Яндекс про технологии
Разработчики нейросетей — новые звезды. Они решают фундаментальные научные задачи, приближают создание AGI, зарабатывают огромные деньги и даже провоцируют HR-войны: например, недавно выяснилось, что Meta (признана экстремистской организацией и запрещена в РФ) переманивает к себе сотрудников Open AI, обещая бонусы в размере $100 млн. Собрали в карточках несколько интересных фигур из сферы ИИ.
Подписывайтесь 👉 @techno_yandex
Подписывайтесь 👉 @techno_yandex
❤99🔥38👍16🥱8😐6🤷♂5❤🔥3😁3🙊2👨💻1
В новом семействе GLM, Z.AI объединили в одной модели возможности для рассуждений, кодинга и агентных сценариев. Семейство построено на архитектуре MoE и может работать в двух режимах:
thinking mode
для сложных задач с использованием инструментов и non-thinking mode
для быстрых ответов.Интересно, что разработчики пошли по пути увеличения глубины модели (количества слоев), а не ширины (скрытого измерения), так как обнаружили, что модели с большим количеством слоев лучше справляются с рассуждениями.
Он поддерживает как синхронное, так и асинхронное обучение, что критически важно для агентных задач. Его инфраструктура полностью разделяет движки для роллаутов (сбора опыта) и движки для обучения, которые могут работать на разном железе.
Для их оценки использовались 3 бенчмарка. На TAU-bench модель GLM-4.5 показала результат в 70.1 балла, что практически идентично Claude 4 Sonnet (70.3) и заметно лучше, чем у o3 (61.2).
На бенчмарке для вызова функций Berkeley Function Calling Leaderboard v3 результат составил 77.8, снова опережая Claude 4 Sonnet с ее 75.2 баллами.
Но самый показательный результат был на BrowseComp, сложном тесте для веб-браузинга. В нем GLM-4.5 набрала 26.4, что выше, чем у Claude-4-Opus (18.8) и почти как у o4-mini-high (28.3).
Что касается классических задач на рассуждения, здесь модели показывают уверенные, хотя и не рекордные, результаты.
На MMLU Pro у GLM-4.5 84.6 балла, чуть меньше, чем у Claude 4 Opus (87.3) и Grok 4 (86.6).
В математическом тесте AIME24 модель набрала 91.0, ближайшие лидеры Qwen3 и Grok 4 - 94.1 и 94.3 соответственно.
На GPQA разрыв побольше: 79.1 у GLM-4.5 против 87.7 у Grok 4, а на сложном тесте по научной литературе HLE модель получила 14.4 балла, уступив Gemini 2.5 Pro (21.1) и Grok 4 (23.9).
В задачах, связанных с кодом, на тесте SWE-bench Verified модель набрала 64.2 балла, немного уступая Claude 4 Sonnet (70.4) и o3 (69.1), но опережая многие другие.
А вот в агентном кодинге, который оценивался людьми с помощью Claude Code, картина иная. В прямом сравнении GLM-4.5 выигрывает у Kimi K2 в 53.9% случаев и обходит Qwen3-Coder с винрейтом 80.8%.
Самый важный показатель - успешность вызова инструментов, где GLM-4.5 достигла 90.6%, опередив Claude-4-Sonnet (89.5%) и Kimi-K2 (86.2%).
@ai_machinelearning_big_data
#AI #ML #GLM #MoE #ZAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤63👍20🔥16👨💻1