SmartBay использует компьютерное зрение и алгоритмы машинного обучения, индивидуально адаптируясь к каждому автомобилю.

Вопреки расхожему мнению, их критика исходила не только из математических аргументов, но и из практического опыта работы с перцептронами по заказу Министерства обороны США.

Минский получил задачу создать для разведки перцептрон, отличающий изображения американских танков от советских.

А как в мультимодальных моделях с обработкой сигналов разного приоритета? Когда это и картинка, и звук, и генерация действий в одном, — данные поступают и обрабатываются асинхронно?

Если резко возникло какое-то препятствие, обработчик его отдельно от остального потока информации обработает и успеет скорректировать управляющее воздействие? Или все одним потоком обрабатывается за цикл, потом выдается команда, потом снова обработка всей информации и вновь команда?

Тогда фундаментальная модель будет иметь задержку в шаг времени обработки и генерации.

И если не завезти асинхронную обработку и приоритеты в фундаментальную модель, то лучше уже модульная структура.

1️⃣ Восприятие
2️⃣Построение мира или картирование рабочей среды
2️⃣Планирование действий
4️⃣Построение движений
5️⃣Контроль
6️⃣Безопасность и мониторинг

Примеры возможных ошибок:

➖ Если на этапе распознавания объекта система компьютерного зрения перепутала кружку с кастрюлей, то планировщик построит сценарий поведения на основе ошибочной информации.

➖ Если генератор траектории движений задает физически невыполнимую задачу локомоции.

Преимущества модульной архитектуры:

➕ Да, действительно, отдельные модули проще тестировать, сертифицировать и заменять. Именно поэтому промышленные роботы ещё долго будут использовать подобную архитектуру.

Трудные проблемы фундаментальных моделей:

🧠 Сейчас невозможно создать систему, где бы одна гигантская мультимодальная модель получала всю входящую информацию от сенсоров и, условно, раз в секунду выдавала бы следующую команду.

➖ Физический мир слишком быстр и непредсказуем для такого подхода.

➖ Контур стабилизации, балансировки и экстренного торможения робота должен работать на частотах от десятков до сотен герц, тогда как фундаментальная модель рассуждает на порядки медленнее.

➖ Кроме того, у автономных роботов сейчас существует ограничение вычислительных мощностей — у них просто не хватит ресурсов и энергии для тяжелых моделей.

Текущий компромисс:

✅ В настоящий момент это иерархия уровней. Фундаментальная модель отвечает за понимание задачи, планирование и выбор стратегии («возьми красную кружку справа от ноутбука»), а низкоуровневые контроллеры непрерывно управляют приводами и реагируют на внезапные события.

✅ Если перед роботом внезапно появляется ребёнок или падает предмет, аварийная реакция срабатывает локально, не дожидаясь полного прогона через фундаментальную модель.

✅ Фактически получается асинхронная система с разными временными масштабами принятия решений.

✅ Фундаментальная модель отвечает за восприятие, рассуждение и общую стратегию действий, а вокруг неё сохраняются специализированные контуры безопасности, контроля движения и аппаратных ограничений.

✅ Модульность остается, но перестает быть основным способом реализации поведения робота.

Перспектива:

❗️Поиск оптимального разделения труда. Вероятнее всего, робототехнический аналог GPT будет не монолитом, а гигантской мультимодальной моделью в центре системы, окруженной набором высокочастотных и критически важных локальных подсистем.

Осталось дождаться сервиса по сдаче себя в аренду в качестве батарейки.

P.S. На всякий случай скажу, что на демке очевидно движения робота ускорены, а в финальный монтаж вошли лишь успешные попытки. Плюс всё действо было human assisted. В реальности он всё делал гораздо медленнее и с ошибками. Но это никак не отменяет прогресса домашней робототехники.

ТТХ робота для самых любопытных:

Общая мобильность — 75 степеней свободы (degrees of freedom, DOF), 31 в корпусе и по 22 в каждой руке.

Конечные эффекторы — два пятипалых манипулятора.

Гаптика — в каждый палец встроена цифровая тактильная матрица (Digital Tactile Array) с более чем 1000-ю чувствительных пикселей с порогом 0,02 ньютона (позволяет ощущать минимальное давление и распознавать тонкие текстуры предметов).

Силовые характеристики — крутящий момент в руках достигает 120 Н·м, а в ногах — 360 Н·м (возможность поднимать груз в стандартном режиме до 7 кг, а в пиковом — до 15 кг при собственном весе в 68 кг).

Вычислительная мощь — модуль Jetson AGX Thor T5000 на архитектуре Blackwell обеспечивает 2070 терафлопс в формате FP4 (4-bit Floating Point). Плюс 14-ядерный процессор Arm и 128 ГБ унифицированной памяти.

«До сих пор исследовательские группы тратили массу времени и сил на то, чтобы заставить робота хотя бы загрузиться и встать. Теперь они могут просто пользоваться системой „из коробки“».

➡️ OpenAI резко усилила робототехническое направление. Компания вновь набирает специалистов в лабораторию робототехники и работает над обучением роботизированных манипуляторов выполнению бытовых задач.

➡️ Figure AI в мае привлек внимание миллионов людей демонстрацией гуманоидов, которые в течение недели занимались сортировкой посылок. Вскоре после этого стартап заключил коммерческое соглашение с крупным американским ритейлером Catalyst Brands на внедрение роботов в логистические операции.

➡️ Глава Nvidia Дженсен Хуанг называет гуманоидную робототехнику «многотриллионной экономической возможностью». А Илон Маск неоднократно заявлял, что андроид Optimus — ключ к будущему Tesla. Они уже выполняют простые задачи на заводах компании, а их массовая продажа всем желающим начнется в 2027 году.

➡️ Boston Dynamics, принадлежащая Hyundai, также стремится к промышленному использованию своих роботов. К 2028 году южнокорейский концерн планирует установить на своих заводах десятки тысяч человекоподобных роботов Atlas. Ну а Agility Robotics уже поставляет своего гуманоида Digit для Amazon, GXO, Schaeffler и Mercado Libre.

➡️ Отстала от тренда только пошедшая по ложному пути метавселенных Meta. Поэтому чтобы наверстать компетенции Марку Цукербергу пришлось в срочном порядке купить в прошлом месяце стартап Assured Robot Intelligence. Его команда, разрабатывающая модели ИИ для андроидов, присоединилась к Superintelligence Labs в Meta.

❓ Выглядит DR02 круто, но у меня возник один вопрос: насколько его камеры и лидар будут эффективны при навигации в сложной среде? Как известно, брызги воды, туман, дым и т.д. мешают работе лидаров. Если есть есть специалисты по компьютерному зрению в экстремальных условиях — было бы интересно почитать ваши комментарии!

📊 И о моей любимой экономике: с момента основания в 2017 году продукты Deep Robotics используются более чем в 44 странах и регионах и охватывают свыше 600 сценариев промышленного применения. В 2025 году чистая прибыль составила $4,2 млн при выручке в $49,6 млн.

Где можно сократить косты?

🟢массовое производство недорогих камер;

🟢более дешевые вычислительные системы-на-кристалле со встроенными нейронными процессорами;

🟢развитие ИИ-моделей компьютерного зрения;

🟢vision-first подход, где дорогие датчики будут заменяться мощными нейросетями, извлекающими максимум информации из обычных камер и дешевых сенсоров (инерциальные измерительные модули, одометрия и т.д.).

А минусы будут?

➖ Как инженер, Манвел Аветисян концентрируется только на стоимости списка компонентов своего прототипа (bill of materials, BOM), игнорируя потенциальные операционные расходы: операторы, техподдержка, мониторинг, инфраструктура зарядки и т.д. При низкой цене отдельного устройства, рост флота увеличит общую стоимость владения.

➖ Ограниченные испытания в лабораторных условиях не дают представления об edge cases — проблемах «крайнего случая» в реальной среде. А значит дешевого набора сенсоров может оказаться недостаточно для массовой эксплуатации в условиях города без риска для людей и животных.

➖ И что всё-таки насчет аккумуляторов, стоимости зарядки и робопортов для неё? Для тех же гуманоидов это серьезная статья расходов.

➖ Быстрое масштабирование создаст новые проблемы: пробки из доставщиков, необходимость изменения дорожной инфраструктуры, конфликты с людьми и необходимость правового регулирования. Чего стоит только развитие рынка электросамокатов.