1️⃣


Тезис: большие языковые модели работают с текстом, а роботы должны взаимодействовать с непредсказуемым физическим миром. Поэтому здесь невозможен такой прорыв, каким были трансформеры с механизмом внимания в генеративном ИИ.

Антитезис: аналогом трансформеров вообще и GPT в частности в робототехнике станут фундаментальные модели (foundation model), обученные на огромных массивах разнородных мультимодальных данных.

2️⃣


Тезис: робот должен одновременно воспринимать мир, планировать действия, управлять движением, соблюдать безопасность и работать в реальном времени. Эти функции слишком отличаются, чтобы их эффективно решала одна модель. Нужно несколько модулей.

Антитезис: в индустрии сейчас обратный тренд. Все стремятся к архитектурам, объединяющим восприятие, рассуждение и управление внутри одной фундаментальной модели. А мультимодальность позволит легко адаптировать её под разнородные задачи.

2️⃣


Тезис: роботы сталкиваются с сенсорным шумом, механическими ограничениями, случайностями среды и требованиями безопасности.

Антитезис: главная проблема не механика роботов, а качество моделей принятия решений у них на борту. Фундаментальные модели постепенно снимают многие ограничения.

Появляются системы, которые ещё несколько лет назад считались невозможными. Роботы осваивают сотни новых манипуляций за день на основе минимального количества демонстраций.

4️⃣


Тезис: недостаток данных тормозит разработки. У OpenAI были миллионы текстов из интернета. А у робототехники нет сопоставимого объёма данных о физических действиях.

Антитезис: существует множество решений. Это могут быть синтетические данные, симуляторы, объединение датасетов многих организаций в единое обучающее пространство, кросс-платформенное обучение и самообучение роботов.

5️⃣


Тезис: многие компании обещают скорое появление домашних гуманоидов, однако между YouTube-демонстрациями и реальной эксплуатацией сохраняется огромный разрыв.

Антитезис: да, рынок пока на ранней стадии, но все недооценивают скорость прогресса. Текущий этап робототехники сравним с генеративным ИИ в 2017-2018 годах — возможности ещё ограничены, но траектория развития уже определена.

SmartBay использует компьютерное зрение и алгоритмы машинного обучения, индивидуально адаптируясь к каждому автомобилю.

Вопреки расхожему мнению, их критика исходила не только из математических аргументов, но и из практического опыта работы с перцептронами по заказу Министерства обороны США.

Минский получил задачу создать для разведки перцептрон, отличающий изображения американских танков от советских.

А как в мультимодальных моделях с обработкой сигналов разного приоритета? Когда это и картинка, и звук, и генерация действий в одном, — данные поступают и обрабатываются асинхронно?

Если резко возникло какое-то препятствие, обработчик его отдельно от остального потока информации обработает и успеет скорректировать управляющее воздействие? Или все одним потоком обрабатывается за цикл, потом выдается команда, потом снова обработка всей информации и вновь команда?

Тогда фундаментальная модель будет иметь задержку в шаг времени обработки и генерации.

И если не завезти асинхронную обработку и приоритеты в фундаментальную модель, то лучше уже модульная структура.

1️⃣ Восприятие
2️⃣Построение мира или картирование рабочей среды
2️⃣Планирование действий
4️⃣Построение движений
5️⃣Контроль
6️⃣Безопасность и мониторинг

Примеры возможных ошибок:

➖ Если на этапе распознавания объекта система компьютерного зрения перепутала кружку с кастрюлей, то планировщик построит сценарий поведения на основе ошибочной информации.

➖ Если генератор траектории движений задает физически невыполнимую задачу локомоции.

Преимущества модульной архитектуры:

➕ Да, действительно, отдельные модули проще тестировать, сертифицировать и заменять. Именно поэтому промышленные роботы ещё долго будут использовать подобную архитектуру.

Трудные проблемы фундаментальных моделей:

🧠 Сейчас невозможно создать систему, где бы одна гигантская мультимодальная модель получала всю входящую информацию от сенсоров и, условно, раз в секунду выдавала бы следующую команду.

➖ Физический мир слишком быстр и непредсказуем для такого подхода.

➖ Контур стабилизации, балансировки и экстренного торможения робота должен работать на частотах от десятков до сотен герц, тогда как фундаментальная модель рассуждает на порядки медленнее.

➖ Кроме того, у автономных роботов сейчас существует ограничение вычислительных мощностей — у них просто не хватит ресурсов и энергии для тяжелых моделей.

Текущий компромисс:

✅ В настоящий момент это иерархия уровней. Фундаментальная модель отвечает за понимание задачи, планирование и выбор стратегии («возьми красную кружку справа от ноутбука»), а низкоуровневые контроллеры непрерывно управляют приводами и реагируют на внезапные события.

✅ Если перед роботом внезапно появляется ребёнок или падает предмет, аварийная реакция срабатывает локально, не дожидаясь полного прогона через фундаментальную модель.

✅ Фактически получается асинхронная система с разными временными масштабами принятия решений.

✅ Фундаментальная модель отвечает за восприятие, рассуждение и общую стратегию действий, а вокруг неё сохраняются специализированные контуры безопасности, контроля движения и аппаратных ограничений.

✅ Модульность остается, но перестает быть основным способом реализации поведения робота.

Перспектива:

❗️Поиск оптимального разделения труда. Вероятнее всего, робототехнический аналог GPT будет не монолитом, а гигантской мультимодальной моделью в центре системы, окруженной набором высокочастотных и критически важных локальных подсистем.

Осталось дождаться сервиса по сдаче себя в аренду в качестве батарейки.

P.S. На всякий случай скажу, что на демке очевидно движения робота ускорены, а в финальный монтаж вошли лишь успешные попытки. Плюс всё действо было human assisted. В реальности он всё делал гораздо медленнее и с ошибками. Но это никак не отменяет прогресса домашней робототехники.

ТТХ робота для самых любопытных:

Общая мобильность — 75 степеней свободы (degrees of freedom, DOF), 31 в корпусе и по 22 в каждой руке.

Конечные эффекторы — два пятипалых манипулятора.

Гаптика — в каждый палец встроена цифровая тактильная матрица (Digital Tactile Array) с более чем 1000-ю чувствительных пикселей с порогом 0,02 ньютона (позволяет ощущать минимальное давление и распознавать тонкие текстуры предметов).

Силовые характеристики — крутящий момент в руках достигает 120 Н·м, а в ногах — 360 Н·м (возможность поднимать груз в стандартном режиме до 7 кг, а в пиковом — до 15 кг при собственном весе в 68 кг).

Вычислительная мощь — модуль Jetson AGX Thor T5000 на архитектуре Blackwell обеспечивает 2070 терафлопс в формате FP4 (4-bit Floating Point). Плюс 14-ядерный процессор Arm и 128 ГБ унифицированной памяти.

«До сих пор исследовательские группы тратили массу времени и сил на то, чтобы заставить робота хотя бы загрузиться и встать. Теперь они могут просто пользоваться системой „из коробки“».

➡️ OpenAI резко усилила робототехническое направление. Компания вновь набирает специалистов в лабораторию робототехники и работает над обучением роботизированных манипуляторов выполнению бытовых задач.

➡️ Figure AI в мае привлек внимание миллионов людей демонстрацией гуманоидов, которые в течение недели занимались сортировкой посылок. Вскоре после этого стартап заключил коммерческое соглашение с крупным американским ритейлером Catalyst Brands на внедрение роботов в логистические операции.

➡️ Глава Nvidia Дженсен Хуанг называет гуманоидную робототехнику «многотриллионной экономической возможностью». А Илон Маск неоднократно заявлял, что андроид Optimus — ключ к будущему Tesla. Они уже выполняют простые задачи на заводах компании, а их массовая продажа всем желающим начнется в 2027 году.

➡️ Boston Dynamics, принадлежащая Hyundai, также стремится к промышленному использованию своих роботов. К 2028 году южнокорейский концерн планирует установить на своих заводах десятки тысяч человекоподобных роботов Atlas. Ну а Agility Robotics уже поставляет своего гуманоида Digit для Amazon, GXO, Schaeffler и Mercado Libre.

➡️ Отстала от тренда только пошедшая по ложному пути метавселенных Meta. Поэтому чтобы наверстать компетенции Марку Цукербергу пришлось в срочном порядке купить в прошлом месяце стартап Assured Robot Intelligence. Его команда, разрабатывающая модели ИИ для андроидов, присоединилась к Superintelligence Labs в Meta.

❓ Выглядит DR02 круто, но у меня возник один вопрос: насколько его камеры и лидар будут эффективны при навигации в сложной среде? Как известно, брызги воды, туман, дым и т.д. мешают работе лидаров. Если есть есть специалисты по компьютерному зрению в экстремальных условиях — было бы интересно почитать ваши комментарии!

📊 И о моей любимой экономике: с момента основания в 2017 году продукты Deep Robotics используются более чем в 44 странах и регионах и охватывают свыше 600 сценариев промышленного применения. В 2025 году чистая прибыль составила $4,2 млн при выручке в $49,6 млн.

Где можно сократить косты?

🟢массовое производство недорогих камер;

🟢более дешевые вычислительные системы-на-кристалле со встроенными нейронными процессорами;

🟢развитие ИИ-моделей компьютерного зрения;

🟢vision-first подход, где дорогие датчики будут заменяться мощными нейросетями, извлекающими максимум информации из обычных камер и дешевых сенсоров (инерциальные измерительные модули, одометрия и т.д.).

А минусы будут?

➖ Как инженер, Манвел Аветисян концентрируется только на стоимости списка компонентов своего прототипа (bill of materials, BOM), игнорируя потенциальные операционные расходы: операторы, техподдержка, мониторинг, инфраструктура зарядки и т.д. При низкой цене отдельного устройства, рост флота увеличит общую стоимость владения.

➖ Ограниченные испытания в лабораторных условиях не дают представления об edge cases — проблемах «крайнего случая» в реальной среде. А значит дешевого набора сенсоров может оказаться недостаточно для массовой эксплуатации в условиях города без риска для людей и животных.

➖ И что всё-таки насчет аккумуляторов, стоимости зарядки и робопортов для неё? Для тех же гуманоидов это серьезная статья расходов.

➖ Быстрое масштабирование создаст новые проблемы: пробки из доставщиков, необходимость изменения дорожной инфраструктуры, конфликты с людьми и необходимость правового регулирования. Чего стоит только развитие рынка электросамокатов.