HapticVLA: как научить робота чувствовать без датчиков касания?

Одна из ключевых задач Physical AI заключается в том, чтобы научить роботов взаимодействовать с физическим миром, в том числе контролировать силу захвата и аккуратно работать с хрупкими предметами.

В нашей работе HapticVLA мы предложили использовать тактильные сенсоры только во время обучения. Сначала модель учится с их помощью, а затем полученные знания переносятся в VLA-модель, которая работает без датчиков касания.

В экспериментах HapticVLA достигла 86,7% успешных выполнений на трёх задачах с предметами разной степени хрупкости: пластиковой банкой, вафлями и яйцами.

Наш подход позволяет использовать тактильную информацию для обучения роботов без необходимости оснащать их дополнительными сенсорами при реальном применении.

Я начал работу над HapticVLA после поступления на совместную магистерскую программу AI Robotics Яндекса и Сколтеха. Параллельно с учёбой исследование заняло около полугода.

Статья на arxiv


—

Спасибо Мише за годные инсайды прямиком с IROS! На самом деле очень сложно с нуля за полгода сделать проект, который залетит и будет принят на топовую конфу, поэтому это мощно!
Накидайте Мише реакций за эксклюзив и пишите вопросы в комменты, пока он там на месте.

@ai_newz