Данные — одна из главных головных болей при разработке автономных систем. Нам нужны терабайты данных для персепшна, для предикшна, для планера.
Казалось бы, всех спасет симулятор: накатал миллион реальных километров, кратно размножил сценарии в симуялторе, и вот у тебя уже 10 миллионов километров тестов за одну ночь. Но если бы все работало так безупречно, профессия таксиста уже давно ушла бы в прошлое.
Дело не только в объеме, ключевую роль играет разнообразие данных.
Представьте ситуацию: ваша модель персепшна обучалась только на классических двухколесных мотоциклах. Внезапно на дороге ей встречается трицикл. Оценивая его сзади, нейросеть может ошибиться и классифицировать его как автомобиль — например, как небольшой кабриолет. Дальше ошибка идет по цепочке: модуль предикшна строит физическую модель и гипотезы будущего движения для машины, а не для легкого и юркого трицикла.
А теперь добавим сюда планер. Если вы тренировали его только на плавных и предсказуемых маневрах, то в момент, когда этот трицикл резко перестроится в ваш ряд, система может просто не сгенерировать нужный маневр экстренного уклонения или торможения.
Вывод простой: «накатывать» киллометры в реальном мире, в разных погодных условиях и по дорогам самых разных городов — все еще критически важно для качества автопилота. И только потом собранный датасет корнер-кейсов имеет смысл бесконечно прогонять в симуляторе.
p.s. Если вы вдруг считаете, что корнер кейсов мало, то вот вам картинки с увлекательными задачами для персепшна.
#selfdrivingcar #беспилотник #беспилотныйавтомобиль
Казалось бы, всех спасет симулятор: накатал миллион реальных километров, кратно размножил сценарии в симуялторе, и вот у тебя уже 10 миллионов километров тестов за одну ночь. Но если бы все работало так безупречно, профессия таксиста уже давно ушла бы в прошлое.
Дело не только в объеме, ключевую роль играет разнообразие данных.
Представьте ситуацию: ваша модель персепшна обучалась только на классических двухколесных мотоциклах. Внезапно на дороге ей встречается трицикл. Оценивая его сзади, нейросеть может ошибиться и классифицировать его как автомобиль — например, как небольшой кабриолет. Дальше ошибка идет по цепочке: модуль предикшна строит физическую модель и гипотезы будущего движения для машины, а не для легкого и юркого трицикла.
А теперь добавим сюда планер. Если вы тренировали его только на плавных и предсказуемых маневрах, то в момент, когда этот трицикл резко перестроится в ваш ряд, система может просто не сгенерировать нужный маневр экстренного уклонения или торможения.
Вывод простой: «накатывать» киллометры в реальном мире, в разных погодных условиях и по дорогам самых разных городов — все еще критически важно для качества автопилота. И только потом собранный датасет корнер-кейсов имеет смысл бесконечно прогонять в симуляторе.
p.s. Если вы вдруг считаете, что корнер кейсов мало, то вот вам картинки с увлекательными задачами для персепшна.
#selfdrivingcar #беспилотник #беспилотныйавтомобиль
🤔5🔥4👍2🤯2😱1
tesla_01.jpg
175.3 KB
Зачем Tesla Cybercab антенна Starlink, если автопилоту не нужен интернет?
Прочитал забавную новость: внутри роботакси Cybercab от Tesla нашли терминал Starlink. Журналисты удивляются, ведь Илон Маск всегда говорил, что для вождения машине не нужна связь с сетью.
Для работы самого автопилота интернет действительно не нужен, а в контуре управления он даже опасен. Но Cybercab — это коммерческое роботакси. Как машине принимать заказы без сети? Не голосовать же пассажирам на обочине? =))
На самом деле, беспилотникам интернет нужен постоянно, но вне алгоритмов самого вождения. Вот основные сценарии:
📡 Диспетчеризация и заказы. Прием маршрутов, расчет стоимости, мэтчинг с пассажирами.
🆘 Удаленное управление (Teleoperation). Подключение удаленного оператора в сложных и нестандартных ситуациях , с которыми технология пока не справлется.
🚓 Взаимодействие с полицией. Оператор подключается к машине, если машину остановил инспектор или произошло ДТП.
📞 Клиентский саппорт. Помощь пассажирам прямо в салоне, если что-то пошло не так с поездкой.
⚙️ Телеметрия. Удаленная диагностика систем и мониторинг состояния авто.
Почему автопилот не использует интернет для принятия решений на дороге?
Всё просто: задержка сигнала (пинг) и риск потери связи. Автомобиль движется на высокой скорости, и система обязана принимать решения локально за миллисекунды. Зависеть от стабильности 5G или спутников при торможении перед пешеходом — плохой план.
А что насчет GPS?
Бытует миф, что без GPS машина ослепнет. В реальности GPS нужен беспилотникам в основном для глобальной привязки к координатам, а не для миллиметрового маневрирования.
• В «классических» беспилотниках (которые ездят по HD-картам с лидарами) GPS помогает понять, в каком районе машина находится, чтобы подгрузить из памяти нужный фрагмент высокоточной карты.
• В подходе Tesla GPS — это лишь один из многих сенсоров. Локализация в пространстве происходит за счет визуальной одометрии (данных с камер), инерциальных датчиков (IMU), кинематики колес и руля.
P.S. К слову, тот факт, что Tesla реализует полную автономность всего на 8 камерах (без дорогих лидаров и радаров) — это, конечно, инженерная фантастика. Наблюдаю с интересом!
#tesla #robotaxi #gps #selfdrivingcar #роботакси #тесла
Прочитал забавную новость: внутри роботакси Cybercab от Tesla нашли терминал Starlink. Журналисты удивляются, ведь Илон Маск всегда говорил, что для вождения машине не нужна связь с сетью.
Для работы самого автопилота интернет действительно не нужен, а в контуре управления он даже опасен. Но Cybercab — это коммерческое роботакси. Как машине принимать заказы без сети? Не голосовать же пассажирам на обочине? =))
На самом деле, беспилотникам интернет нужен постоянно, но вне алгоритмов самого вождения. Вот основные сценарии:
📡 Диспетчеризация и заказы. Прием маршрутов, расчет стоимости, мэтчинг с пассажирами.
🆘 Удаленное управление (Teleoperation). Подключение удаленного оператора в сложных и нестандартных ситуациях , с которыми технология пока не справлется.
🚓 Взаимодействие с полицией. Оператор подключается к машине, если машину остановил инспектор или произошло ДТП.
📞 Клиентский саппорт. Помощь пассажирам прямо в салоне, если что-то пошло не так с поездкой.
⚙️ Телеметрия. Удаленная диагностика систем и мониторинг состояния авто.
Почему автопилот не использует интернет для принятия решений на дороге?
Всё просто: задержка сигнала (пинг) и риск потери связи. Автомобиль движется на высокой скорости, и система обязана принимать решения локально за миллисекунды. Зависеть от стабильности 5G или спутников при торможении перед пешеходом — плохой план.
А что насчет GPS?
Бытует миф, что без GPS машина ослепнет. В реальности GPS нужен беспилотникам в основном для глобальной привязки к координатам, а не для миллиметрового маневрирования.
• В «классических» беспилотниках (которые ездят по HD-картам с лидарами) GPS помогает понять, в каком районе машина находится, чтобы подгрузить из памяти нужный фрагмент высокоточной карты.
• В подходе Tesla GPS — это лишь один из многих сенсоров. Локализация в пространстве происходит за счет визуальной одометрии (данных с камер), инерциальных датчиков (IMU), кинематики колес и руля.
P.S. К слову, тот факт, что Tesla реализует полную автономность всего на 8 камерах (без дорогих лидаров и радаров) — это, конечно, инженерная фантастика. Наблюдаю с интересом!
#tesla #robotaxi #gps #selfdrivingcar #роботакси #тесла
1👍6🤓2🔥1😱1🕊1
🚖 У Яндекса новое роботакси!
Компания выкатила на дороги общего пользования новую платформу на базе китайского кроссовера Kaiyi X7.
Главная фича — абсолютно новый набор сенсоров. Инженеры отказались от классических вращающихся лидаров, теперь используются только твердотельные (solid-state). Очень крутое и современное решение! 🛠
Кстати, это первая новая платформа Яндекса с 2020 года (тогда покорять улицы выехала Hyundai Sonata). Молодцы ребята, двигают прогресс! 👏
https://www.linkedin.com/posts/andreykholodny_new-robotaxi-model-on-moscow-roads-our-share-7487876959704743936-uixU/?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAozYm4BigwNxowz6pfD4QczSQFd2F6cuv4
#yandex #яндекс #роботакси #Kaiyi
Компания выкатила на дороги общего пользования новую платформу на базе китайского кроссовера Kaiyi X7.
Главная фича — абсолютно новый набор сенсоров. Инженеры отказались от классических вращающихся лидаров, теперь используются только твердотельные (solid-state). Очень крутое и современное решение! 🛠
Кстати, это первая новая платформа Яндекса с 2020 года (тогда покорять улицы выехала Hyundai Sonata). Молодцы ребята, двигают прогресс! 👏
https://www.linkedin.com/posts/andreykholodny_new-robotaxi-model-on-moscow-roads-our-share-7487876959704743936-uixU/?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAozYm4BigwNxowz6pfD4QczSQFd2F6cuv4
#yandex #яндекс #роботакси #Kaiyi
🔥18❤10👀3
🇬🇧 Лондон уверенно становится топ-1 городом Европы по тестированию роботакси
Lyft анонсировала тесты автономных авто 6-го поколения от Apollo Go (Baidu) на британских дорогах. Вы только посмотрите на их новую платформу:
• Ноль «крутилок». Никаких вращающихся лидаров.
• Эстетичный сенсор-сет. Выглядит как органичный заводской элемент кузова, а не как дополнительный багажник.
• Сдвижные задние двери. Чтобы не пришлось доплачивать за закрытие курьерам =)
Конкуренция там уже плотная: на улицах Лондона вовсю тестируются Uber в партнерстве с Wayve и Waymo.
Отдельный инженерный интерес — левостороннее движение. Это отличная задача для технологии. Уверен, модулю предикшена предстоит сильное переобучение 😉
#London #lyft #беспилотныйавтомобиль #selfdrivingcar #robotaxi #baidu #Лондон #роботакси
Lyft анонсировала тесты автономных авто 6-го поколения от Apollo Go (Baidu) на британских дорогах. Вы только посмотрите на их новую платформу:
• Ноль «крутилок». Никаких вращающихся лидаров.
• Эстетичный сенсор-сет. Выглядит как органичный заводской элемент кузова, а не как дополнительный багажник.
• Сдвижные задние двери. Чтобы не пришлось доплачивать за закрытие курьерам =)
Конкуренция там уже плотная: на улицах Лондона вовсю тестируются Uber в партнерстве с Wayve и Waymo.
Отдельный инженерный интерес — левостороннее движение. Это отличная задача для технологии. Уверен, модулю предикшена предстоит сильное переобучение 😉
#London #lyft #беспилотныйавтомобиль #selfdrivingcar #robotaxi #baidu #Лондон #роботакси
🔥5👍3👏2
Наткнулся на свое видео трехлетней давности. На кадрах рассказываю мэру Сириуса Дмитрию Плишкину о перспективах роботакси.
Выступать тогда было очень волнительно, но сейчас забавно оглянуться назад. Технологии автономного вождения развиваются так быстро, что три года кажутся целой эпохой. Смотрю и понимаю, какой огромный путь прошла индустрия с тех пор!
Оставлю ссылку здесь: Видео во ВКонтакте
Выступать тогда было очень волнительно, но сейчас забавно оглянуться назад. Технологии автономного вождения развиваются так быстро, что три года кажутся целой эпохой. Смотрю и понимаю, какой огромный путь прошла индустрия с тех пор!
Оставлю ссылку здесь: Видео во ВКонтакте
VK Видео
В «Сириусе» запускают беспилотное такси
Смотрите онлайн В «Сириусе» запускают беспилотное такси 51 с. Видео от 17 октября 2023 в хорошем качестве, без регистрации в бесплатном видеокаталоге ВКонтакте! 2510 — просмотрели. 15 — оценили.
🔥7❤4👍3😁1🫡1
Телеоператоры. Кто эти люди и зачем они нужны?
Несмотря на то, что технология автономного вождения уже достаточно сильная, все равно остаются ситуации, когда она не справляется или нужно взаимодействовать с людьми. На помощь приходят удаленные операторы. Они присматривают за роботами или машинами и в реальном времени подключаются в сложных ситуациях.
Есть несколько подходов по вмешательству оператора в работу автономной технологии.
Первый, самый простой — нажать красную кнопку, чтобы остановить беспилотник в экстренной ситуации и вызвать команду физической поддержки. Этот кейс реализуется в простых сценариях, например, в роботах-уборщиках.
Второй — непосредственное управление роботом. Допустим, ливень затопил дорогу, и надо как-то объехать препятствие или подождать, пока вода сойдет. Тогда операторы берут
управление на себя и сами в реал-тайме управляют роботом.
И третий вариант — это управление автопилотом без физического управления машиной. Например, когда впереди произошло ДТП, которое надо объехать выехав через две сплошные. Просто так беспилотник не поедет, а оператор может нарисовать траекторию объезда, по которой машина объедет аварию, продолжая соблюдать все оставшиеся правила.
К операторам машин предъявляются такие же требования, как к обычным водителям. У них должны быть права и опыт управления автомобилем. И если для небольших роботов нормально давать возможность прямого управления, то для автомобилей это очень опасно: любые лаги интернета могут обернуться плохими последствиями.
Поэтому операторы сначала проходят обучение, потом стажировку, и только затем под присмотром старших операторов начинают сами помогать машинам на дорогах. В общем, операторы роботов — профессия будущего. Важная и ответственная!...
#selfdrivincar #беспилотныйавтомобиль #remotecontrol #teleops #teleoperartor #телеоператор
Несмотря на то, что технология автономного вождения уже достаточно сильная, все равно остаются ситуации, когда она не справляется или нужно взаимодействовать с людьми. На помощь приходят удаленные операторы. Они присматривают за роботами или машинами и в реальном времени подключаются в сложных ситуациях.
Есть несколько подходов по вмешательству оператора в работу автономной технологии.
Первый, самый простой — нажать красную кнопку, чтобы остановить беспилотник в экстренной ситуации и вызвать команду физической поддержки. Этот кейс реализуется в простых сценариях, например, в роботах-уборщиках.
Второй — непосредственное управление роботом. Допустим, ливень затопил дорогу, и надо как-то объехать препятствие или подождать, пока вода сойдет. Тогда операторы берут
управление на себя и сами в реал-тайме управляют роботом.
И третий вариант — это управление автопилотом без физического управления машиной. Например, когда впереди произошло ДТП, которое надо объехать выехав через две сплошные. Просто так беспилотник не поедет, а оператор может нарисовать траекторию объезда, по которой машина объедет аварию, продолжая соблюдать все оставшиеся правила.
К операторам машин предъявляются такие же требования, как к обычным водителям. У них должны быть права и опыт управления автомобилем. И если для небольших роботов нормально давать возможность прямого управления, то для автомобилей это очень опасно: любые лаги интернета могут обернуться плохими последствиями.
Поэтому операторы сначала проходят обучение, потом стажировку, и только затем под присмотром старших операторов начинают сами помогать машинам на дорогах. В общем, операторы роботов — профессия будущего. Важная и ответственная!...
#selfdrivincar #беспилотныйавтомобиль #remotecontrol #teleops #teleoperartor #телеоператор
👍7🤔4🤓2
Media is too big
VIEW IN TELEGRAM
Что-то давно на канале не было подкастов. Исправляюсь — ловите трейлер нового выпуска!
Мой гость — Дмитрий Куликов, технический директор Evocargo.
Обсудили, на каком этапе сегодня находится технология автономного вождения, как изменился рынок разработчиков и почему лидарные данные самолетов — это важно.
Скоро — полный выпуск.
#evocargo #подкаст #беспилотныйавтомобиль #selfdrivingcar
Мой гость — Дмитрий Куликов, технический директор Evocargo.
Обсудили, на каком этапе сегодня находится технология автономного вождения, как изменился рынок разработчиков и почему лидарные данные самолетов — это важно.
Скоро — полный выпуск.
#evocargo #подкаст #беспилотныйавтомобиль #selfdrivingcar
🔥13❤8👍2🦄1