Сегодня небольшое видео на тему "какую Edge плату брать для роботов". Что-то меня часто на эту тему спрашивают в последнее время.

Лето немного загружено, но:
1) Есть пара видео в консервах, надо дооформить.
2) Есть пара плат которые медленно ко мне едут
3) Есть пара интервью которые я договорился
Но не знаю когда все прокнет.

https://youtu.be/dQPZK3CgcPs

Aх да, в формате статьи - https://medium.com/@zlodeibaal/choosing-ai-accelerators-for-robots-what-to-know-1fa10f930482

Как вам вайбпреза по GPT-5?
Кто смотрел?
Будущее уже тут?:)

Тээкс. Попробовал платку RDK X5. Много народу предлагало потестить. В целом - интересная штука. Я бы, конечно, брал Рокчип или Сопфон лучше. Но очень неплохо. Чуваки реально понимают что надо для роботов - и пытаются давить в эту сторону.
Но хотелось бы не int8 и более прозрачный пайплай экспорта.
видео - https://youtu.be/PvDRyfpeGfo
статья - https://medium.com/@zlodeibaal/rdk-x5-review-ai-board-for-robotics-017454547bc8

Сейчас в вялом режиме тестирую M.2 ускоритель от MemryX. Очень приятно впечатлен. Но главное - пока его тестировал осознал что частично не понимаю современной квантизации и трендов в ней. Любопытно послушать у кого с этим какой экспирианс, кто что использовал.

Короче.
В MemryX используется W8A16 квантизация для Computer Vision. Это когда веса квантуются в int8, а активации остаются в FP16 (или каком-то похожем формате типа BF16).
В LLM давно используются и W8A16 и W8A8 и W4A16 квантизации и даже некоторые другие. Но там даже для W8A8 калибровочного датасета не нужно, и я особо внимания не обращал на них. Просто понятно что этот трюк есть и какие у него ограничения.
А тут внезапно оказалось, что W8A16 снижает размер модели почти в 2 раза (от fp16), ускоряет инференс + не требует калибровочного датасета для Computer Vision. А ещё можно использовать W4A16, где все быстрее 😱😱😱

На этом месте я подумал: "а неужели это нигде никто больше не использует?!". Единственное что я нашёл - что в Nvidia поддержка всего этого есть в TensorRT-LLM. Для Computrer Vision и TensorRT в теории можно затащить, но муторно и нет простого способа.

Вопросы:
1) А кто-то использовал W8A16 для Edge Computer Vision? Может пробовал?
2) Кто-то видел это не на MemryX и не на Jetson?
3) Я что-то упускаю из виду, что-то забываю?

DINOv3 прикольная штука. Плюсы и минусы более-менее понятны. Но вкратце попробовал пройтись по ним в видео.
Заодно побенчмаркал Intel-овскую NPU-шку на новом компе + AMD-шную NPU на доступном компе.
Вообще DINOv3 на удивление везде хуже работает.
https://youtu.be/HaJNyyWsio4

Раз в год стараюсь сделать обзор на то что нового в Computer Vision и какие перспективы. На мой взгляд за этот год поменялось очень много чего. И в первую очередь логика разработки. Я понимаю, что в видео много чего не стал даже затрагивать (генерацию датасетов например), так как говорил раньше. Почти не упомянул железки.
Но если соберётся много вопросов - просто сделаю ещё одно видео.
Решил выложить не на основной канал, а на второй.
https://youtu.be/Tn8m0MP3Df4

Пару постов назад я уже упоминал про MemryX. Вот видео и статья с итоговыми мыслями.
На мой взгляд на сегодняшний день одна из самых удобных плат. Тут продумано всё. От крутой документации, то того что модели экспортируются из коробки. Если это не трансформеры конечно. Хорошо бы чтобы эта плата научила всех как надо делать документацию, писать гайды и делать удобный экспорт.
Аминь.
https://www.youtube.com/watch?v=PteHxEDv1o8
https://medium.com/@zlodeibaal/exploring-the-memryx-m-2-ai-accelerator-first-impressions-benchmarks-94f7c78ef037

Собралось немного оффтопа + пара вопросов.
1. Чо-то осмелел, написал Radxa:
“А пришлёте что-нить на обзор из нового? Вот у вас есть любопытная серия Cubie"
C ходу прислали оба, хотя просил один:)
2. Из дальнейших планов:
а) Посмотреть на вот это вот всё⬆️
б) Интервью с одним из разработчиков очень крутой NPU архитектуры. Надеюсь будет на следующей неделе.
в) Axelera сделала много апдейтов - хочу пройтись по LLMкам
г) У меня свежий комп с Intel NPU - хочу ещё раз более серьезно зайти потестить
д) Очень хочется что-то ещё по роботам сделать. Либо про симулятор, либо про VLA. Но не очень понимаю что пока. Если есть идеи что интересно - закидывайте.
3. Я иногда думаю что-нибудь записать на русскоязычный канал. Но после прошлого видео что-то интересных вопросов и тем не было. Короче если есть - закидывайте, будет видео.
4. Стал замечать что где-то половина новых подписчиков на канал - боты. Стал их периодически банить. ТГ перестал быть ламповым?:) VK 2.0?

Я всегда стараюсь делать видео независимыми, даже если плату присылают на обзор бесплатно. Понятно, что сделать это на 100% невозможно. Например когда предлагают ответить на все вопросы. Понятно что у обычного пользователя не будет такого. Или когда есть какие-то просьбы, например "а можешь показать вот что такая сетка работает". Понятно что врать не буду, но если работает, и просят подсветить - я подсвечу.
Но часто вендоры недовольны моими видео (даже если они позитивные). Я бы сказал процентов 30 обзоров.
Обычно недовольны продажники. Чтобы технические эксперты - супер редко, часто благодарят что кто-то подсветил начальству проблемы про которые они говорили давно.
Одна история мне запомнилась. Плату на обзор прислал продажник, и после выхода видео начал хамить на тему того что я все неправильно рассказал. Плата была достаточно нейтральная и проходная, но у неё были свои сильные стороны, которые я подсветил.
Забавно получить от него такое сообщение сегодня. И респект за умение признавать свои ошибки:)

Так. Я выше обещал много видео:)
Но, как водиться...
1) Radxa - оказалась крепким орешком. A5E видно настолько свежая что прошивка была выложена неделю назад. И там не работает NPU:) Так что видео только по A7A. И не сказать что это было супер просто. О чем смотрите в видео и статье:)
2) Видео интервью записано, сведено, но я там обещал собеседнику что он может апрувнуть, а он пока в отпуске
3) Ещё одна железка у меня лежит (очень крутая). Но попросили до НГ не выпускать видео. Так что пока сам планирую потыкать.

https://youtu.be/l6kZQkYsWg8
https://medium.com/@zlodeibaal/radxa-cubie-a7a-f7401a185694

Вы думаете я совсем забил на канал и не пощу новых видео?:)
Я пытаюсь, но не выходит
1) Про A5E я уже рассказывал в видео, жду пока починят
2) Так же Radxa прислали супер свежий Dragon Q6A. Очень интересно, но пока не запустилось
3) MUSE Pi Pro SpacemiT. Застраял на таможне. Но вроде уже прошло сегодня
4) Плата на базе AM69 - мне дали доступ, но там проблемы с документацией. Обещанных контейнеров не нашлось. Сейчас смотрят как починить
5) Одна интересная 3д камера с квалкомом (кто не понял, тот увидит в видео) - попросили подержать видео до декабря, а я пока что играю и тестирую, будет больше видео
6) Записанное интервью по одной очень интересной платформе - завязло в процессах согласования:) Жду финальный апрув
7) Ещё одно видео записанное весной - устарело
8) Ещё хотел перетестить Axelera, они там завезли LLM. Но там тоже разные проблемы повылазили с доступом, думаю решиться в ближайшие дни.

Короче, видео будут, но думаю что ближайшее не раньше чем через пару недель:) А потом очень надеюсь что пойдет волной.
Что бы ещё интересного посмотреть/потестить?

Небольшое видео-дополнение к моему прошлому видео про Axelera. Прошло пол года, захотелось посмотреть стало ли лучше или нет. В целом прогресс есть. Значит платформа жива - что хорошо. При этом сказать что прогресс огромный - нельзя.
1) Появилось какое-то Python SDK - что хорошо. Но оно достаточно странное.
2) Появились LLM - но на простых картах они недоступны
3) Поддержано много новых нейронок в model zoo.

Меня каждый раз удивляет насколько люди падки на дешевый пиар. В прошлый раз про кафе 99.9% каналов поверила что это реально. Сейчас Promobot Aidol падает на сцене. Почему я пишу промобот? Потому что это компания того же фаундера. Чем известен промобот? Тупым пиаром (1, 2, 3). И их CEO рассказывал что это был весьма срежиссированный пиар. Это видео робота сейчас используют все - от политиков Эстонии до стартаперов долины.
Пиар удался?

Я сделатъ. Потестировал Radxa Q6A с Qualcomm на борту.
У меня есть некоторый экспирианс с квалкомом, и было интересно посмотреть где оно сейчас. Надо сказать что хаос свойственный Квалкому сохранился. Но при этом мощь всего того стека что внутри просвечивает. Да, Квалком нее разобрался пока что что они хотят: аналог хаггинфейс или аналог ллама спп. Поэтому напихал всего. Но прикольно что много что работает.
При этом это явно не тот стек который я бы рекомендовал как работающий из коробки:)
Radxa, кстати, судя по всему хорошо поддерживают эту плату. Очень быстро на форуме отвечают про все косяки и фиксят. Так что все заработало за неделю:)

https://youtu.be/ET4atjeCoB8 - видео
https://medium.com/@zlodeibaal/inside-the-radxa-dragon-q6a-a-deep-dive-into-qualcomms-new-edge-ai-platform-34b61a4f2918 - статья в помощь

Что-то все спрашивают. Не вытерпел бахнуть.
Короче, SAM3 это вам не SAM2 и уж тем более не SAM.
Это вам целый комбайн с свистелками и перделками, к науке имеющий мало отношения:)
Но то что все из коробки (почти все) - прикольно.

А вы поняли что там сложные запросы через итерационный "Agentic mode"?:)
https://youtu.be/66e23O8utXg

Всем нравиться немного нейрослопа, я знаю.
А поговорим мы сегодня про SpacemiT Muse Pi Pro.
И тут прямо целая настоящая детективная история.
1) Оказалось что процессор я уже ревьювил на канале
2) Оказалось что все ревью было неправильным (так как OrangePi не удосужился написать а что собственно поддерживается)

Короче, исправляем ошибки с новой платой:)
И спасибо ребятам за то что прислали её на обзор:)

https://youtu.be/DHSrJ2PoPvo
https://medium.com/@zlodeibaal/spacemit-muse-pi-pro-review-c7bdadeb23f4

А какой был ваш первый фреймворк для обучения более-менее современных нейронок?
Мой первый вот этот. На тот момент у меня была GPU от AMD + Винда. И ничего нормального как Theano или Caffe запустить было нельзя.

Конечно, я ещё до этого обучал полносвязные сети разными фреймворками (но названия сейчас не вспомню). А свёрточные сам писал ещё в 2014 году чтобы поэкспериментировать перед защитой диссера.

Но именно отсутствие доступного железа и кода чтобы поэкспериментировать 1-2 дня служило блокером от того чтобы начать это применять массово.

Картинка на превью - это я сейчас случайно откопал из отчета 2015 года, когда я обучил и получил 83% точности против 82% точности которые у нас тогда были через хитронастроенный ансамбль из 5 моделей + haar c бустингом поверх.

/сделал опрос в комментах. Если будет что-то вне списка - обязательно пишите:)

Так. Давно хотел сделать это видео.
В последние пол года я перестал понимать зачем люди выбирают Jetson. Ведь уже конкуренты почти все подмяли.
1) По чистой скорости - есть масса ускорителей, в том числе те которые были на канале.
2) По удобству - Intel с их аналогами NUC уже превосходит TensorRT. А AMD и Qualcomm дышат в затылок.
И всё это дешевле Jetson.

Jetson Thor? Я так его и не понял. Какие юзкейсы для него:
1) Где нельзя поставить полноценную GPU?
2) Где нельзя застримить видео на соседний сервак?
3) Где можно выжигать 120W потребления
4) Где цена под 4к бачей нормальна.

В теории роботы, но кажется что 1/2 - более дешевые и простые конкуренты, 90% кейсов закрывают. 3/4 блокируют остальные 50% применений.

Чуть более подробно - в видео https://youtu.be/AFMoMB74Ogo

Я очень стараюсь не говорить постоянно "я же говорил". Очень, очень сложно. Извините.
Но интервью прекрасно:
"Теперь масса инвесторов и заказов"
"Это факап? Нет, у нас был этот план, ничего неожиданного не случилось"
"Решение принимал я"
МУХАХА

Мне такой подход, как я говорил, далёк. Но, интервью забавное. Алексей очень много интересного говорит о том как работать с командой в таких условиях. Что им говорить и как мотивировать в таких условиях.
В целом много чему поучиться в этом плане.

В продолжении вчерашнего поста. Записал небольшое видео на второй канал что я думаю о гуманоидных роботах и почему это не "скам-скам". Но с другой стороны рассказываю в чем их реальные проблемы и ограничения.
https://youtu.be/RhmtWgY5geM

Короче. Последние пару месяцев активно изучал OAK 4. Я думаю что кто-то уже догадался из подписчиков.
Это прямо настоящий NPU + стереокамера.
Мне его прислали до релиза. А вот сегодня официальное открытие продаж.
Было интересно! За последние пару месяцев у них много чего нового появилось. В том числе, пару недель назад у них появился "Neuro Depth" - это первая сеточка для Stereo Depth которая работает на NPU и выдаёт пристойное качество.
Текущее видео и статьи обзорные. В них о том что это за платформа.
1) Как выглядят пайплайны (они тут необычные)
2) Как готовить сеточки (оно пересекается с моим прошлым видео про Qualcomm)
3) Что тут за Stereo Depth и с чем его едят
4) Latency!

Через неделю выкачу более подробное видео про их Depth Estimation, покажу чем он отличается, где лучше а где хуже. Чуть позже подумаю как сравнить с другими стереокамерами.
Видео - https://youtu.be/j8uXZ7qC8V0
Статья - https://medium.com/@zlodeibaal/c22c87f6a5f2