Недавно я задумался. "А какого главного качества не хватает LLM-кам?" И тут меня осенило. Им не хватает лени.
Когда я занимался с репетитором перед поступлением в МФТИ, то классическим комментом было:
"В целом ты сделал нормально. Но если бы ты был немного более ленивым и подумал вместо того чтобы делать, тогда можно было бы сделать так - ...."

Когда я разговариваю с продактами, когда я консультирую стартапы, когда я придумываю архитектуру для нашего стартапа - 90% разговоров о том же. Мои обычные вопросы: "а зачем вы это делаете", "а нельзя ли сначала сделать проще", "а вам точно нужен тут алгоритм", "а зачем вам вообще использовать тут камеру".
Да, думать приходится больше, ещё больше бить по рукам, - но делать меньше.

То же самое с программистами. Кажется, что ещё Паскаль говорил что "Письмо это вышло более длинным только потому, что у меня не было свободного времени написать его короче". Хороший программист пишет кратко.

Это я к чему. Пока сетки на мои тупые вопросы пишет ответы, вместо того чтобы ответить "ты чо, долбоёб?!" - я спокоен за профессию. А вы?

Поговорили с Иваном про то куда вообще Edge движется в 2025 году. Иван - один из лидирующих разработчиков в Edge Impulse. В своей платформе они поддерживают кажется половину из тех плат про которые я тут упоминал. А ещё недавно их поглотил Qualcomm. Обо всём этим собственно и поговорили.
Что сейчас можно делать на Edge, где максимальный прогресс, и.т.д.
https://youtu.be/XyaArB4q9X0

Погнали. Axelera. Светились последние года три на всех выставках и наконец релизнулись.
Как думаете, оправдали ли ожидания? Ответы на эти и многие другие вопросы в видео:)
https://youtu.be/UYlBO4nEGSQ
Огромное спасибо Юрию за предоставление доступа к плате! Кстати, ребята из Axelera мне даже сами написали и предложили потестить, но так как был второй вариант - предпочел выбрать более независимый вариант.
Кстати. Решил попробовать расшифровывать видео в статьи через Whisper + ChatGPT. Посмотрим имеет ли смысл.

Продолжаем. На том же компе где была Axelera ещё был и Intel CPU. Последний год хотел его затестить. Ну и OpenVino тоже давно не добирался. Обзор будет достаточно поверхностный, так как Intel - это целый мир по софту. Но для Brief обзора по NPU кажется сойдёт.
https://youtu.be/BUvIeVn_HzY
И статья с полуавтоматической расшифровкой:
https://medium.com/@zlodeibaal/837ff5186423

Огромное спасибо Юрию за предоставление доступа к плате!

О, а я пропустил как ребята со мной интервью два месяца назад выпустили. Можно сказать что два месяца с текущей скоростью развития ML это достаточно чтобы уже рассматривать как исторические предсказания!
https://www.youtube.com/watch?v=VQ7iq6IlcBY

Тэкс. OrangePi RV2. Эта плата меня немного заскамила. В целом, плата неплохая по комплектации и цене. В целом, думаю что скоро таких будет сильно больше. Хороший пример Risk-V. Но вот "AI" платой она точно не является.
Подробнее в видео - https://youtu.be/Qi4o30pHJHk
И статье - https://medium.com/@zlodeibaal/orange-pi-rv2-ai-board-scam-7c71a93d63f1

Всем привет. Давно хотел записать некоторые свои мысли про Норвегию. Меньше про ML, больше про страну. Выложил на втором канале, который более болтательный. Ну, а переезд в Германию - чем не повод записать?
https://youtu.be/T2jlLQZOyJs
В свете этого переезда. Я знаю что в Берлине есть датазавтраки. Кто-нибудь из подписчиков там бывает? Когда/где они проходят, куда надо вписаться? Часто не буду ходить, но познакомиться интересно.
Если вы делаете что-нибудь прикольное (роботов, какой-нибудь наглядный CV), то можно пообщаться и записать видео на мой основной канал, если интересно.

Сегодня небольшое видео на тему "какую Edge плату брать для роботов". Что-то меня часто на эту тему спрашивают в последнее время.

Лето немного загружено, но:
1) Есть пара видео в консервах, надо дооформить.
2) Есть пара плат которые медленно ко мне едут
3) Есть пара интервью которые я договорился
Но не знаю когда все прокнет.

https://youtu.be/dQPZK3CgcPs

Aх да, в формате статьи - https://medium.com/@zlodeibaal/choosing-ai-accelerators-for-robots-what-to-know-1fa10f930482

Как вам вайбпреза по GPT-5?
Кто смотрел?
Будущее уже тут?:)

Тээкс. Попробовал платку RDK X5. Много народу предлагало потестить. В целом - интересная штука. Я бы, конечно, брал Рокчип или Сопфон лучше. Но очень неплохо. Чуваки реально понимают что надо для роботов - и пытаются давить в эту сторону.
Но хотелось бы не int8 и более прозрачный пайплай экспорта.
видео - https://youtu.be/PvDRyfpeGfo
статья - https://medium.com/@zlodeibaal/rdk-x5-review-ai-board-for-robotics-017454547bc8

Сейчас в вялом режиме тестирую M.2 ускоритель от MemryX. Очень приятно впечатлен. Но главное - пока его тестировал осознал что частично не понимаю современной квантизации и трендов в ней. Любопытно послушать у кого с этим какой экспирианс, кто что использовал.

Короче.
В MemryX используется W8A16 квантизация для Computer Vision. Это когда веса квантуются в int8, а активации остаются в FP16 (или каком-то похожем формате типа BF16).
В LLM давно используются и W8A16 и W8A8 и W4A16 квантизации и даже некоторые другие. Но там даже для W8A8 калибровочного датасета не нужно, и я особо внимания не обращал на них. Просто понятно что этот трюк есть и какие у него ограничения.
А тут внезапно оказалось, что W8A16 снижает размер модели почти в 2 раза (от fp16), ускоряет инференс + не требует калибровочного датасета для Computer Vision. А ещё можно использовать W4A16, где все быстрее 😱😱😱

На этом месте я подумал: "а неужели это нигде никто больше не использует?!". Единственное что я нашёл - что в Nvidia поддержка всего этого есть в TensorRT-LLM. Для Computrer Vision и TensorRT в теории можно затащить, но муторно и нет простого способа.

Вопросы:
1) А кто-то использовал W8A16 для Edge Computer Vision? Может пробовал?
2) Кто-то видел это не на MemryX и не на Jetson?
3) Я что-то упускаю из виду, что-то забываю?

DINOv3 прикольная штука. Плюсы и минусы более-менее понятны. Но вкратце попробовал пройтись по ним в видео.
Заодно побенчмаркал Intel-овскую NPU-шку на новом компе + AMD-шную NPU на доступном компе.
Вообще DINOv3 на удивление везде хуже работает.
https://youtu.be/HaJNyyWsio4

Раз в год стараюсь сделать обзор на то что нового в Computer Vision и какие перспективы. На мой взгляд за этот год поменялось очень много чего. И в первую очередь логика разработки. Я понимаю, что в видео много чего не стал даже затрагивать (генерацию датасетов например), так как говорил раньше. Почти не упомянул железки.
Но если соберётся много вопросов - просто сделаю ещё одно видео.
Решил выложить не на основной канал, а на второй.
https://youtu.be/Tn8m0MP3Df4