Хочу сделать небольшую серию из видео где рассказать о проектах которые нам попадались. Первое видео в серии про забавные проекты. Самые смешные пока под NDA но собралась забавная подборочка.
https://youtu.be/8vjGkh8SN88

Небольшой квиз на сегодня. Вот подбородка плат для Computer Vision, которые у меня сейчас есть. Два вопроса на знание матчасти и два вопроса по делу:
1) Как много из них вы узнаете?
2) Каких обзоров на канале пока не было?:)

1) Какие бы платы мне ещё побенчмаркать?
2) Про какие из приведенных нужна вторая серия?:)

Я смотрю тут все ждут тестов двух новых плат?
Пока что не будет! И даже... Не будет куда более эпичного видео которое я готовлю последний месяц, но которое скоро выйдет...;)

Сегодня будет продолжение прошлого видео о том где используется Computer Vision. Я продолжу рассказывать о том где применяется Computer Vision. Но на этот раз я попробую рассказать про сложные системы которые помогал разрабатывать. Попробовал уложить каждый из них в ~1 минуту, чтобы дать общую картинку того что такое Computer Vision. Надеюсь это будет просто любопытно + поможет новичкам понять что им может быть интересно.

https://youtu.be/9t8eASTrIP0

Сегодня будет ЭПИК.
Видео продумывал/записывал последние месяца 3. Кажется, что это просто супер полезный референсный материал для выбора 3Д камеры. Можно посмотреть на картинку, сравнить и понять что нужно. Плюс, с учетом 10 лет опыта работы с разными 3Д камерами подсказываю куда смотреть чтобы не оплошать.
Не забывайте лайкать на ютубе, чтобы все кому это будет полезно увидели этот гайд!
https://youtu.be/JmZdSGtJHNw

Ох. Хорошая юморная история в которой слилась верификация данных, OpenAI и любимый КР:)
Мои давние подписчики знают что примерно год я жил в Бишкеке. С тех пор знаю много народа оттуда и с удовольствием читаю AI чатики в телеге. Пару дней назад в анонсах выступлений проскочило это.

Внимание! В Кыргызстан приехал Вице Президент компании OpenAI, создатель чата GPT - Арка Дхар!

Даже не знаю что смутило меня больше. "Создатель Chat-GPT" или "VP OpenAI" или то что я в первый раз встретил это имя/фамилию.
Но OpenAI VP успел встретиться даже с кабмином Кыргызстана:)
Пошёл гуглить. Это смутило ещё больше (1, 2). Человек уровня VP, который ни в одном личном профиле не удосужился поставить свою причастность к организации.
Начали разбираться. В инете действительно за 2023 год на разных эвентах и митапах он упоминается как сотрудник. Кроме VP Strategy and Product как ProductLead и Head Of Product. Хороший карьерный рост за год!:)

Сайты OpenAI куда более скромны. Но там есть как "Human data product manager". Его фотография есть на новости про открытие Лондонского офиса. Чуть чуть позже в соседнем чатике люди тоже поняли что что-то странное происходит и нарыли те же линки и стали заваривать бучу.

Пара первичных подтверждений что он не VP OpenAI уже есть. Тут ещё надо пошутить что по мнению причастных ChatGPT-4, ChatGPT-3 и Copilot VP он все же не является. На сайте OpenAI назначение всех VP освещается.
Но варианты типа "VP of Data" в Лондонском офисе пока остаются. Хотя на выступлении Арка чётко говорит VP of Data OpenAI. Ждём утра в SF пока все запрошенные поотвечают и прокомментируют ситуацию:)

Но история и мораль не к тому. Когда мы хотим от LLM модели какую-то достоверность в выдаваемой информации - зачастую мы не понимаем насколько это сложно даже для людей. Проверка информации - это поиск её по крупицам, и зачастую нетривиальные сопоставления. LLM может хорошо анализировать тексты, но контекст, анализ и проверка пока что остаются за гранью. А тем более "пойти подёргать знакомых".

Хорошая байка вышла:)

Поговорим о Gr00t.
Gr00t - это Foundation Model для роботов (с некоторыми пайплайнами тренировки). Предполагается что будет большой эмулятор на базе Isaac Lab через который можно будет тренировать роботов. “Прорыв”, “новый мир” и прочие замечательные слова от человека в кожаной куртке. Итак, мысли:
1) История говорит что у Nvidia чем сложнее программный продукт, тем меньше вероятность что им кто-то будет пользоваться. Самые массовые - CUDA и TensorRT, которые максимально простые. Deep Stream вызывает уже много вопросов. TAO и прочие попытки автоматизировать обучение вызывают скорее смех.
2) Многие знают про треш в который вырождается разработка на ROS. А тут мы имеем двадцать роботов. Скорее всего ROS-не совместимых и проприетарных. Это реально сложная архитектурная и технологическая задача.
3) Где-то я слышал шутку, что когда вы делаете генератор данных для тренировки, то вы умножаете команду на два. Кроме DS команды вам теперь нужна команда по созданию энвайромента, его настройке и.т.д. Что-то намекает что с Gr00t будет так же. Для больших компаний этот подход позволительный, но все компании размером до сотни человек будут старательно его избегать.
4) One Shot learning. Посмотрите видео ниже ⬇️ (сейчас загрузиться). Это наша текущая система едет из точки A в точку B. При этом, для обучения достаточно даже одного примера. One-Shot Learning развивается с огромной скоростью. Да, под Gr00t это и будет в каком-то смысле Fondation Model. Но если он будут достаточно хорош и универсален - зачем нужен симулятор, когда можно обучиться с несколькими реальными примерами?
5) Если мы посмотрим то что публичила Тесла - то можно увидеть что все же большая часть обучения построена вокруг реальных данных. Симуляция - это скорее про корнер кейсы. И машину вы без этих корнер кейсов не выпустите. Но надо ли тратить так много ресурсов для роботов, где ошибки допустимы?

А что думаете вы?:) У кого-то был опыт с большими симуляторами и роботами? Рассказывайте! Удавалось ли вам мейнтейнить их командой меньше чем была в ML?

Видео к тексту выше⬆️. Это то как сейчас у нас ездит робот. Достаточно раза два проехать по маршруту и он его запоминает. Идеи точно то же что мы использовали пару лет назад для задач Pick-and-Placment, но несколько оптимизированные и более продуманные. Наверное как-нибудь запишу видео и про это, но пока рано.

Всем привет!
Несколько обновлений про канал и вокруг (что бы не делать, только бы не выкладывать следующее видео про RK3566).
1) Я планирую посетить конференцию Embedded World в начале апреля. Там явно будет много девайсов интересных. На канале попробую на эту тему какое-то видео/пост собрать. Несколько вопросов:
а) Знаете ли вы что-нибудь что там обязательно надо посмотреть?
б) Будет ли там кто-то из подписчиков канала/хочет ли пересечься?
в) Хочет ли кто-то из тех кто там будет рассказать/показать свой проект под видео?

2) В последнее время про рекламу на канале пишут почти каждый день. Даже не смотря на то что в описании все расписано. Хотел бы напомнить правила про рекламу. В обычных форматах её тут не будет.
Что нужно чтобы реклама тут появилась? Нужно чтобы был контент из которого 90% было интересно и полезно. А в остатке можно донести свой месседж. Вот тут примеры таких форматов.

Так. Я сделалъ.
Видео про Radxa Zero 3W. В целом годиться для любых RK3566.
Если в паре слов:
1) Плата хороша по своему балансу "цена/скорость/потребление"
2) Плата неприятна так как это Radxa. Все что касается системы - сырое, глючное, бажное.
3) Плата внезапно медленнее чем 3568NPU. Хотя по документам должна быть одинаковыми.
https://youtu.be/e_BtAdS5M70

Сегодня уже во всех каналах появилась эта новость с криками "они делали фейк!1!!1!"🤦‍♂️. (Amazon Fresh, магазин без касс)

Советую от таких каналов отписываться сразу, если они про ML:)
Видео о том как такие магазины работают я делал ещё 2 года назад . Так что тем кому интересно подробности - прошу туда.

Если в двух словах:
1️⃣ Решение чисто с камер невозможно сделать с 100% точностью. Увеличением числа камер (в том числе с 3Д компонентой) можно улучшать точность до достаточно высокой. Так же можно улучшать точность за счет аккуратной выкладки. Но и то и то снижает экономическую эффективность магазина (дороже система, выше цена разработки, выше цена эксплуатации).
2️⃣ Решение можно сделать с почти 100% точностью, но тогда в каждую полку надо встраивать весы. Но это тоже повышает цену эксплуатации и обслуживания. Появляются ограничения на товары, и.т.д.
3️⃣ Как результат - большая часть компаний делает на камерах, но оставляют в системе человека. Несколько вариантов как их используют:
A) Проверять треки людей, верифицировать покупки. Почти все делают это на этапе внедрения.
B) Смотреть только те треки где пользователь нажал кнопку "не сошлось".
C) Проверять взаимодействия с товаром когда где-то что-то не сходиться, подозрительные треки.

Так же, надо всегда дообучать. Появляются новые товары, могут быть новые регионы мира где используют другую одежду, может меняться дизайн магазина, и.т.д. Меня смущает что они говорят про 1000 разметчиков. Но может быть у них там партайм.

Но главная проблема - это косты и продуктовая задача.
1) Вся это система нужна для уменьшения числа продавцов. Но скорее всего отказаться полностью от них будет нельзя, а цена покупки + цена поддержки будет больше цены продавца.
2) Вся эта система не может защитить от воров. Её достаточно просто можно обмануть. А если система не предназначена для защиты от воров - почему не поставить киоски самосканирования на выходе, либо "умные тележки"?

Как результат - почти все ушли в сторону киосков с защитой от обмана или умных тележек. Именно это сделал Амазон. Именно так ещё раньше сделал Х5, именно так сделали ещё куча компаний.
ML - это обычно не про создание чего-то нового, а про оптимизацию процессов.

Всем привет!
Я достаточно давно подписан на канал Евгения ( Нескучный Data Science ). Мне всегда любопытно смотреть как в разных компаниях выстраиваются DS отделы. А Евгений строит его в Альфе. В какой то момент разговорились и забились записать видео на тему того чем ML в банке отличается от ML вне банков (в первую очередь про стартапы). Получился, как мне кажется, интересный разговор
https://youtu.be/ooBvGEZIlzs

Пара мыслей🧠.
1️⃣) Вернулся с Embedded World. Очень интересно было. Кажется, что с компаниями 30-40 пообщался.Наверное, было ещё много с кем можно поговорить. Но даже так - немного подвыгорел:) Главный вывод - производители железа начали поворачиваться лицом к разработчикам. Много в каких компаниях появились специалисты по ML, которые внутри компании говорят как должно выглядеть взаимодействие. Приходишь и нормально говоришь с компанией про обучение, инференс, проблемы экспорта моделей, CI/CD, и.т.д.
Все эти вопросы ещё года 3 назад прятали под скатерть. Такие компании остались. Но 80% научились коммуницировать. Скоро на канале будет 4 коротких видео про конференцию, про самые интересные компании.

2️⃣) Сейчас сижу разбираю записи, и смотрю в фоне вот это видео Осетинской про стартапы после начала войны. Очень рекомендую. Сам думал про несколько маленьких частей оттуда рассказать, но настолько всеобъемлюще и полно не хватило бы сил. Там показано как в реальности сейчас выглядит бизнес и стартапы в последние два года. Рассмотрено очень много вещей про которых в сообществах разработчиков ходят сказки. "Я буду работать из РФ на иностранных заказчиков!" - нет, так не работает кроме очень редких исключений. "Кому я за рубежом нужен/кто мне платить будет" - тоже показано десятки вариантов как это все решается. Показаны основные проблемы, как складывается сообщество, как работает логика и люди. Да, не рассмотрено про сложности платежей в современном мире. Но остальное неплохо. Только учитывайте что у разных людей и разных компаний разные взгляды на мир. И все частично верны, истина посередине.

Как и обещал начинаю публиковать видео с конференции. И сегодня небольшое интервью с Axelera AI
https://youtu.be/90yxtp8NmXw

Сразу предупрежу что на выставках звук не супер. И хорошую аппаратуру не было сил тащить. Но как-то попробовал вытащить дополнительными микрофонами и постпроцессингом.

Несколько комментов от меня. Мне кажется что Axelera - это один из главных конкурентов Hailo на Edge. Основной минус - они пока что ещё не продают по полной. Только девборды. Но mix-precision выглядит чуть ли не киллерфичей.

Второе интервью с Sima.AI.
На мой взгляд это чуть более полное решение чем Axelera. Но по впечатлением и ценам это чуть дальше от Edge инференса. В любом случае рассказывают супер интересно и на вопросы отвечают очень хорошо. Там было сильно больше одного технического специалиста, потрепался со всеми:)
https://youtu.be/UpV6W9V7qMc

Погнали дальше.
STM32. Легендарные платы. Кажется я помню их ещё с института. Но ребята хотят двигаться и резко ускорились в AI. Причем сделали все по человечески. На NPU инферятся слои которые могут. Остальное автоматом улетает на GPU. На сайте STM бесплатно можно пробенчмаркать сетку на реальном железе (о боже я ждал этого много лет, даже пробовали такой стартап запустить).
Из минусов и пока непонятного:
1) Достаточно слабый NPU пока, достаточно слабый проц.
2) Не смотря на то что есть Python - пока не упоминается как-то основной дистрибутив Линукса. Но, если я правильно понимаю, STM имеет свою экосистему пакэджей.

Из забавного - она построена поверх VeriSilion. Но уверяют что переписали почти весь иняеренс с нуля. Посмотрим.

Короче очень интересная плата чтобы потестить самому.
https://youtu.be/kY3krMPSzO4

И, завершающее большое видео из серии про Embedded World. Обзор на тему "как изменился рынок AI-бордов, какие тренды, какие платы появились, как изменились старые". В целом очень сильно в этом году меняется рынок. Есть очень много новых сильных бордов. Посмотрим, сможет ли кто-нибудь из них обойти Рокчип:)
https://youtu.be/zzOOUG3xjdw

Последний пост про Embedded World 2024.
Кроме производителей NPU на выставке я общался много с кем. Было несколько вендоров роботов, несколько вендоров 3D камер. И прочее и прочее. Но про одно общение я расскажу тут. Натолкнулся я на компанию PROPHESEE. Делают камеры которые стримят не картинку а "движения" + "направление движения". Экий доплер / opticalflow считающийся на девайсе. Кажется, я видел аналогичные камеры ещё лет десять назад. Концепт в том что такие системы могут иметь куда меньшее latency чем реальные камеры + большую чувствительность.

Но вот то что такие камеры я видел десять лет назад но ни разу не использовал - дёрнул меня за язык спросить: "а какие задачи можно решить вашей камерой которые нельзя решить обычной?".
Продолжение дискуссии тут - https://telegra.ph/PROPHESEEEmbedded-World-2024-04-21 :)

А вы такое когда-то использовали? Есть мысли что я пропускаю? Зачем делать такой странный маркетинг не относящийся к реальности?

Milk-V Duo Review. Плата за 5 баксов с мощным процом для Computer Vision.
Ох. Меня просили долго это сделать. Ещё дольше я делал этот обзор. Кажется что весь ресерч я сделал ещё недели 3 назад, потом долго писал тестил перепроверял все. Из плюсов - это лучшее расследование за последнее время. Одна из тех китайских плат с которых выгорает пукан.
Будут ли её использовать? Не думаю. Но это намекает что Computer Vision уже пришёл на тот Edge где его не ждали ещё и год назад.
https://youtu.be/dkIVDOd_Fa4

Всем привет!
Какое-то время назад ребята из одной онлайн-школы попросили прочитать у них лекцию на тему NPU. Школу я считаю в целом норм, так как знаю лично много преподавателей оттуда (а Андрей, например даже интервью на канале давал). А видео на эту тему давно и так планировал снять. Так что согласился им прочитать лекцию, заодно это меня замотивировало сделать слайды на эту тему. У себя на канале выкладываю на английском, а русскоязычную версию ребята выложат у себя как смонтируют. Тогда на неё ссылку тут тоже дам.
В целом, попробовал рассказать общую логику про NPU on the Edge: что общего есть у разных платформ, чем они отличаются, что надо не забывать делать и где вас ждут проблемы.
https://youtu.be/mlXJ44XM9mo

За последнее время накопилось достаточно много опыта взаимодействия и разработки под Hailo-8. Решил записать видео и рассказать про него. Какие плюсы и минусы, чему можно доверять, чему нет. В целом, это одна из моих самых любимых платформ.
Все хорошо документировано, почти все работает из коробки, хорошая производительность. И прочее и прочее.
Но, конечно, есть подставы и засады. В этом видео попробовал рассказать про все и про то как пробовать их обходить.
https://youtu.be/n6ePp5-ceLg

Небольшая история забавная + инсайт про которого официального анонса не смог найти (Новый OAK похоже будет на базе Qualcomm).

Я думаю что половина подписчиков знает что такое камеры Luxonis (OAK-1, OAK-D, etc). Это неплохие стереокамеры с инференсом нейронок на борту. Они появились ещё году в 19ом. Это был один из первых производителей который захотел сделать удобную AI камеру. Проблема была только в одном. Они решили использовать Myriad X который уже в то время не был новым продуктом. Но оно зашло. Удобное для использования, хорошая поддержка, совместимость с OpenVino, итд.
Шли годы. MyriadX становился все позорнее и позорнее. У него был апдейт Movidius Keembay. Но в серьезных продуктах его никто не видел, да и он тоже 2019 года был, ещё и с деприоритезацией от Интела. Наконец Интел захотел догнать рынок и выпустить Thunder Bay. Вроде как даже разослал семплы партнёрам.
Иии... После того как партнёры вложились в разработку железа - отменил:) Кажется что на прошлом Embedded World я раза 3 матюки слышал на эту тему.

На дворе 2024 год, а OAKи все ещё используют MyriadX. Давно ходили слухи что они уже пробуют выпустить следующую плату. Даже на сайте появилась вот эта табличка. Мне недавно стало интересно - а на базе чего они пилят? Инфы нет нигде. Официально они тоже отказываются отвечать на эту тему. Но вдруг я догадался пробить по спекам (число TOPs на NPU). И это похоже QCM8550.

Если это так - то это будет первый массовый Edge продукт на Qualcomm с возможностью разработки который я знаю. Да, на квалкомах много интересного есть, я сам пару раз с ними работал. Но вот такого девайса чтобы "купить и потестить/применить в гараже" - разве что треш-платы по типу RB3.

Так что надеюсь на скорый анонс и возможность купить.