Всем привет!
Я достаточно давно подписан на канал Евгения ( Нескучный Data Science ). Мне всегда любопытно смотреть как в разных компаниях выстраиваются DS отделы. А Евгений строит его в Альфе. В какой то момент разговорились и забились записать видео на тему того чем ML в банке отличается от ML вне банков (в первую очередь про стартапы). Получился, как мне кажется, интересный разговор
https://youtu.be/ooBvGEZIlzs

Пара мыслей🧠.
1️⃣) Вернулся с Embedded World. Очень интересно было. Кажется, что с компаниями 30-40 пообщался.Наверное, было ещё много с кем можно поговорить. Но даже так - немного подвыгорел:) Главный вывод - производители железа начали поворачиваться лицом к разработчикам. Много в каких компаниях появились специалисты по ML, которые внутри компании говорят как должно выглядеть взаимодействие. Приходишь и нормально говоришь с компанией про обучение, инференс, проблемы экспорта моделей, CI/CD, и.т.д.
Все эти вопросы ещё года 3 назад прятали под скатерть. Такие компании остались. Но 80% научились коммуницировать. Скоро на канале будет 4 коротких видео про конференцию, про самые интересные компании.

2️⃣) Сейчас сижу разбираю записи, и смотрю в фоне вот это видео Осетинской про стартапы после начала войны. Очень рекомендую. Сам думал про несколько маленьких частей оттуда рассказать, но настолько всеобъемлюще и полно не хватило бы сил. Там показано как в реальности сейчас выглядит бизнес и стартапы в последние два года. Рассмотрено очень много вещей про которых в сообществах разработчиков ходят сказки. "Я буду работать из РФ на иностранных заказчиков!" - нет, так не работает кроме очень редких исключений. "Кому я за рубежом нужен/кто мне платить будет" - тоже показано десятки вариантов как это все решается. Показаны основные проблемы, как складывается сообщество, как работает логика и люди. Да, не рассмотрено про сложности платежей в современном мире. Но остальное неплохо. Только учитывайте что у разных людей и разных компаний разные взгляды на мир. И все частично верны, истина посередине.

Как и обещал начинаю публиковать видео с конференции. И сегодня небольшое интервью с Axelera AI
https://youtu.be/90yxtp8NmXw

Сразу предупрежу что на выставках звук не супер. И хорошую аппаратуру не было сил тащить. Но как-то попробовал вытащить дополнительными микрофонами и постпроцессингом.

Несколько комментов от меня. Мне кажется что Axelera - это один из главных конкурентов Hailo на Edge. Основной минус - они пока что ещё не продают по полной. Только девборды. Но mix-precision выглядит чуть ли не киллерфичей.

Второе интервью с Sima.AI.
На мой взгляд это чуть более полное решение чем Axelera. Но по впечатлением и ценам это чуть дальше от Edge инференса. В любом случае рассказывают супер интересно и на вопросы отвечают очень хорошо. Там было сильно больше одного технического специалиста, потрепался со всеми:)
https://youtu.be/UpV6W9V7qMc

Погнали дальше.
STM32. Легендарные платы. Кажется я помню их ещё с института. Но ребята хотят двигаться и резко ускорились в AI. Причем сделали все по человечески. На NPU инферятся слои которые могут. Остальное автоматом улетает на GPU. На сайте STM бесплатно можно пробенчмаркать сетку на реальном железе (о боже я ждал этого много лет, даже пробовали такой стартап запустить).
Из минусов и пока непонятного:
1) Достаточно слабый NPU пока, достаточно слабый проц.
2) Не смотря на то что есть Python - пока не упоминается как-то основной дистрибутив Линукса. Но, если я правильно понимаю, STM имеет свою экосистему пакэджей.

Из забавного - она построена поверх VeriSilion. Но уверяют что переписали почти весь иняеренс с нуля. Посмотрим.

Короче очень интересная плата чтобы потестить самому.
https://youtu.be/kY3krMPSzO4

И, завершающее большое видео из серии про Embedded World. Обзор на тему "как изменился рынок AI-бордов, какие тренды, какие платы появились, как изменились старые". В целом очень сильно в этом году меняется рынок. Есть очень много новых сильных бордов. Посмотрим, сможет ли кто-нибудь из них обойти Рокчип:)
https://youtu.be/zzOOUG3xjdw

Последний пост про Embedded World 2024.
Кроме производителей NPU на выставке я общался много с кем. Было несколько вендоров роботов, несколько вендоров 3D камер. И прочее и прочее. Но про одно общение я расскажу тут. Натолкнулся я на компанию PROPHESEE. Делают камеры которые стримят не картинку а "движения" + "направление движения". Экий доплер / opticalflow считающийся на девайсе. Кажется, я видел аналогичные камеры ещё лет десять назад. Концепт в том что такие системы могут иметь куда меньшее latency чем реальные камеры + большую чувствительность.

Но вот то что такие камеры я видел десять лет назад но ни разу не использовал - дёрнул меня за язык спросить: "а какие задачи можно решить вашей камерой которые нельзя решить обычной?".
Продолжение дискуссии тут - https://telegra.ph/PROPHESEEEmbedded-World-2024-04-21 :)

А вы такое когда-то использовали? Есть мысли что я пропускаю? Зачем делать такой странный маркетинг не относящийся к реальности?

Milk-V Duo Review. Плата за 5 баксов с мощным процом для Computer Vision.
Ох. Меня просили долго это сделать. Ещё дольше я делал этот обзор. Кажется что весь ресерч я сделал ещё недели 3 назад, потом долго писал тестил перепроверял все. Из плюсов - это лучшее расследование за последнее время. Одна из тех китайских плат с которых выгорает пукан.
Будут ли её использовать? Не думаю. Но это намекает что Computer Vision уже пришёл на тот Edge где его не ждали ещё и год назад.
https://youtu.be/dkIVDOd_Fa4

Всем привет!
Какое-то время назад ребята из одной онлайн-школы попросили прочитать у них лекцию на тему NPU. Школу я считаю в целом норм, так как знаю лично много преподавателей оттуда (а Андрей, например даже интервью на канале давал). А видео на эту тему давно и так планировал снять. Так что согласился им прочитать лекцию, заодно это меня замотивировало сделать слайды на эту тему. У себя на канале выкладываю на английском, а русскоязычную версию ребята выложат у себя как смонтируют. Тогда на неё ссылку тут тоже дам.
В целом, попробовал рассказать общую логику про NPU on the Edge: что общего есть у разных платформ, чем они отличаются, что надо не забывать делать и где вас ждут проблемы.
https://youtu.be/mlXJ44XM9mo

За последнее время накопилось достаточно много опыта взаимодействия и разработки под Hailo-8. Решил записать видео и рассказать про него. Какие плюсы и минусы, чему можно доверять, чему нет. В целом, это одна из моих самых любимых платформ.
Все хорошо документировано, почти все работает из коробки, хорошая производительность. И прочее и прочее.
Но, конечно, есть подставы и засады. В этом видео попробовал рассказать про все и про то как пробовать их обходить.
https://youtu.be/n6ePp5-ceLg

Небольшая история забавная + инсайт про которого официального анонса не смог найти (Новый OAK похоже будет на базе Qualcomm).

Я думаю что половина подписчиков знает что такое камеры Luxonis (OAK-1, OAK-D, etc). Это неплохие стереокамеры с инференсом нейронок на борту. Они появились ещё году в 19ом. Это был один из первых производителей который захотел сделать удобную AI камеру. Проблема была только в одном. Они решили использовать Myriad X который уже в то время не был новым продуктом. Но оно зашло. Удобное для использования, хорошая поддержка, совместимость с OpenVino, итд.
Шли годы. MyriadX становился все позорнее и позорнее. У него был апдейт Movidius Keembay. Но в серьезных продуктах его никто не видел, да и он тоже 2019 года был, ещё и с деприоритезацией от Интела. Наконец Интел захотел догнать рынок и выпустить Thunder Bay. Вроде как даже разослал семплы партнёрам.
Иии... После того как партнёры вложились в разработку железа - отменил:) Кажется что на прошлом Embedded World я раза 3 матюки слышал на эту тему.

На дворе 2024 год, а OAKи все ещё используют MyriadX. Давно ходили слухи что они уже пробуют выпустить следующую плату. Даже на сайте появилась вот эта табличка. Мне недавно стало интересно - а на базе чего они пилят? Инфы нет нигде. Официально они тоже отказываются отвечать на эту тему. Но вдруг я догадался пробить по спекам (число TOPs на NPU). И это похоже QCM8550.

Если это так - то это будет первый массовый Edge продукт на Qualcomm с возможностью разработки который я знаю. Да, на квалкомах много интересного есть, я сам пару раз с ними работал. Но вот такого девайса чтобы "купить и потестить/применить в гараже" - разве что треш-платы по типу RB3.

Так что надеюсь на скорый анонс и возможность купить.

Последние два года я участвую в жюри ТехноТекста Хабра. Немножко мыслей по поводу этого года, так как пару дней назад закончил оценку шорт листа.
1) Статей стало реально дофига (20 vs 50). Хороших много, не меньше чем в прошлом году.
2) Кажется, что статей уровня "вот круто, прямо вообще" не стало. В прошлом их было две, если я правильно помню (и ни одна из моего топа в прошлом году не заняла первое место).
3) Кажется, что сильно больше статей стало от больших компаний. Особенно хороших. Число статей от индивидуальных людей - уменьшилось. От компаний более 20 статей. От одного Яндекса - 9.
4) Побыть в жюри - хороший рекап на тему "что я пропустил в этом году на Хабре":)


Пара заметок относительно конкурса и организации.
1) Была непонятная разбивка на Junior/Senior/Middle. Кто-то подумал что это про читателей а не про уровень автора. В результате в джуны записался автор Seeall, парочка CTO и прочее-прочее:) Не знаю как будут организаторы расхлебывать, скорее всего просто отменят разбивку.
2) В этом году крупные компании спонсировали конкурс и массово участвовали в нём своими статьями. В результате в шорт лист попало много статей по уровню "пресс-релизов", что смешно:)

А вы читаете ещё хабр? Пишите? Как он вам в 2024?
Я стараюсь 1-2 статьи в год там выложить, но что-то прошлого драйва это уже не вызывает. Зато вот участвовать в жюри - интересно:)

Не смог удержаться!
YOLOv10, этож прямо юбилей!! 🎉🎉🎉
https://youtu.be/HKbJFykrynM

А вы?:)
________________________________
🔥 - СNN остались
❤️ - Трансформеры только!
😱 - XGBoost, зачем CNN?!
💩 - О чем это?!
________________________________

Вообще, как мне кажется, это возможно в сегодняшнем мире. Но:
1) У вас должны быть подходящие вычислители (которые быстро молотят трансформеры и позволяют просто экспортнуть на них сетки).
2) У вас должны быть хорошие мощности для обучения.
3) Большие (очень большие) датасеты. В первую очередь для претрейна, но неплохо и для целевых задач.
4) Достаточно много людей которые могут все это настроить.

Очевидно, что у Тэслы это есть. И очевидно что для 90% задач это не надо.

P.S. - в комментах ссылка на оригинальный пост, это из срача Маска и ЛеКуна
P.S.S. - Если я правильно помню прошлый опрос в канале, то в проде трансформеры для детекции были всего у десятка процентов компаний.

На прошедшем Embedded World мне перепал бесплатный MAX780000. Это достаточно интересная плата от Analog Devices. Там есть нативная поддержка PyTorch, низкое энергопотребление, нормальная документация. На практике, как мне кажется, плата очень специфичная и почти бесполезная в Computer Vision.
Наверное, она имеет смысл для аналитики какого-то звука, или внетренних параметров систем. Но. Зачем брать эту плату которая дороже RV1106? Энергопотребление? Малый процент задач.
Но посмотреть интересно!
https://youtu.be/0gUnF3mSXCc

Мне понравились сегодняшние новости про RPi Hailo AI kit. По сути Hailo, как я и говорил пару месяцев назад, де-факто стало третьей платформой после Nvidia и Intel для инференса нейронок. Самое интересное в этом релизе - Hailo открывает свободную регистрацию чтобы получать документацию и форум где можно обмениваться опытом. Кажется что такая тесная интеграция с комьюнити - это очень важный шаг которого я ждал последние полтора года от них. Плата не может стать массовой пока нет сообщества и точек обмена информацией. И в этом плане официальная интеграция с RPi - лучшее что могло случиться. Теперь RPi рекомендует использовать именно Hailo!
Хотел напомнить что у меня есть несколько видео про Hailo на канале:
1) Недавнее видео с множеством трюков как надо использовать Hailo.
2) Видео конца 22 года где я рассказываю базовые идеи работы с Hailo и сравниваю с другими платформами

Всем привет! Как и обещал, версия лекции на русском.
Рассказ о том зачем запускать модели на NPU-шках, какие NPU-шки есть и какие общие проблемы и лайфхаки присутствуют.
https://www.youtube.com/watch?v=mjHn3qzQ738

Кстати, про эту лекцию. Ребята запарились и по ней сделали домашнее задание на реальных бордах рокчиповских. Все пошло хорошо, не считая наводнения в промежутке, после которого пришлось менять часть сетапа.

На фото три платы залитые водой сквозь закрытое окно:)

И снова всем привет!
Недавно в LinkedIn перезалил своё видео про сравнение YOLOv(N) c YOLOv(N+1). Оно собрало 100к просмотров. Я понимаю, что там треть смотрящих и комментирующих сарказма не выкупило. Но забавно.
Решил написать на этот повод подробный гайд. А нужно ли вообще пихать в прод N+1 версию модели когда у вас крутиться в проде N. Вопрос не столь однозначный, так что попробовал расписать все возможные варианты. Так что ловите статью.
Скорее всего я на хабр версию тоже сделаю, но пока только такая:)
То самое видео в линкедине.