На Хабре не писал уже давным давно. Как-то сейчас получается что проще сделать видео или небольшую узкоспециализированную статью на медиуме. Но какую-то длинную и сложную мысль с большим числом отсылок однозначно надо публиковать на Хабре. Собственно некоторое суммирование о всех больших моделях про которые я говорил на своём канале с весны решил сделать - https://habr.com/ru/companies/recognitor/articles/786646/
В тексте обзор + немного мыслей о том куда это все идет. Сейчас явно не волна хайпа на тему "ресерчеры не нужны", но кажется что тема иногда витает в воздухе:)

Думал ещё записать видео, но пожалуй обойдусь без.
Диаграмма это лишь малая часть того что есть в Computer Vision. И конечно, не полная. Тут почти ничего нет про One-Shot, про роботов, про медицину (а там много специфики!). Многие ссылки из приведенных - из моих обзоров. Там где их не было - попробовал добавить хорошие статьи обзорные, которые знаю. Или ссылки на метрики. Так же условно разделение на "блоки".

Я попробовал сделать схему такой чтобы новичкам или мидлам было интересно почитать что они упускают. Если хотите скинуть ссылку на хорошую обзорную статью по темам, где ссылок мало - кидайте, попробую добавить:)

Полистать оригинал можно тут - https://miro.com/app/board/uXjVN3JBiS4=/?share_link_id=549100776746

Я уже вскользь упоминал про эту железку. Наконец добрался потестить LuckFox Pico Max Pro (RV1106).
Что ж. Это интересно. Нейроночки на МК становятся все удобнее и удобнее. Да, это не Питон. Но это уже "используй адеватный фреймворк для подготовки и экспорта, заинфери на плюсах". А это уже неплохо.
Есть странности с int8. Есть кривости с прошивкой. Но, в целом, при сохранении направления движения у РокЧипа через пару лет все должно стать сильно лучше. Так что получите, распишитесь:
https://www.youtube.com/watch?v=PdgeH8H5iN0

Мне кажется, что Шахизат становится моим главным поставщиком плат:)
Уже вторая схема появилась по схеме: "Антон, тебе точно надо затестить вот эту плату. Я уже договорился с производителями, сейчас они тебе её бесплатно вышлют":)
Короче, спасибо Шахизату и Seeed Studio!

А поговорим мы сегодня про Grove Vision Ai 2. Мне кажется, что плата забавная. Последний раз на Grove AI v1 я смотрел давным-давно, и осмысленности там было мало. Очень слабый вычислитель, сложно загружать сетки.

Но со временем экосистема решила часть этих проблем. И вторая версия уже не может рассматриваться вне контекста экосистемы.
Экосистема нацелена на умные дома. Есть связка с MQTT, есть готовый скрипт постинга по UART. И большая библиотека готовых сеток. Загрузка своих сеток тоже есть, но весьма ограниченная. И кажется, что для этой платы это и не нужно.
А вот решить задачу детекции котика перед дверью теперь можно сильно проще чем раньше.

Короче, видео - https://youtu.be/vZoFVr-3xLw

Сегодня думал доделать ещё одно видео выложить.
Но слишком грустно.
Если вдруг кого-то скрутят менты при попытке возложить цветы на памятники - напоминаю, есть ОВД-инфо, которое пробует вам помочь.
Если что, не стесняйтесь писать мне/сюда.

Вокруг все только и говорят о Yolo-World. Сетка хорошая, не спорю.
Но давайте посмотрим на то где и как она реально применима.
https://youtu.be/3N03SPeDwMA

Хочу сделать небольшую серию из видео где рассказать о проектах которые нам попадались. Первое видео в серии про забавные проекты. Самые смешные пока под NDA но собралась забавная подборочка.
https://youtu.be/8vjGkh8SN88

Небольшой квиз на сегодня. Вот подбородка плат для Computer Vision, которые у меня сейчас есть. Два вопроса на знание матчасти и два вопроса по делу:
1) Как много из них вы узнаете?
2) Каких обзоров на канале пока не было?:)

1) Какие бы платы мне ещё побенчмаркать?
2) Про какие из приведенных нужна вторая серия?:)

Я смотрю тут все ждут тестов двух новых плат?
Пока что не будет! И даже... Не будет куда более эпичного видео которое я готовлю последний месяц, но которое скоро выйдет...;)

Сегодня будет продолжение прошлого видео о том где используется Computer Vision. Я продолжу рассказывать о том где применяется Computer Vision. Но на этот раз я попробую рассказать про сложные системы которые помогал разрабатывать. Попробовал уложить каждый из них в ~1 минуту, чтобы дать общую картинку того что такое Computer Vision. Надеюсь это будет просто любопытно + поможет новичкам понять что им может быть интересно.

https://youtu.be/9t8eASTrIP0

Сегодня будет ЭПИК.
Видео продумывал/записывал последние месяца 3. Кажется, что это просто супер полезный референсный материал для выбора 3Д камеры. Можно посмотреть на картинку, сравнить и понять что нужно. Плюс, с учетом 10 лет опыта работы с разными 3Д камерами подсказываю куда смотреть чтобы не оплошать.
Не забывайте лайкать на ютубе, чтобы все кому это будет полезно увидели этот гайд!
https://youtu.be/JmZdSGtJHNw

Ох. Хорошая юморная история в которой слилась верификация данных, OpenAI и любимый КР:)
Мои давние подписчики знают что примерно год я жил в Бишкеке. С тех пор знаю много народа оттуда и с удовольствием читаю AI чатики в телеге. Пару дней назад в анонсах выступлений проскочило это.

Внимание! В Кыргызстан приехал Вице Президент компании OpenAI, создатель чата GPT - Арка Дхар!

Даже не знаю что смутило меня больше. "Создатель Chat-GPT" или "VP OpenAI" или то что я в первый раз встретил это имя/фамилию.
Но OpenAI VP успел встретиться даже с кабмином Кыргызстана:)
Пошёл гуглить. Это смутило ещё больше (1, 2). Человек уровня VP, который ни в одном личном профиле не удосужился поставить свою причастность к организации.
Начали разбираться. В инете действительно за 2023 год на разных эвентах и митапах он упоминается как сотрудник. Кроме VP Strategy and Product как ProductLead и Head Of Product. Хороший карьерный рост за год!:)

Сайты OpenAI куда более скромны. Но там есть как "Human data product manager". Его фотография есть на новости про открытие Лондонского офиса. Чуть чуть позже в соседнем чатике люди тоже поняли что что-то странное происходит и нарыли те же линки и стали заваривать бучу.

Пара первичных подтверждений что он не VP OpenAI уже есть. Тут ещё надо пошутить что по мнению причастных ChatGPT-4, ChatGPT-3 и Copilot VP он все же не является. На сайте OpenAI назначение всех VP освещается.
Но варианты типа "VP of Data" в Лондонском офисе пока остаются. Хотя на выступлении Арка чётко говорит VP of Data OpenAI. Ждём утра в SF пока все запрошенные поотвечают и прокомментируют ситуацию:)

Но история и мораль не к тому. Когда мы хотим от LLM модели какую-то достоверность в выдаваемой информации - зачастую мы не понимаем насколько это сложно даже для людей. Проверка информации - это поиск её по крупицам, и зачастую нетривиальные сопоставления. LLM может хорошо анализировать тексты, но контекст, анализ и проверка пока что остаются за гранью. А тем более "пойти подёргать знакомых".

Хорошая байка вышла:)

Поговорим о Gr00t.
Gr00t - это Foundation Model для роботов (с некоторыми пайплайнами тренировки). Предполагается что будет большой эмулятор на базе Isaac Lab через который можно будет тренировать роботов. “Прорыв”, “новый мир” и прочие замечательные слова от человека в кожаной куртке. Итак, мысли:
1) История говорит что у Nvidia чем сложнее программный продукт, тем меньше вероятность что им кто-то будет пользоваться. Самые массовые - CUDA и TensorRT, которые максимально простые. Deep Stream вызывает уже много вопросов. TAO и прочие попытки автоматизировать обучение вызывают скорее смех.
2) Многие знают про треш в который вырождается разработка на ROS. А тут мы имеем двадцать роботов. Скорее всего ROS-не совместимых и проприетарных. Это реально сложная архитектурная и технологическая задача.
3) Где-то я слышал шутку, что когда вы делаете генератор данных для тренировки, то вы умножаете команду на два. Кроме DS команды вам теперь нужна команда по созданию энвайромента, его настройке и.т.д. Что-то намекает что с Gr00t будет так же. Для больших компаний этот подход позволительный, но все компании размером до сотни человек будут старательно его избегать.
4) One Shot learning. Посмотрите видео ниже ⬇️ (сейчас загрузиться). Это наша текущая система едет из точки A в точку B. При этом, для обучения достаточно даже одного примера. One-Shot Learning развивается с огромной скоростью. Да, под Gr00t это и будет в каком-то смысле Fondation Model. Но если он будут достаточно хорош и универсален - зачем нужен симулятор, когда можно обучиться с несколькими реальными примерами?
5) Если мы посмотрим то что публичила Тесла - то можно увидеть что все же большая часть обучения построена вокруг реальных данных. Симуляция - это скорее про корнер кейсы. И машину вы без этих корнер кейсов не выпустите. Но надо ли тратить так много ресурсов для роботов, где ошибки допустимы?

А что думаете вы?:) У кого-то был опыт с большими симуляторами и роботами? Рассказывайте! Удавалось ли вам мейнтейнить их командой меньше чем была в ML?

Видео к тексту выше⬆️. Это то как сейчас у нас ездит робот. Достаточно раза два проехать по маршруту и он его запоминает. Идеи точно то же что мы использовали пару лет назад для задач Pick-and-Placment, но несколько оптимизированные и более продуманные. Наверное как-нибудь запишу видео и про это, но пока рано.

Всем привет!
Несколько обновлений про канал и вокруг (что бы не делать, только бы не выкладывать следующее видео про RK3566).
1) Я планирую посетить конференцию Embedded World в начале апреля. Там явно будет много девайсов интересных. На канале попробую на эту тему какое-то видео/пост собрать. Несколько вопросов:
а) Знаете ли вы что-нибудь что там обязательно надо посмотреть?
б) Будет ли там кто-то из подписчиков канала/хочет ли пересечься?
в) Хочет ли кто-то из тех кто там будет рассказать/показать свой проект под видео?

2) В последнее время про рекламу на канале пишут почти каждый день. Даже не смотря на то что в описании все расписано. Хотел бы напомнить правила про рекламу. В обычных форматах её тут не будет.
Что нужно чтобы реклама тут появилась? Нужно чтобы был контент из которого 90% было интересно и полезно. А в остатке можно донести свой месседж. Вот тут примеры таких форматов.

Так. Я сделалъ.
Видео про Radxa Zero 3W. В целом годиться для любых RK3566.
Если в паре слов:
1) Плата хороша по своему балансу "цена/скорость/потребление"
2) Плата неприятна так как это Radxa. Все что касается системы - сырое, глючное, бажное.
3) Плата внезапно медленнее чем 3568NPU. Хотя по документам должна быть одинаковыми.
https://youtu.be/e_BtAdS5M70

Сегодня уже во всех каналах появилась эта новость с криками "они делали фейк!1!!1!"🤦‍♂️. (Amazon Fresh, магазин без касс)

Советую от таких каналов отписываться сразу, если они про ML:)
Видео о том как такие магазины работают я делал ещё 2 года назад . Так что тем кому интересно подробности - прошу туда.

Если в двух словах:
1️⃣ Решение чисто с камер невозможно сделать с 100% точностью. Увеличением числа камер (в том числе с 3Д компонентой) можно улучшать точность до достаточно высокой. Так же можно улучшать точность за счет аккуратной выкладки. Но и то и то снижает экономическую эффективность магазина (дороже система, выше цена разработки, выше цена эксплуатации).
2️⃣ Решение можно сделать с почти 100% точностью, но тогда в каждую полку надо встраивать весы. Но это тоже повышает цену эксплуатации и обслуживания. Появляются ограничения на товары, и.т.д.
3️⃣ Как результат - большая часть компаний делает на камерах, но оставляют в системе человека. Несколько вариантов как их используют:
A) Проверять треки людей, верифицировать покупки. Почти все делают это на этапе внедрения.
B) Смотреть только те треки где пользователь нажал кнопку "не сошлось".
C) Проверять взаимодействия с товаром когда где-то что-то не сходиться, подозрительные треки.

Так же, надо всегда дообучать. Появляются новые товары, могут быть новые регионы мира где используют другую одежду, может меняться дизайн магазина, и.т.д. Меня смущает что они говорят про 1000 разметчиков. Но может быть у них там партайм.

Но главная проблема - это косты и продуктовая задача.
1) Вся это система нужна для уменьшения числа продавцов. Но скорее всего отказаться полностью от них будет нельзя, а цена покупки + цена поддержки будет больше цены продавца.
2) Вся эта система не может защитить от воров. Её достаточно просто можно обмануть. А если система не предназначена для защиты от воров - почему не поставить киоски самосканирования на выходе, либо "умные тележки"?

Как результат - почти все ушли в сторону киосков с защитой от обмана или умных тележек. Именно это сделал Амазон. Именно так ещё раньше сделал Х5, именно так сделали ещё куча компаний.
ML - это обычно не про создание чего-то нового, а про оптимизацию процессов.

Всем привет!
Я достаточно давно подписан на канал Евгения ( Нескучный Data Science ). Мне всегда любопытно смотреть как в разных компаниях выстраиваются DS отделы. А Евгений строит его в Альфе. В какой то момент разговорились и забились записать видео на тему того чем ML в банке отличается от ML вне банков (в первую очередь про стартапы). Получился, как мне кажется, интересный разговор
https://youtu.be/ooBvGEZIlzs

Пара мыслей🧠.
1️⃣) Вернулся с Embedded World. Очень интересно было. Кажется, что с компаниями 30-40 пообщался.Наверное, было ещё много с кем можно поговорить. Но даже так - немного подвыгорел:) Главный вывод - производители железа начали поворачиваться лицом к разработчикам. Много в каких компаниях появились специалисты по ML, которые внутри компании говорят как должно выглядеть взаимодействие. Приходишь и нормально говоришь с компанией про обучение, инференс, проблемы экспорта моделей, CI/CD, и.т.д.
Все эти вопросы ещё года 3 назад прятали под скатерть. Такие компании остались. Но 80% научились коммуницировать. Скоро на канале будет 4 коротких видео про конференцию, про самые интересные компании.

2️⃣) Сейчас сижу разбираю записи, и смотрю в фоне вот это видео Осетинской про стартапы после начала войны. Очень рекомендую. Сам думал про несколько маленьких частей оттуда рассказать, но настолько всеобъемлюще и полно не хватило бы сил. Там показано как в реальности сейчас выглядит бизнес и стартапы в последние два года. Рассмотрено очень много вещей про которых в сообществах разработчиков ходят сказки. "Я буду работать из РФ на иностранных заказчиков!" - нет, так не работает кроме очень редких исключений. "Кому я за рубежом нужен/кто мне платить будет" - тоже показано десятки вариантов как это все решается. Показаны основные проблемы, как складывается сообщество, как работает логика и люди. Да, не рассмотрено про сложности платежей в современном мире. Но остальное неплохо. Только учитывайте что у разных людей и разных компаний разные взгляды на мир. И все частично верны, истина посередине.

Как и обещал начинаю публиковать видео с конференции. И сегодня небольшое интервью с Axelera AI
https://youtu.be/90yxtp8NmXw

Сразу предупрежу что на выставках звук не супер. И хорошую аппаратуру не было сил тащить. Но как-то попробовал вытащить дополнительными микрофонами и постпроцессингом.

Несколько комментов от меня. Мне кажется что Axelera - это один из главных конкурентов Hailo на Edge. Основной минус - они пока что ещё не продают по полной. Только девборды. Но mix-precision выглядит чуть ли не киллерфичей.

Второе интервью с Sima.AI.
На мой взгляд это чуть более полное решение чем Axelera. Но по впечатлением и ценам это чуть дальше от Edge инференса. В любом случае рассказывают супер интересно и на вопросы отвечают очень хорошо. Там было сильно больше одного технического специалиста, потрепался со всеми:)
https://youtu.be/UpV6W9V7qMc

Погнали дальше.
STM32. Легендарные платы. Кажется я помню их ещё с института. Но ребята хотят двигаться и резко ускорились в AI. Причем сделали все по человечески. На NPU инферятся слои которые могут. Остальное автоматом улетает на GPU. На сайте STM бесплатно можно пробенчмаркать сетку на реальном железе (о боже я ждал этого много лет, даже пробовали такой стартап запустить).
Из минусов и пока непонятного:
1) Достаточно слабый NPU пока, достаточно слабый проц.
2) Не смотря на то что есть Python - пока не упоминается как-то основной дистрибутив Линукса. Но, если я правильно понимаю, STM имеет свою экосистему пакэджей.

Из забавного - она построена поверх VeriSilion. Но уверяют что переписали почти весь иняеренс с нуля. Посмотрим.

Короче очень интересная плата чтобы потестить самому.
https://youtu.be/kY3krMPSzO4