Немного научпопа. У меня уже было видео где я рассказывал о том как работает распознавание лиц и как его обмануть. Видео стало самым популярным у меня на канале. И в моменты принятия очередных законов явно видны пики просмотров. Одним из доминирующих вопросов в том видео было "но ведь камеры умеют распознавать не только лица!". Собственно это видео - дополнение к прошлому/ответ на вопрос "а чем ещё камеры могут повредить обычному человеку".
Но сразу предупрежу, что видео именно ближе к научпопу, глубоко в алгоритмы не залезаю.
https://www.youtube.com/watch?v=rRQAAMQanfs

И ещё немного научпопа (ничего, новая плата с RK уже пришла, думаю сделаю небольшое видео скоро).
Одна из вещей которая меня бесит в военной аналитике последние два года - абсолютное большинство экспертов временами начинают нести дичь про дроны. Особенно, когда дело касается Computer Vison и AI. Даже мои любимые Conflict Intelligence Team.
Да, я принципиально не занимаюсь дронами последние два года. И не сказать что до того был какой-то большой опыт. Но принципы CV везде остаются общие. Так что в своих размышлениях уверен на 99%.
В статье попробовал собрать мысли на тему того что дроны могут/что не могут/и что судя по всему смогут в ближайшее время.
https://medium.com/@zlodeibaal/drones-at-war-and-computer-vision-a16b8063be7b

Недавно захотел потратить немного времени чтобы таки разобраться с тем как в RK3588 устроен инференс на разных NPU ядрах. Как-раз пришла новая плата. Но внезапно оказалось что RockChip выкатил новую версию фреймворка. И он сильно отличается от того что было. Так что решил сначала записать видео с апдейтом что поменялось.
Надо признать что платформа становится все более и более человеческая. Более адекватные примеры, все больше и больше вещей работает из коробки, адекватная документация. Глядишь так через годик догонят и Hailo и Google TPU по адекватности поддержки.
В видео небольшой осмотр нововведений + рассказываю как скорректировались мои прошлые гайды.
Следующее видео о том как вытащить максимальную производительность из RK3588 уже на 50% готово, думаю до конца недели выложу.

https://youtu.be/VjmnH910fac

И немного вдогонку. Про Friendly Elk NanoPC-t6. Вдруг кому интересно.
Сначала думал сделать обзор на него в видео небольшой, но потом подумал "а нафига?". Есть видюшка где подробно конструктив показан. А все остальное будет идентично для других RK3588 плат. Так что просто напишу несколько мыслей сюда.

Когда я выбирал себе борду с RK3588 (RK3588s почти идентичен), то выбирал из десятка вариантов. Есть Radxa RockPi 5b, Orange Pi 5, Khadas Edge2, FireFly и куча других вендоров. Плата нужна в одном проекте + хотел потестить сам.

Когда выбирал, то понимал что не хочу Radxa - так как с RockPi 3А большие проблемы с прошивкой под NPU были. А NanoPC-t6 я в начале осени уже по SSH тестил и проблем не видел. При этом по цене он неплох. За 100$ как на официальном сайте я его не смог купить, но за ~140-160 без проблем можно взять с доставкой через неделю. Это лучше чем 2/3 конкурентов. Единственный конкурент чуть дешевле - OrangePi5. Но там почему-то адекватного CSI нет. Плюс кто-то жаловался на прошивки.

Коробочкой я скорее доволен:
1) Хорошая сборка. Ничего не дрожит, много портов и коннекторов.
2) Есть ощущение что от пыли неплохо защищено.
2) Система предустановлена, особых проблем в ней нет. Образов есть много но не экспериментировал с ними. Очень много установлено из коробки.

Из минусов:
1) На процессоре полностью нагруженном можно увести в троттлинг (минут за 15). Все же теплоотвод без вентилятора не справляется. Думаю что если грузить CPU+NPU+видео - быстро перегреется.
2) По умолчанию в RK3588 нет wifi. Надо использовать один из m.2 слотов.
3) Свой разъем питания. Странно что не type-c.

Как и обещал - небольшая видюшка про оптимизацию скорости RockChip. В инете есть много упоминаний на эту тему. Но только не в официальной документации.
Быстрее всего инференс работает если распараллелить его по разным NPU и считать все одновременно. Это, конечно, убивает latency, но зато хороший перформанс. Так же попробовал несколько других способов с которыми никто не сравнивал:
1) Запуск сразу на всех NPU
2) Запуск батчами
Любопытно, что это приводит к ухудшению скорости даже по сравнению с батчем 1 в один поток. Подробнее рассматриваю все варианты в видео:
https://youtu.be/mDRfXNuIMBE

Я тут ничего не показываю ещё с квантизацией и оптимизацией через неё. Кажется что это будет когда-то отдельная серия видео.

Всем привет!
С наступающим Новым Годом!

Недавно канал набрал 4к подписчиков (YouTube канал взял эту цифру месяц назад). Большое спасибо что смотрите и читаете:)

Новый Год близиться. Так что подведу некоторые мысли о том куда канал развивается, куда движется, что за год нового понял, и какая текущая статистика.
А так же отвечу на самый популярный вопрос:)

https://telegra.ph/Zametki-Computer-Vision-inzhenera-20232024-12-30

Всем привет!
Небольшое видео про RPi5. Рассказал о том какой фреймворк лучше, как экспортнуть на него сеточку. Ну и почему RPi хорошо, а почему плохо для Computer Vision.
Ну и забенчмаркал, конечно.
https://youtu.be/vZGecjoUiAI

Признаюсь, у меня немного пригорело:)
На одном из популярных каналов про Computer Vision вышло видео с примером того как не надо делать распознавание скорости. Под соусом правильной системы. При этом я бы понял, если бы автор говорил что это наглядный пример для начинающих, но реальность будет другой. Для этих целей видео более чем годиться.
Но нет, в видео автор говорит что так и надо делать. Такие гайды, если становятся популярными - на годы вперед начинают генерить системы с неправильным дизайном. Я видел много такого для трекинга, подсчета людей, и.т.д.
Так что решил по-быстрому сделать видео-ответ где показал почему приведенный подход не очень, и в какую сторону надо смотреть. А тем кто смотрит/читает меня давно, напомню что у меня есть видео на русском где я разбираю тему как решать задачу подробнее.
https://youtu.be/bjljUgpLloM

На Хабре не писал уже давным давно. Как-то сейчас получается что проще сделать видео или небольшую узкоспециализированную статью на медиуме. Но какую-то длинную и сложную мысль с большим числом отсылок однозначно надо публиковать на Хабре. Собственно некоторое суммирование о всех больших моделях про которые я говорил на своём канале с весны решил сделать - https://habr.com/ru/companies/recognitor/articles/786646/
В тексте обзор + немного мыслей о том куда это все идет. Сейчас явно не волна хайпа на тему "ресерчеры не нужны", но кажется что тема иногда витает в воздухе:)

Думал ещё записать видео, но пожалуй обойдусь без.
Диаграмма это лишь малая часть того что есть в Computer Vision. И конечно, не полная. Тут почти ничего нет про One-Shot, про роботов, про медицину (а там много специфики!). Многие ссылки из приведенных - из моих обзоров. Там где их не было - попробовал добавить хорошие статьи обзорные, которые знаю. Или ссылки на метрики. Так же условно разделение на "блоки".

Я попробовал сделать схему такой чтобы новичкам или мидлам было интересно почитать что они упускают. Если хотите скинуть ссылку на хорошую обзорную статью по темам, где ссылок мало - кидайте, попробую добавить:)

Полистать оригинал можно тут - https://miro.com/app/board/uXjVN3JBiS4=/?share_link_id=549100776746

Я уже вскользь упоминал про эту железку. Наконец добрался потестить LuckFox Pico Max Pro (RV1106).
Что ж. Это интересно. Нейроночки на МК становятся все удобнее и удобнее. Да, это не Питон. Но это уже "используй адеватный фреймворк для подготовки и экспорта, заинфери на плюсах". А это уже неплохо.
Есть странности с int8. Есть кривости с прошивкой. Но, в целом, при сохранении направления движения у РокЧипа через пару лет все должно стать сильно лучше. Так что получите, распишитесь:
https://www.youtube.com/watch?v=PdgeH8H5iN0

Мне кажется, что Шахизат становится моим главным поставщиком плат:)
Уже вторая схема появилась по схеме: "Антон, тебе точно надо затестить вот эту плату. Я уже договорился с производителями, сейчас они тебе её бесплатно вышлют":)
Короче, спасибо Шахизату и Seeed Studio!

А поговорим мы сегодня про Grove Vision Ai 2. Мне кажется, что плата забавная. Последний раз на Grove AI v1 я смотрел давным-давно, и осмысленности там было мало. Очень слабый вычислитель, сложно загружать сетки.

Но со временем экосистема решила часть этих проблем. И вторая версия уже не может рассматриваться вне контекста экосистемы.
Экосистема нацелена на умные дома. Есть связка с MQTT, есть готовый скрипт постинга по UART. И большая библиотека готовых сеток. Загрузка своих сеток тоже есть, но весьма ограниченная. И кажется, что для этой платы это и не нужно.
А вот решить задачу детекции котика перед дверью теперь можно сильно проще чем раньше.

Короче, видео - https://youtu.be/vZoFVr-3xLw

Сегодня думал доделать ещё одно видео выложить.
Но слишком грустно.
Если вдруг кого-то скрутят менты при попытке возложить цветы на памятники - напоминаю, есть ОВД-инфо, которое пробует вам помочь.
Если что, не стесняйтесь писать мне/сюда.

Вокруг все только и говорят о Yolo-World. Сетка хорошая, не спорю.
Но давайте посмотрим на то где и как она реально применима.
https://youtu.be/3N03SPeDwMA

Хочу сделать небольшую серию из видео где рассказать о проектах которые нам попадались. Первое видео в серии про забавные проекты. Самые смешные пока под NDA но собралась забавная подборочка.
https://youtu.be/8vjGkh8SN88

Небольшой квиз на сегодня. Вот подбородка плат для Computer Vision, которые у меня сейчас есть. Два вопроса на знание матчасти и два вопроса по делу:
1) Как много из них вы узнаете?
2) Каких обзоров на канале пока не было?:)

1) Какие бы платы мне ещё побенчмаркать?
2) Про какие из приведенных нужна вторая серия?:)

Я смотрю тут все ждут тестов двух новых плат?
Пока что не будет! И даже... Не будет куда более эпичного видео которое я готовлю последний месяц, но которое скоро выйдет...;)

Сегодня будет продолжение прошлого видео о том где используется Computer Vision. Я продолжу рассказывать о том где применяется Computer Vision. Но на этот раз я попробую рассказать про сложные системы которые помогал разрабатывать. Попробовал уложить каждый из них в ~1 минуту, чтобы дать общую картинку того что такое Computer Vision. Надеюсь это будет просто любопытно + поможет новичкам понять что им может быть интересно.

https://youtu.be/9t8eASTrIP0

Сегодня будет ЭПИК.
Видео продумывал/записывал последние месяца 3. Кажется, что это просто супер полезный референсный материал для выбора 3Д камеры. Можно посмотреть на картинку, сравнить и понять что нужно. Плюс, с учетом 10 лет опыта работы с разными 3Д камерами подсказываю куда смотреть чтобы не оплошать.
Не забывайте лайкать на ютубе, чтобы все кому это будет полезно увидели этот гайд!
https://youtu.be/JmZdSGtJHNw

Ох. Хорошая юморная история в которой слилась верификация данных, OpenAI и любимый КР:)
Мои давние подписчики знают что примерно год я жил в Бишкеке. С тех пор знаю много народа оттуда и с удовольствием читаю AI чатики в телеге. Пару дней назад в анонсах выступлений проскочило это.

Внимание! В Кыргызстан приехал Вице Президент компании OpenAI, создатель чата GPT - Арка Дхар!

Даже не знаю что смутило меня больше. "Создатель Chat-GPT" или "VP OpenAI" или то что я в первый раз встретил это имя/фамилию.
Но OpenAI VP успел встретиться даже с кабмином Кыргызстана:)
Пошёл гуглить. Это смутило ещё больше (1, 2). Человек уровня VP, который ни в одном личном профиле не удосужился поставить свою причастность к организации.
Начали разбираться. В инете действительно за 2023 год на разных эвентах и митапах он упоминается как сотрудник. Кроме VP Strategy and Product как ProductLead и Head Of Product. Хороший карьерный рост за год!:)

Сайты OpenAI куда более скромны. Но там есть как "Human data product manager". Его фотография есть на новости про открытие Лондонского офиса. Чуть чуть позже в соседнем чатике люди тоже поняли что что-то странное происходит и нарыли те же линки и стали заваривать бучу.

Пара первичных подтверждений что он не VP OpenAI уже есть. Тут ещё надо пошутить что по мнению причастных ChatGPT-4, ChatGPT-3 и Copilot VP он все же не является. На сайте OpenAI назначение всех VP освещается.
Но варианты типа "VP of Data" в Лондонском офисе пока остаются. Хотя на выступлении Арка чётко говорит VP of Data OpenAI. Ждём утра в SF пока все запрошенные поотвечают и прокомментируют ситуацию:)

Но история и мораль не к тому. Когда мы хотим от LLM модели какую-то достоверность в выдаваемой информации - зачастую мы не понимаем насколько это сложно даже для людей. Проверка информации - это поиск её по крупицам, и зачастую нетривиальные сопоставления. LLM может хорошо анализировать тексты, но контекст, анализ и проверка пока что остаются за гранью. А тем более "пойти подёргать знакомых".

Хорошая байка вышла:)

Поговорим о Gr00t.
Gr00t - это Foundation Model для роботов (с некоторыми пайплайнами тренировки). Предполагается что будет большой эмулятор на базе Isaac Lab через который можно будет тренировать роботов. “Прорыв”, “новый мир” и прочие замечательные слова от человека в кожаной куртке. Итак, мысли:
1) История говорит что у Nvidia чем сложнее программный продукт, тем меньше вероятность что им кто-то будет пользоваться. Самые массовые - CUDA и TensorRT, которые максимально простые. Deep Stream вызывает уже много вопросов. TAO и прочие попытки автоматизировать обучение вызывают скорее смех.
2) Многие знают про треш в который вырождается разработка на ROS. А тут мы имеем двадцать роботов. Скорее всего ROS-не совместимых и проприетарных. Это реально сложная архитектурная и технологическая задача.
3) Где-то я слышал шутку, что когда вы делаете генератор данных для тренировки, то вы умножаете команду на два. Кроме DS команды вам теперь нужна команда по созданию энвайромента, его настройке и.т.д. Что-то намекает что с Gr00t будет так же. Для больших компаний этот подход позволительный, но все компании размером до сотни человек будут старательно его избегать.
4) One Shot learning. Посмотрите видео ниже ⬇️ (сейчас загрузиться). Это наша текущая система едет из точки A в точку B. При этом, для обучения достаточно даже одного примера. One-Shot Learning развивается с огромной скоростью. Да, под Gr00t это и будет в каком-то смысле Fondation Model. Но если он будут достаточно хорош и универсален - зачем нужен симулятор, когда можно обучиться с несколькими реальными примерами?
5) Если мы посмотрим то что публичила Тесла - то можно увидеть что все же большая часть обучения построена вокруг реальных данных. Симуляция - это скорее про корнер кейсы. И машину вы без этих корнер кейсов не выпустите. Но надо ли тратить так много ресурсов для роботов, где ошибки допустимы?

А что думаете вы?:) У кого-то был опыт с большими симуляторами и роботами? Рассказывайте! Удавалось ли вам мейнтейнить их командой меньше чем была в ML?

Видео к тексту выше⬆️. Это то как сейчас у нас ездит робот. Достаточно раза два проехать по маршруту и он его запоминает. Идеи точно то же что мы использовали пару лет назад для задач Pick-and-Placment, но несколько оптимизированные и более продуманные. Наверное как-нибудь запишу видео и про это, но пока рано.