Так. Что-то число интересных моделей в которые надо потыкаться становиться чудовищным. На этот раз miniGPT-4. Лингвистическая модель поверх изображений. Если честно, то я ожидал большего. Неплохо, но никакой магии нет. Все же она больше не про детекционную часть, а про поиск связей частей изображения друг с другом.
https://youtu.be/OCGBSPmMXes

Есть ощущение что на небе только и разговоров как про one-shot сети.
С кем не поговоришь, вот тебе: "SAM", "CLIP", "GroundingDINO", итд. И, что печалит, не все понимают где там ограничения. А бывает наоборот, люди разочаровываются и говорят "не работает". Именно для этого я решил сделать обзор проблем one-shot подходов. Когда будет работать, а когда лучше повременить. Статья. Видео.

Мы уже разговаривали с Ромой года полтора назад. С тех пор многое поменялось. И в первую очередь - появились SAM и ChatGPT. Как они изменили разметку. Куда все движется. Как размечать сегодня.
Кстати! Рома в этом году админ потока в DataFest'е ( Data Collection & Labelling ). Датафест начинается завтра, а про поток - хз. Ну, и не забывайте подписываться на Ромин канал - @toloka. Про разметку там много прикольного.
https://youtu.be/VtM10keYsl0

Есть одна тема, на которую я поглядываю из-за забора последние лет 7-8. Это Reinforcement Learning. Вроде интересно, но не понятно как работает и что там есть. Пробуешь что-то запустить и не понимаешь зачем. Пару месяцев назад я подписался на интересный канал Knowledge Accumulator про RL. Местами проперся, но общей картины не сложилось. Так что попросил Александра (автора канала) дать небольшое интервью и рассказать про современный RL в целом. Где RL применим, какие успехи, что крутого происходит и где ждать проблемы. Надеюсь вам тоже зайдет.
https://youtu.be/dhqh3mJ0-0M

Немножко шутеек вам в ленту. Пару недель назад хотели получить от ChatGPT пару функций математических. Достаточно простых: вычисление MEL-спектра и какие-то нормализации картинок. В итоге больше времени потратили на отладку этого кода. Это вывело меня на размышления: "А вообще умеет ли ChatGPT писать математику?", "Насколько сложную?", "Как глубоки будут ошибки?". Как вы понимаете, эксперимент - царь доказательств. Так что вот видео о том почему нельзя верить в математику которую написала какая-то LLM-ка.
https://youtu.be/FbWeieVXjHs
И вот тут в формате текста - https://medium.com/@zlodeibaal/dont-believe-in-llm-math-b11fc5f12f75 (не забывайте ваши хлопочки)

Записал видео ещё пару недель назад, никак не доходили руки опубликовать. К тому же, сразу после записи появились пару проектов которые явно бьют статью по части бенчмарков (например audiocraft).
https://youtu.be/Go3_JIMSV14
С другой стороны, тут весьма интересная ботва, которая иллюстрирует куда все движется. Это ещё неплохо коррелирует с статьей про которую Арcений рассказывал у себя недели три назад.

Давайте поговорим о фейках!
Это видео я вижу в линкедине уже неделю а то и больше. Дня три назад мне его присылала толпа народу со словами "смотри как умеют". И вот сегодня его начали репостить разные ML-каналы с разным текстом. Почему у людей отсутствует критическое мышление?
Я не уверен на 100% что это фейк. Лишь на 90%. Процентов 40 что полностью зафейканы id людей, и число кружек. Ещё 50% что id-шники и кружки очень сильно подогнаны руками, например путем тренировки в тот же день/вырезкой руками момента где все более-менее.
Продолжение и картинки в коментах.

О, выпустили подкаст со мной!

Сразу скажу, никаких откровений по ML не ждите, все вопросы скорее достаточно общие были на тему "а что это такое" и "где оно вообще нужно". Ну и вокруг. О том как статистика в реальном мире применима.
Кажется, что прикольно поболтали :
https://www.youtube.com/watch?v=8VZeTTmxlgM
Да ещё и звук классно поставленный и камера с красивым боке:)

https://youtu.be/8-m4uVPLh-Q

Ещё месяца три назад Арсений (с ним тут уже было два видео) скинул мне свою книжку с предложением покритиковать и опубликовать. Но мне показалось что:
1) В целом каких-то явных ошибок чтобы критиковать нет. А остальное - то точки для разговоров а не для критики.
2) Писать критику без возможности ответить - как-то скучно.
3) Хорошая критика будет требовать очень много времени на написание. Иначе будет обрывочной.

Так что решил записать интервью с Арсением и Валерой (его на моем канале ещё не было). Поговорили не столько даже про книгу, как про то как правильно проектировать систему: нужно ли ставить во главу угла дизайн системы, данные или можно просто все скопировать.

На своем канале я стараюсь записывать достаточно тематические видео / писать тематические статьи. Про какие-то интересные мне штуки, про железки, про новые публикации, про то что я узнал нового, и.т.д. Я бы сказал что 90% контента тут требует немного вкуривать в Computer Vision чтобы читать. Но, понятно, что часто меня спрашивают куда более простые вопросы. "Как устроен рынок труда в Computer Vision", "Что надо знать для этого", "С чего начинать", и.т.д.
Обычно я стараюсь избегать таких видео, так как это бесконечная яма, и их обилие на канале будет лишь распугивать специалистов.
Но иногда вопросов накапливается критическое количество, и я понимаю, что все же надо выпустить очередное видео в эту тематику. В последнее время все больше и больше было вопросов о том как сейчас меняется рынок, что из себя он представляет, и что собственно Computer Vision из себя представляет в 2023.
Естественное, все увиденное - субъективно и с моей колокольни. Думаю что будет много комментариев о том что все не так :)
Думаю что многие слушатели с интересом почитают другие взгляды тоже.
https://youtu.be/A3HdPnw8wN4

Несколько постов назад я собирал статистику по сеткам детекции для доклада на конференции. На конфу я не доехал, так как заболел. Но видео наконец записал:
https://youtu.be/Eb2mz0rv7J0
В целом это соответствует той телеге которую я проговариваю всем раз за разом уже года 3 как:
1) Выбор сети практически не имеет смысла. Очень мало задач где нужны именно доли процентов.
2) В первую очередь вам нужно оптимизировать задачу, данные и работу с данными
3) Во вторую очередь - оптимизируйте скорость инференса. И, если что, берите более жирную сеть на сэкономленное.
4) Смотрите на лицензии
5) Смотрите на претрейны

И ещё небольшой эксперимент. Попробовал сделать небольшой транскрипт этого видео в качестве статьи на LI.

Вчера был выпущен RPi 5.
Мне уже раз пять написали и спросили моё мнение. Так что кажется, что лучше описать свои мысли тут. Как его вижу я со стороны Computer Vision.

Что плохо:
1) Нет NPU. Это очень грустно. Большинство прямых конкурентов сейчас имеют NPU: Banana Pi, Rock Pi, Orange PI, Khadas, FireFly, итд. NPU не обязательно позволяет вычислять быстрее чем на процессоре. Но позволяет разгрузить процессор и не перегревать его. Например RPi 4 должен иметь очень хорошее охлаждение чтобы не троттлить при постоянном вычислении.
2) Не самый мощный процессор. Это пока эмпирические оценки. RPi4 где-то в 3-4 раза слабее RK3588S. При этом, про RPi5 пишут что он в 2-3 раза производительнее RPi4. Кажется, что никакого выигрыша с уже существующими конкурентами не будет.
3) Самая большая беда. PCIe. Пока не совсем понятно как будет выглядеть Compute Module. Но на текущей плате пользователю доступна одна линия PCIe 2.0. Это ровно то что было на RPi4 Compute Module. И это в 8 раз меньше пропускной способности PCIe 3.0 x4 (в 16 раз меньше PCIe4.0x4), который использует большинство современных ускорителей (Hailo, sima.ai, axelera.ai, etc). Один из важных вопросов - будет ли работать Google Coral. На прошлом RPi его так и не смогли завести.
4) Невнятная GPU. Судя по тому что остался тот же самый производитель, то для доступа к GPU придется проходить тот же квест - https://qengineering.eu/install-vulkan-on-raspberry-pi.html Хотя пишут что чуть лучше (https://www.phoronix.com/review/raspberry-pi-5-graphics). Но главное - он не будет и близко к процессору по скорости для нейронок. Старый GPU был в 3-4 раза слабее старого проца.

Что хорошо
1) Он все же быстрее.
2) PCIe из коробки. Упрощение прошлой логики. И вообще виден акцент на PCIe. Если появится много новых плат и ускорителей - это будет хорошо.
3) Судя по всему цена. Посмотрим как будет на практике. Но сейчас везде 60-80 USD. Это дешевле чем упомянутые рокчипы и другие альтернативы.
4) Это PRi - а значит огромное комьюнити и поддержка.

Что пока не понятно.
1) Реальная производительность нейросетей. К сожалению, без бенчмарков пока ничего сказать нельзя. Это не только вопрос числа ядер и частоты. Это ещё и вопрос того какие аппаратные ускорители есть (NEON итд.)
2) Необходимое охлаждение. Выросло ли оно пропорционально. Справляется ли вентилятор из коробки?

Я достаточно подробно слежу за современными предтрейненными сетками. DINOv2, вариации CLIP, и.т.д. Очевидно, что потенциал огромен. Очевидно, что за этим будущее. Есть задачи где мы уже интегрировали такие подходы и получили новый эффект. Но сейчас вопрос не про то. А про хайп вокруг (картинки из GPT-4).
Кажется что за последнюю неделю мне уже человек пять присылали разные картинки с описаниями. В целом, никакой разницы с тем что я писал весной нет. Качество улучшилось, но проблемы остались.
А вот медицинские картинки, как человек некомпетентный в медицине - переслал жене. И её бомбануло:
https://t.me/no_one_day_with/2097

Год назад я уже делал несколько видео про RockChip.
Кажется, что за этот год он стал сильно популярнее. И один из стандартных вопросов "как запустить YOLO". Мне его задавало человек 10. Русские, индусы, американцы, и.т.д. И мой совет "сделайте ровно как в документации" более половины не смогли ослить:)
Забавно, но из китайской документации это действительно сложно понять. Плюс надо немного понимать как работают сети и что надо доделать. Так что решил выпустить видео-гайд как все засетапить.
https://youtu.be/pN8mKZ5wpdQ

Давно хотел сделать некоторое общее видео о том как в последний год pre-train сеточки изменяют ландшафт CV. Кажется, что уже в 3-4 проектах использовали что-то из того что в этот год появилось. А тот же CLIP уже давно есть.
Это видео - достаточно общий верхнеуровневый обзор на тему с какой стороны можно заходить в претрейны, какие плюшки и бенефиты будут. Но понятно, что про каждую из сетей можно очень далеко и глубоко копать. Собственно вопросы: а вообще видео на эту тему интересны? Если да - есть 3-4 идеи о том как развить тему.
https://youtu.be/r47xyaPUrcY

Как и обещал - небольшое продолжение. О том как на практике можно использовать Dinov2 и CLIP (ну, либо любую другую из предтрейненных моделей). В первую очередь это различные anomaly-detection задачи, или задачи где есть всего несколько примеров для обучения (например когда вы отдаете инструмент "запомни" в руки пользователя).
Почти все задачи можно сделать быстрее и лучше, чем через CLIP и DINO. Но эти SSL сети дают важную особенность - универсальность, возможность быстро и дешево экспериментировать, возможность изменять поведение системы в реальном времени.
https://www.youtube.com/watch?v=CVEPrr7iaDQ

Изначально я хотел сделать небольшой пост в канале в стиле "А кто порекомендует какую следующую NPU плату для тестов?". Но пост стал обрастать подробностями плана: "вот эта плата есть на рынке, эта уже устарела, эта то же самая что и эта". И я понял что проще сделать видео на тему с обзором что сейчас есть в продаже. И задать те же самые вопросы: "а что интереснее в продаже" и "а что я упускаю"?
https://youtu.be/Jr5_Cuto7Rg

Ну и продолжении позапрошлого видео. Запускаем CLIP и DINOv2 на эмбеддед устройствах. Через ONNX и RKNN. Мне было интересно потянет ли или нет и сколько времени будет на инференс.
В итоге 2-3 секунды на DINOv2 small на RPi и 0.5 на RK3568.
Но мне показалось что это прикольная тема о которой можно сделать видео. Есть ряд проблем которые проще собрать под одной крышей.
https://youtu.be/gYIMYd2x52A

Немного научпопа. У меня уже было видео где я рассказывал о том как работает распознавание лиц и как его обмануть. Видео стало самым популярным у меня на канале. И в моменты принятия очередных законов явно видны пики просмотров. Одним из доминирующих вопросов в том видео было "но ведь камеры умеют распознавать не только лица!". Собственно это видео - дополнение к прошлому/ответ на вопрос "а чем ещё камеры могут повредить обычному человеку".
Но сразу предупрежу, что видео именно ближе к научпопу, глубоко в алгоритмы не залезаю.
https://www.youtube.com/watch?v=rRQAAMQanfs

И ещё немного научпопа (ничего, новая плата с RK уже пришла, думаю сделаю небольшое видео скоро).
Одна из вещей которая меня бесит в военной аналитике последние два года - абсолютное большинство экспертов временами начинают нести дичь про дроны. Особенно, когда дело касается Computer Vison и AI. Даже мои любимые Conflict Intelligence Team.
Да, я принципиально не занимаюсь дронами последние два года. И не сказать что до того был какой-то большой опыт. Но принципы CV везде остаются общие. Так что в своих размышлениях уверен на 99%.
В статье попробовал собрать мысли на тему того что дроны могут/что не могут/и что судя по всему смогут в ближайшее время.
https://medium.com/@zlodeibaal/drones-at-war-and-computer-vision-a16b8063be7b