Уже достаточно давно я хотел протестировать NPU-шки от TI. Но как-то не срасталось. То было слишком устаревшее в продаже. То слишком дорого с доставкой получалось. То куча других плат в наличии.
Да и с документацией, как-то странно. Каждый разговор с представителями TI или соседних плат вызывал некоторый уровень недосказанности.
Но, тут я понял что TI плату можно потестить онлайн (ну, типа того). Собственно видео про это;)
https://youtu.be/NJSqmMEdc5c

Последние месяцы было много инсайтов про то насколько сломаны современные бенчмарки в LLM-ках. Попробовал собрать все в одном месте + докидать несколько логичных заключений - https://youtu.be/Vis2CRoQ52o
Расскажите о ваших проблемах и наблюдениях тоже:)
(я не знаю почему сломались превью в телеге, как починиться апдейтну пост)

Смехуёчки смехуёчками, и очевидная глупость (нет ничего уникального в этих консолях, чтобы там выламывать). Проще взять новый Intel/AMD.

Но вспомнил смешную байку. Году в 2013 одна компания с которой я был знаком скупала игровые приставки с Nvidia Tegra чтобы её оттуда выломать:)
Не то что это был единственный путь, но эти приставки стоили дешевле чем покупать Nvidia чипы официально партиями по 100 устройств и ждать поставку по пол года.
Зачем надо было это делать? В тот момент стало понятно что можно сделать дешевый M2M протокол если хватит производительности.
Edge девайсов тогда особо не было производительных. Большие компы были дорогими, большими, потребляющими.
В то же время алгоритмы хорошо параллелились, и CUDA спасала положение. Дешево, не греется, маленький размер.

Так что да, иногда купить дешевый хлам и выломать оттуда плату - это вариант. Но не тут:)

Ок. Последняя неделя богата на LLM-ки. DeepSeek супер классный, но тут я про него ничего рассказывать не буду. А вот Qwen2.5VL - это просто супер прикольно. Мы уже много где использовали Qwen2VL. Так что было очень интересно посмотреть и потыкать.
Глобально, разница одна - детекция. Теперь не надо много думать и комбинировать пару сеток вместе.
https://youtu.be/YjbnSAyk56g

Давно хотел потестить AMD NPU и наконец добрался. В целом, скорее, я приятно удивлён. Видна рука большой компании. Много не доделано, но:
1) Сделано крайне по-человечески: есть вся документация, проблемы не встречены
2) Очень много поддержано
3) Видно развитие

Понятно, что для полного впечатления надо на этом что-то загнать в продакшн. Квантизация может испортить настроение. Но для "взял потетстить" оно прямо на топ-топ уровне.
https://youtu.be/mqtjsYAByEg

С одной стороны мне очень нравится современная робототехника. Очень много чего появилось нового. Явно расширились границы. Явно падают цены. Люди начинают смотреть на это не как на что-то из другого мира.
Но в то же время область сейчас супер перегрета. Хайп значит больше чем реальность. Люди не видят разницы между тем где реально AI и видео с вечеринки Теслы где был телеоп.
Решил в этом видео подсветить реальные проблемы роботов сегодня. А если зайдёт - сделаю продолжение на тему того что есть кроме хайпа:)
https://youtu.be/Fi7abF18pQ4

Давно хотел добраться до VLM'ок на NPU.
У Рокчипа оно появилось ещё в декабре. Но из-за проблем с драйверами запустить было сложно без удаления системы с той борды которая мне была нужна. Но в какой-то момент вышло новое ядро - и я наконец смог проверить.
Кажется, что это первая плата за исключением Jetson где такое стало возможно.
https://youtu.be/iTq1m2ro6xg

Как я и обещал в позапрошлом видео - видео о том что в роботах сегодня всё же хорошо:)
Краткий обзор почему это возможно будет следующей большой штукой. Ну, или по крайней мере почему это хорошо работает сейчас;)
https://youtu.be/QHKd-GYB6X4

Когда-то я тут рассказывал про наш стартап, RemBrain. Но давно не было апдейтов. Давайте немного покажу-расскажу.
Где-то года два с половиной назад мы поставили проект на паузу. Не полную, но активности свернули. Стало понятно что в прошлом варианте идея не будет работать, а на новый не хватало сил.
Но в конце прошлой весны он восстановился в другом виде - wyyt. Роботы стали ещё дешевле и доступнее, алгоритмы ещё лучше и проще. В проект пришло много новых людей, фокус сместился на US, все переформатировалось.
Я сейчас несколько уменьшил участие по сравнению с тем как было раньше, скорее консультирую и помогаю с разными мелочами. Но все равно хочу поделиться показать:)
На видео подборка того что мы умеем делать из наших демо роликов. Понятно что это все one-shot. Что-то обучено за 15 минут, что-то за пару часов. Accuracy зависит от времени обучения и сложности, но для хороших условий может быть идеальной.

Банальное, но нужное видео. Очень часто я с удивлением узнаю что люди не используют DLA на Jetson'ах. При том что для некоторых моделей это 60% производительности с низким энергопотреблением. Но очень часто люди игнорируют его. В этом видео я рассказываю как экспортировать модель на DLA, почему его надо использовать и какие у него ограничения.
https://youtu.be/CRMI8gmOiOc

В последнее время я стал обращать внимание что все больше и больше людей под моими видео возмущаются "А почему на этой железке не работает моя LLM?!", "А что это за фейковая плата?!".
Тут я попробую разобрать текущую ситуацию, что сделать и куда надо смотреть если вы все же хотите запустить какую-то LLM с поддержкой железа.
https://youtu.be/OcHltzCBRY8

Видюшек давно не было. Но это потому что сейчас в процессе достаточно интересная, где долго собирал все доступы и тестировал. А пока небольшое видео про модный тренд этой зимы. Разберём где пока Вайб-кодинг хромает и вы можете быть сильно лучше стандартного GPT;)
Собрал интересные примеры и задачи где не достаточно пару раз запромптить.
https://youtu.be/M3xTcEm0qwA

Если вы внимательно смотрели видео, то могли там заметить что у нас открыта позиция для эксперта в VLM / LLM и.т.д. На эту позицию мы (Artisight, одна из самых быстрорастущих медицинских компаний) нанимаем по всему миру (кроме РФ/Белоруссии/Ирана/Кореи/Израиля/Китая и некоторых других). Зарплатную вилку не называю, она зависит от локации (вне/внутри США). Во вне США готовы платить больше чем в Европе. Но зарплата реально зависит от вашего опыта. Если поймем что вы можете закрыть те вопросы в которых у нас сейчас нет опыта - будем готовы платить много. Что надо: понимание как оптимально создавать и подготавливать дататсеты для VLM (что надо бы разметить, где можно нагенерить), выбор оптимальных подходов для тренировок (какие фреймворки быстрее и оптимальнее по памяти, как структурировать обучение). Практический опыт в реализации этого всего. И.т.д. Подаваться тут - https://ats.rippling.com/artisight-open-roles/jobs/ddd390c7-b4c1-419d-b100-86ac7c0f961d

Параллельно ищем AI бекенд инженера для создания систем и пайплайнов обработки аудио и видео с применением последних наработок в области распознавания речи, компьютерного зрения. Работа с одной из сильнейшех RnD-командой в отрасли.
Эта вакансия только для кандидатов за пределами США (кроме стран где запрещена работа с US медтехом), предполагается работа в европейском временной зоне (с пересечением с Chicago time)
https://ats.rippling.com/artisight-open-roles/jobs/dc5fdb7e-8774-49c5-a99a-d9b2b0f08f36

Сейчас в EC своего офиса у нас нет, большая часть как самозанятые. Но открывать планируем. Основной офис в США.

Да-да, я уже понял что трети читателей не нравиться вайбкодить или работать. Так что только хардкор.
Поговорим про него.
Я делаю сейчас статью про одну платформу. И хотел понять насколько она вообще популярна. Так что хочу сделать опрос на эту тему. Заодно пару вопросов давно любопытны. Платформу не называю пока, но картинка со спойлером для красоты и привлечения внимания.

Итак. Ответ на прошлую загадку - Sophon. Это не только злобный компьютер трисоляриан, но и современный лидер в производстве AI плат. Про них то и будет этот обзор. Так как вышел обзор большим (две платы, небольшая демка), то я решил сделать его на нескольких платформах:
Хабр
Medium
Ютуп
Не забывайте ставить плюсики/хлопочки/сердечки в зависимости от вашей религиозной ориентированности.

Современный дебаг требует современных решений.

Отдебажили успешно:)

Наконец добрался до полноценного ARM NPU. Он достаточно прикольный. Умеет в FP16, умеет в TFlite. Достаточно низкое потребление и дешевый. Но, конечно, скорость не самая низкая из возможных. У меня есть некоторое подозрение что если ARM будет дальше пушить в эту сторону и ставить их по дефолту - рано или поздно они станут стандартом. Зачем ставить отдельный NPU, когда можно все от ARM сделать.
Так что любопытненько. Большие компании начинают догонять.
https://youtu.be/Fz33Tw5dwgA

Барев дзэс, и с праздничком!
Я тут на недельку в Ереване. Если вдруг кто-то хочет пересечься или лично познакомиться - я сделал канальчик чтобы обсудить детали. Скорее всего в среду утром пару часов будет свободно. По точной дате и локации - посмотрим сколько народу будет.

Ребята с YouTube-канала AI4Dev предложили сделать стрим/интервью и поговорить на тему современных железок. Мне показалось интересно, давно в таком формате не говорил. Так что завтра в 14:30 msk подключайтесь. Если вдруг не получится - то потом будет доступно в записи.

Начинаем
https://www.youtube.com/live/WkdH7awF4PQ

Недавно я задумался. "А какого главного качества не хватает LLM-кам?" И тут меня осенило. Им не хватает лени.
Когда я занимался с репетитором перед поступлением в МФТИ, то классическим комментом было:
"В целом ты сделал нормально. Но если бы ты был немного более ленивым и подумал вместо того чтобы делать, тогда можно было бы сделать так - ...."

Когда я разговариваю с продактами, когда я консультирую стартапы, когда я придумываю архитектуру для нашего стартапа - 90% разговоров о том же. Мои обычные вопросы: "а зачем вы это делаете", "а нельзя ли сначала сделать проще", "а вам точно нужен тут алгоритм", "а зачем вам вообще использовать тут камеру".
Да, думать приходится больше, ещё больше бить по рукам, - но делать меньше.

То же самое с программистами. Кажется, что ещё Паскаль говорил что "Письмо это вышло более длинным только потому, что у меня не было свободного времени написать его короче". Хороший программист пишет кратко.

Это я к чему. Пока сетки на мои тупые вопросы пишет ответы, вместо того чтобы ответить "ты чо, долбоёб?!" - я спокоен за профессию. А вы?