Когда-то я тут рассказывал про наш стартап, RemBrain. Но давно не было апдейтов. Давайте немного покажу-расскажу.
Где-то года два с половиной назад мы поставили проект на паузу. Не полную, но активности свернули. Стало понятно что в прошлом варианте идея не будет работать, а на новый не хватало сил.
Но в конце прошлой весны он восстановился в другом виде - wyyt. Роботы стали ещё дешевле и доступнее, алгоритмы ещё лучше и проще. В проект пришло много новых людей, фокус сместился на US, все переформатировалось.
Я сейчас несколько уменьшил участие по сравнению с тем как было раньше, скорее консультирую и помогаю с разными мелочами. Но все равно хочу поделиться показать:)
На видео подборка того что мы умеем делать из наших демо роликов. Понятно что это все one-shot. Что-то обучено за 15 минут, что-то за пару часов. Accuracy зависит от времени обучения и сложности, но для хороших условий может быть идеальной.

Банальное, но нужное видео. Очень часто я с удивлением узнаю что люди не используют DLA на Jetson'ах. При том что для некоторых моделей это 60% производительности с низким энергопотреблением. Но очень часто люди игнорируют его. В этом видео я рассказываю как экспортировать модель на DLA, почему его надо использовать и какие у него ограничения.
https://youtu.be/CRMI8gmOiOc

В последнее время я стал обращать внимание что все больше и больше людей под моими видео возмущаются "А почему на этой железке не работает моя LLM?!", "А что это за фейковая плата?!".
Тут я попробую разобрать текущую ситуацию, что сделать и куда надо смотреть если вы все же хотите запустить какую-то LLM с поддержкой железа.
https://youtu.be/OcHltzCBRY8

Видюшек давно не было. Но это потому что сейчас в процессе достаточно интересная, где долго собирал все доступы и тестировал. А пока небольшое видео про модный тренд этой зимы. Разберём где пока Вайб-кодинг хромает и вы можете быть сильно лучше стандартного GPT;)
Собрал интересные примеры и задачи где не достаточно пару раз запромптить.
https://youtu.be/M3xTcEm0qwA

Если вы внимательно смотрели видео, то могли там заметить что у нас открыта позиция для эксперта в VLM / LLM и.т.д. На эту позицию мы (Artisight, одна из самых быстрорастущих медицинских компаний) нанимаем по всему миру (кроме РФ/Белоруссии/Ирана/Кореи/Израиля/Китая и некоторых других). Зарплатную вилку не называю, она зависит от локации (вне/внутри США). Во вне США готовы платить больше чем в Европе. Но зарплата реально зависит от вашего опыта. Если поймем что вы можете закрыть те вопросы в которых у нас сейчас нет опыта - будем готовы платить много. Что надо: понимание как оптимально создавать и подготавливать дататсеты для VLM (что надо бы разметить, где можно нагенерить), выбор оптимальных подходов для тренировок (какие фреймворки быстрее и оптимальнее по памяти, как структурировать обучение). Практический опыт в реализации этого всего. И.т.д. Подаваться тут - https://ats.rippling.com/artisight-open-roles/jobs/ddd390c7-b4c1-419d-b100-86ac7c0f961d

Параллельно ищем AI бекенд инженера для создания систем и пайплайнов обработки аудио и видео с применением последних наработок в области распознавания речи, компьютерного зрения. Работа с одной из сильнейшех RnD-командой в отрасли.
Эта вакансия только для кандидатов за пределами США (кроме стран где запрещена работа с US медтехом), предполагается работа в европейском временной зоне (с пересечением с Chicago time)
https://ats.rippling.com/artisight-open-roles/jobs/dc5fdb7e-8774-49c5-a99a-d9b2b0f08f36

Сейчас в EC своего офиса у нас нет, большая часть как самозанятые. Но открывать планируем. Основной офис в США.

Да-да, я уже понял что трети читателей не нравиться вайбкодить или работать. Так что только хардкор.
Поговорим про него.
Я делаю сейчас статью про одну платформу. И хотел понять насколько она вообще популярна. Так что хочу сделать опрос на эту тему. Заодно пару вопросов давно любопытны. Платформу не называю пока, но картинка со спойлером для красоты и привлечения внимания.

Итак. Ответ на прошлую загадку - Sophon. Это не только злобный компьютер трисоляриан, но и современный лидер в производстве AI плат. Про них то и будет этот обзор. Так как вышел обзор большим (две платы, небольшая демка), то я решил сделать его на нескольких платформах:
Хабр
Medium
Ютуп
Не забывайте ставить плюсики/хлопочки/сердечки в зависимости от вашей религиозной ориентированности.

Современный дебаг требует современных решений.

Отдебажили успешно:)

Наконец добрался до полноценного ARM NPU. Он достаточно прикольный. Умеет в FP16, умеет в TFlite. Достаточно низкое потребление и дешевый. Но, конечно, скорость не самая низкая из возможных. У меня есть некоторое подозрение что если ARM будет дальше пушить в эту сторону и ставить их по дефолту - рано или поздно они станут стандартом. Зачем ставить отдельный NPU, когда можно все от ARM сделать.
Так что любопытненько. Большие компании начинают догонять.
https://youtu.be/Fz33Tw5dwgA

Барев дзэс, и с праздничком!
Я тут на недельку в Ереване. Если вдруг кто-то хочет пересечься или лично познакомиться - я сделал канальчик чтобы обсудить детали. Скорее всего в среду утром пару часов будет свободно. По точной дате и локации - посмотрим сколько народу будет.

Ребята с YouTube-канала AI4Dev предложили сделать стрим/интервью и поговорить на тему современных железок. Мне показалось интересно, давно в таком формате не говорил. Так что завтра в 14:30 msk подключайтесь. Если вдруг не получится - то потом будет доступно в записи.

Начинаем
https://www.youtube.com/live/WkdH7awF4PQ

Недавно я задумался. "А какого главного качества не хватает LLM-кам?" И тут меня осенило. Им не хватает лени.
Когда я занимался с репетитором перед поступлением в МФТИ, то классическим комментом было:
"В целом ты сделал нормально. Но если бы ты был немного более ленивым и подумал вместо того чтобы делать, тогда можно было бы сделать так - ...."

Когда я разговариваю с продактами, когда я консультирую стартапы, когда я придумываю архитектуру для нашего стартапа - 90% разговоров о том же. Мои обычные вопросы: "а зачем вы это делаете", "а нельзя ли сначала сделать проще", "а вам точно нужен тут алгоритм", "а зачем вам вообще использовать тут камеру".
Да, думать приходится больше, ещё больше бить по рукам, - но делать меньше.

То же самое с программистами. Кажется, что ещё Паскаль говорил что "Письмо это вышло более длинным только потому, что у меня не было свободного времени написать его короче". Хороший программист пишет кратко.

Это я к чему. Пока сетки на мои тупые вопросы пишет ответы, вместо того чтобы ответить "ты чо, долбоёб?!" - я спокоен за профессию. А вы?

Поговорили с Иваном про то куда вообще Edge движется в 2025 году. Иван - один из лидирующих разработчиков в Edge Impulse. В своей платформе они поддерживают кажется половину из тех плат про которые я тут упоминал. А ещё недавно их поглотил Qualcomm. Обо всём этим собственно и поговорили.
Что сейчас можно делать на Edge, где максимальный прогресс, и.т.д.
https://youtu.be/XyaArB4q9X0

Погнали. Axelera. Светились последние года три на всех выставках и наконец релизнулись.
Как думаете, оправдали ли ожидания? Ответы на эти и многие другие вопросы в видео:)
https://youtu.be/UYlBO4nEGSQ
Огромное спасибо Юрию за предоставление доступа к плате! Кстати, ребята из Axelera мне даже сами написали и предложили потестить, но так как был второй вариант - предпочел выбрать более независимый вариант.
Кстати. Решил попробовать расшифровывать видео в статьи через Whisper + ChatGPT. Посмотрим имеет ли смысл.

Продолжаем. На том же компе где была Axelera ещё был и Intel CPU. Последний год хотел его затестить. Ну и OpenVino тоже давно не добирался. Обзор будет достаточно поверхностный, так как Intel - это целый мир по софту. Но для Brief обзора по NPU кажется сойдёт.
https://youtu.be/BUvIeVn_HzY
И статья с полуавтоматической расшифровкой:
https://medium.com/@zlodeibaal/837ff5186423

Огромное спасибо Юрию за предоставление доступа к плате!

О, а я пропустил как ребята со мной интервью два месяца назад выпустили. Можно сказать что два месяца с текущей скоростью развития ML это достаточно чтобы уже рассматривать как исторические предсказания!
https://www.youtube.com/watch?v=VQ7iq6IlcBY

Тэкс. OrangePi RV2. Эта плата меня немного заскамила. В целом, плата неплохая по комплектации и цене. В целом, думаю что скоро таких будет сильно больше. Хороший пример Risk-V. Но вот "AI" платой она точно не является.
Подробнее в видео - https://youtu.be/Qi4o30pHJHk
И статье - https://medium.com/@zlodeibaal/orange-pi-rv2-ai-board-scam-7c71a93d63f1