Давно не рассказывал что с RemBrain. Четыре года назад мы хотели делать мозги для роботов. "Интегрируем мозг в ваш проект". Потом поняли что это не работает. Долго экспериментировали, но кажется нашли рабочую нишу. С осени уже три интеграции. Сборка медицинских девайсов, сборка электроники. Главное что поняли - надо делать решение на уровне "воткнул в розетку - работает". Стандартизация всего и все. Максимальное упрощение интерфейсов.
А дальше поверх этого можно и классический CV втыкать и VLA и вообще без моделей работать. По сути железка - это средство доставки мозгов.
Чуть подробнее можно почитать в one pager.
Есть серьезное подозрение что в робототехнике это единственный подход. Как только появляется интегратор или посредник он сразу начинает думать "а зачем тут мне кто-то ещё, сейчас я сделаю все сам и заберу прибыль". И, естественно, все проваливает.
Видео выше - демка с последней выставки.

Что-то в последний месяц меня много народу спрашивали что надо сделать чтобы переехать в разные другие страны (доки, и.т.д.). Я подумал что надо на мой второй канал бахнуть на эту тему видео чтобы в будущем просто его присылать. Собственно краткий рассказ про базовый комплект доков которые лучше подготовить заранее (хейтеры скажут чтобы бы не делать, только бы ВПН не настраивать!) 😁. Так как опыта переезда в разные страны достаточно, возможно кому-нибудь поможет. Сам был очень благодарен что мне когда-то эти базовые вещи проговорили.
Ну и да. Если вопросы есть - спрашивайте в треде, попробую ответить.
https://youtu.be/r2wpX6Off_0

Нормальное видео выложу завтра + одну любопытную плату тестирую, надеюсь до отпуска что-нибудь ещё выложу.

Собственно сегодняшнее видео - опять тирлист (прошлый неплохо зашёл, но не отвечал на вопрос полностью). Но на этот раз я попробовал больше сфокусироваться на том какие платы более предпочтительны для робототехники и почему. Ещё, наверное, я сделаю один тирлист для "инференса для камерах". Но это скорее через пару видео доберусь.
https://youtu.be/cykGngPqzro
(картинка с платами в первом комменте)

Когда мы уехали из России в 2022 году, мы стали думать, куда в Европе хотим перебраться. Внезапно по совокупности факторов в нашей пятёрке появилась Греция. А грецию мы любим.
На тот момент там была удобная номадская виза.
Но, как видно на этой картинке, вся суть Греции — в соседних противоречащих друг другу параграфах.
Тогда было, что самый простой способ получить номадскую визу — въехать в Грецию по туристической визе, а уже потом начать оформлять номадскую. Но туристические визы греки в тот момент практически перестали выдавать россиянам. В итоге с этим вариантом мы обломались и поехали в Норвегию.
Сейчас у меня неделя отпуска, и мы как раз ездим по Греции. Но каждый раз, когда я снова вижу такую комбинацию знаков или чего-то похожего — а тут такого много, — мне вспоминается та самая история.
Любопытно: есть ли среди подписчиков те, кто в итоге получил греческую номадскую визу?
Сам я переезжать не собираюсь, но любопытно, удалось ли кому-то пройти этот квест.

Наконец добрался протестировать DeepX плату. Давно хотел.
В целом неплохая, но нет какого-то "прорыва" и отличия от рынка. Возможно кроме цены, ибо плата достаточно дешевая.
https://youtu.be/fNuI3ayaDgQ

А что думаете вы? Тестировали ли уже?

Завтра-послезавтра сделаю видео про то какая сетка One-shot-detection с visual prompting из зэ бест. А пока что коротенькое превью:)

Как и обещал - основное видео.
Меня, конечно, поражает прогресс который произошёл в последние пол года. Не то что получается делать то чего было нельзя. Но насколько удобнее!
https://youtu.be/W_tR3qSTD4I

Мне давным-давно любопытно было потестить китайские GPU платы. Насколько оно сейчас PyTorch френдли, какие проблемы с инференсом и обучением, и.т.д.
Но я ни знаю ни одного сервиса где есть какая-то аренда такого инстанса. Желательно почасовая. Ни immers.cloud ни salad.com ни vast.ai и никто известный их нее предлагает.
Когда-то пробовал чатгпт запрячь. Он нашёл пару сервисов, но там без китайского номера никак. Да и контракты там надо было брать по месяцу а то и больше.
Короче:
1) А вы тестили? Насколько оно всё любопытно? Насколько сейчас работает? Когда догонят и обгонят?
2) Знаете ли вы где-нибудь сервис где можно задёшево потыкать пальцем?
3) Может у вас есть свои GPU-шки и вы можете прокинуть SSH на них? Если сделаю ролик - обещаю там благодарностей натыкать:)

Мне нравиться как прогрессируют не только VLM, но и классические алгоритмы. Вот это вот SLAM из коробки, на борту Insight9 камеры. Про камеру я рассказывал несколько месяцев назад.
Очень круто что это становится как-будто бы "отдельным модулем". Понятно, что пока что всё не так просто. Но по сравнению с тем как SLAM настраивался 5 лет назад - это прямо небо и земля.
То что на видео - это побаловаться. В нормальных проектах у нас тоже есть, но иначе.
А у вас где-то на практике SLAM используется?

Сделал коротенькое видео про то что сверху:
1) Добавил несколько примеров того где трекинг ломается/как себя ведёт
2) Рассказал с какими платами камера отказывается работать а с какими нет.

Думаю плюс-минус полезно если где-то хотите использовать
https://youtu.be/mTF31gjOXkk

В последнее время я часто использую OneShot модели. И мне захотелось понять какие у каких ограничения и что где лучше работает. Думаю следующее видео сделаю про них. А пока расскажите что вы используете. А то вдруг что-то забыл.

Собственно видео про Zero-Shot - https://youtu.be/IIyoNLB8Cnc
Что самое забавное, похоже если вас заботит лицензия, то выбор надо делать тот же самый что и в One-Shot
А так было интересно потыкаться и посравнивать

Так. Я сделал максимально кринжовое видео из всех что было на моём канале.
Тут в PUBG (в который я с альфы с друзьями поигрываю), завезли AI ботов. Им говорить голосом команды и они их исполняют.

Естественно мне стало интересно - а что они используют. А как это выяснить? Конечно же позадавать вопросы самому боту.
Надо сказать что модель там крайне тупая + обложенная политиками безопасности по самое не балуйся. Но есть ощущение что какая-то простая VLA на данных присутствует.

Вообще я рад этому тренду использования AI в играх. Что-то новое. И ARC был классным во многом за счет нейроночек управляющих NPC, озвучки и трансфера голоса. Ещё и тут.
https://youtu.be/gPGmxWZrqxg

Поговорил с Глебом про то куда сейчас идут World Models для роботов:
https://youtu.be/_acRtKuupP8
Мне было ужасно интересно. Глеб создал одно из немногих открытых комьюнити где достаточно регулярно походят онлайн семинары по тому как такие модели устроены, люди рассказывают свой экспирианс + то что у них получилось/не получилось.
Собственно поговорили и про комьюнити, и про модели, и про то как это пускать на реальном железе

Офис в Норвегии резвится🤣

Меня достаточно давно спрашивали про RDK S100. И наконец я его добыл и забенчмаркал. Надо сказать что тренд очень позитивный. Когда уже и LeRobot из коробки работат. Но пока что чувствуются огрехи экпорта, пайплайны не идеальны.
Но в ребят много веры. На их базе много чего интересного уже видел.
Видео - https://youtu.be/WHAEl05g8Xk
Статья - https://medium.com/@zlodeibaal/rdk-s100-review-80-tops-robotic-board-d9ad0f464942

Я в какой-то момент увидел в рекламе приложение Chatty. Подумал что идея неплоха, можно использовать при обучении. Посмотрел что у них с ценовой политикой и не согласился :)
Они там по 15 баксов в месяц хотят. Что на мой взгляд перебор для такого.

Короче за пол часа собрал себе вот эту поделку - https://github.com/ZlodeiBaal/TG_bot_language . Если кому надо:
1) Создайте бота и получите токен через @BotFather
2) Создайте на OpenRouter под него токен
3) Положите креды в .key_example и переименуйте его в .key

По цене за первые дни пока тестил слил 0.14 бакса. В качестве модели я использую GPT Audio Mini. На один ответ пришлось 2 запроса делать, в один не справился. Наверное можно в один, но я не понял как.

Сейчас из языков добавил немецкий (я сейчас учу) и ещё пару языков которые друзья учат (норвежский, испанский, англ).

Короче, у меня стойкое ощущение что весь софт потихоньку туда движется. Теперь тебе вместо приложения нужен рецепт что оно делает.

Сергей - фаундер прикольного стартапа Phail.ai - они измеряют насколько все эти новомодные модельки реально эффективны. Недавно Сергей проезжал через Берлин - и я решили поговорить с ним поглубже на эту тему и обсудить как в реальности можно забенчмаркать сложные события. Ну и про то как это вообще сегодня работает. Когда есть бесчисленное число рук, гриперов и вычислителей.
https://youtu.be/mo6mpvFdjVw

***
Канал Сергея в телеграмме - https://t.me/the_things_i_liked

Сегодня потестил DeepSeek Harness — оказалось интереснее, чем я ожидал.

Ещё пару месяцев назад я пытался найти что-то готовое, похожее на агента Codex или Claude, но с удобным визуальным интерфейсом. Ничего полноценного тогда не нашлось: где-то не подключался поиск, где-то нормально не подключались другие функции, а где-то было неудобно переключаться между моделями.

Здесь почти всё есть прямо из коробки. Настройка занимает пару минут, и в целом система работает. Чтобы настроить что-то сложное (роутинг задач по сложности между разными моделями - надо запариться).

Конечно, если у вас есть нормальная подписка на Codex, использовать Harness, скорее всего, нет особого смысла. Для сравнения я дал системам простую задачу: реализовать быстрое преобразование Фурье и отладить код.

▪️Codex справился за 51 секунду, причём расход лимитов я даже не заметил.
▪️DeepSeek Hadness с подключённой Kimi K3 решил задачу примерно за пять минут — и всё работало. Цена была ~30 центов
▪️DeepSeek Hadness с локальной Qwen 3.8 выполнение заняло почти час.

Но... Это уже работает!
Есть встроенный поиск, можно независимо подключать разных поисковых провайдеров и модели. Возможно, выбранный мной провайдер поиска был не лучшим, поэтому здесь ещё есть что настраивать.

Структура управления агентами/скорости и инструментариев пока слабее — примерно на уровне ChatGPT годичной давности.
Я задал поисковый запрос достаточно сложный. Очевидно что надо было его в какой-то момент стопать, но он кажется нажёг на 3 USD Kimi K3 и ещё 20 поисковых центов. Хотя 99% этого времени не имели смысла.

Тем не менее отставание уже не выглядит катастрофическим. Для разработки такую систему вполне можно использовать в отдельных сценариях — например, если модель хостится локально, или хватает простой модели с OpenRouter.

В общем, проект интересный. Теперь хочется потестить Kimi Code, выход которого недавно анонсировали.

А что вы из нестандартных агентов используете?

Так. Давно видео не было. И переезжал, и август был загруженный, и отдохнуть немного хотелось 😁

Последние пару месяцев всё что в этом видео было - проговаривал людям сам. Подумал что раз так часто - то надо делать видео.
Расскажу о разных способах сбора датасетов для тренировки.
Я не рассказывают тут про сбор данных с "головы" когда человек работает. Это скорее надо для претрейна, а не для конечного обучения.

https://youtu.be/zlLymNdF_hk