Сергей - фаундер прикольного стартапа Phail.ai - они измеряют насколько все эти новомодные модельки реально эффективны. Недавно Сергей проезжал через Берлин - и я решили поговорить с ним поглубже на эту тему и обсудить как в реальности можно забенчмаркать сложные события. Ну и про то как это вообще сегодня работает. Когда есть бесчисленное число рук, гриперов и вычислителей.
https://youtu.be/mo6mpvFdjVw

***
Канал Сергея в телеграмме - https://t.me/the_things_i_liked

Сегодня потестил DeepSeek Harness — оказалось интереснее, чем я ожидал.

Ещё пару месяцев назад я пытался найти что-то готовое, похожее на агента Codex или Claude, но с удобным визуальным интерфейсом. Ничего полноценного тогда не нашлось: где-то не подключался поиск, где-то нормально не подключались другие функции, а где-то было неудобно переключаться между моделями.

Здесь почти всё есть прямо из коробки. Настройка занимает пару минут, и в целом система работает. Чтобы настроить что-то сложное (роутинг задач по сложности между разными моделями - надо запариться).

Конечно, если у вас есть нормальная подписка на Codex, использовать Harness, скорее всего, нет особого смысла. Для сравнения я дал системам простую задачу: реализовать быстрое преобразование Фурье и отладить код.

▪️Codex справился за 51 секунду, причём расход лимитов я даже не заметил.
▪️DeepSeek Hadness с подключённой Kimi K3 решил задачу примерно за пять минут — и всё работало. Цена была ~30 центов
▪️DeepSeek Hadness с локальной Qwen 3.8 выполнение заняло почти час.

Но... Это уже работает!
Есть встроенный поиск, можно независимо подключать разных поисковых провайдеров и модели. Возможно, выбранный мной провайдер поиска был не лучшим, поэтому здесь ещё есть что настраивать.

Структура управления агентами/скорости и инструментариев пока слабее — примерно на уровне ChatGPT годичной давности.
Я задал поисковый запрос достаточно сложный. Очевидно что надо было его в какой-то момент стопать, но он кажется нажёг на 3 USD Kimi K3 и ещё 20 поисковых центов. Хотя 99% этого времени не имели смысла.

Тем не менее отставание уже не выглядит катастрофическим. Для разработки такую систему вполне можно использовать в отдельных сценариях — например, если модель хостится локально, или хватает простой модели с OpenRouter.

В общем, проект интересный. Теперь хочется потестить Kimi Code, выход которого недавно анонсировали.

А что вы из нестандартных агентов используете?

Так. Давно видео не было. И переезжал, и август был загруженный, и отдохнуть немного хотелось 😁

Последние пару месяцев всё что в этом видео было - проговаривал людям сам. Подумал что раз так часто - то надо делать видео.
Расскажу о разных способах сбора датасетов для тренировки.
Я не рассказывают тут про сбор данных с "головы" когда человек работает. Это скорее надо для претрейна, а не для конечного обучения.

https://youtu.be/zlLymNdF_hk

Короче. Я тут подумал. А давай-ка направлю камеру на балкон и мне GPT-6 Astra соберёт решение чтобы птичек детектит. Иии...
Хрен там. Даже не рядом.
https://youtu.be/zHJ7ST_EV2A

А вы тоже заметили, что в последнее время налетела очередная волна хайпа вокруг искусственного интеллекта? Причём идёт она из совершенно разных мест.

Подобные обсуждения стали появляться во многих каналах и на YouTube, причём преимущественно там, где раньше не особо говорили о нейронках и AI. Внезапно появилось множество людей, которые стали считать себя экспертами и рассказывать, как нам срочно нужно всё заблокировать, ввести побольше ограничений, как OpenAI взломал Hugging Face и всё в таком духе. Я боюсь в 90% они даже не знают что такое Hugging Face. И в чем разница с его взломом и с " взломом" модельками форума, когда они тупо в чате общались.

Хороший пример - вот этот канал. Но, помимо него, я знаю ещё с пяток мест, где позиция за последнее время резко поменялась.

Более того, ко мне недавно подходили несколько друзей и спрашивали, когда они останутся без работы, насколько быстро AI заменит людей и вообще сколько нам всем лет жить осталось. Причём раньше за ними подобных переживаний не водилось. Сегодня один математик жаловался что на конференциях по математике депрессуха.

У меня есть стойкое ощущение, что конкретно эта волна хайпа — очевидный прогрев перед IPO. И то, что мы видим с условно сворованным Навье - Стоксом, и десятки других подобных историй — всё это части одной и той же кампании.

Безусловно, нейронки стали лучше. Безусловно, они уже существенно изменили рабочие процессы, и в будущем нас ждут ещё более серьёзные изменения.
Но, похоже, именно эта последняя волна рекламы вокруг OpenAI и Anthropic сумела по-настоящему зацепить людей, которые раньше всей этой темой особо не интересовались. И параноя какая-то недобрая.

Кажется только Иван Ямщиков что-то более менее адекватное в русскоязычном поле гонит.

Так к чему я это. А что вы думаете? Всё пропало? Или таки IPO?:)

Надо скзать что софт в эдж девайсах просто летит с какой-то суперсветовой скоростью. Я тут понял что в Qualcomm добавили поддержку моделей для роботов на NPU даже на дешевый/средний класс устройств.
Просто вау.
Изначально хотел проверить а можно ли VLM запускать на OAK4, а нашёл что там уже можно и VLA достаточно сложные. Короче вместо меди оказалось что-то поинтереснее.
https://youtu.be/Lyif8HH0Dn0
Теперь надо понять где это использовать:)

Тут вышло у Осетинской интервью с Humanoid. Эта компания которой я не понимаю. Если тут вдруг есть оттуда сотрудники - может расскажете что у вас происходит?
Я не понимаю как они с этим подняли 152 ляма (оценка больше ярда).

Их робот 10х медленнее чем наша станция (я уж не буду говорить на сколько порядков у нас меньше оценка и на сколько порядков меньше сотрудников). При этом у нас больше клиентов чем у них (из того что они анонсируют).
И стоимость нашего робота очевидно значительно меньше.
😭😭😭

Их оценка в 2 раза меньше Generalist. Там и станция выглядит на порядки лучше для рассматриваемых задач. И алгоритмы на несопоставимом уровне.
Это как оценка у Rhoda ai. Но насколько Рода лучше выглядит чем humanoid.

У меня есть 2 гипотезы:
1) Изначально в компанию было вложено 100м. После 100м вложений 152м инвестиций - это бридж. По сути это медленный рост.
2) Компания стала институциональной (Neura, Axelera) - и Европа вкладывает в это как в компанию для тех. защиты

Но они всё плохо объясняют

Зато Сергей с которым было интервью ~ два месяца назад поднял 2м, с чем его и поздравляем 🔥🔥🔥
Вот тут у меня нет ни малейших вопросов что и почему.

Кажется, хайп вокруг Jev-модели уже немного утих. Более того, за это время появилось очень много её аналогов. Вчера я видел обзор: сейчас есть своя модель у AWS, своя у OpenAI, ещё у какого-то провайдера и штук пять open-source моделей. И все плюс минус рядом по точности.
Таки одна моделька рынок не поменяла 🤷‍♂️

В целом я не удивлён. Когда я впервые увидел Jev, её архитектура очень напомнила мне то, что последние два года делают в робототехнике. Берётся исходный трансформер, предобученный на visual-language данных, и используется как инициализатор для гораздо меньшей сетки — по сути, action head, которая берёт произвольные части этого трансформера. Иногда всё это инициализируется немного по-разному, а дальше модель учится решать конкретную задачу: диффузию, регрессию или что-нибудь ещё.

В случае Jev это была задача multilabel-классификации. Я не знаю, как именно они реализовали расширяемый список классов, но кажется, что это не должно быть чем-то суперсложным. Наверное, именно поэтому первые аналоги появились буквально через несколько часов после релиза — люди довольно быстро смогли всё это повторить.

К чему я всё это веду. Когда вышел Jev, я прикрутил к своему каналу бота, который банит спамеров. До вчера он был в тестовом режиме, а потом я переключил в рабочий. Я давно собирался это сделать, а Jev стал дополнительным толчком 😈

Но, похоже, не я один оказался таким умным: за эти две недели количество спама очень сильно упало само по себе в телеге 😁. Походу команда Паши бдит за новинками. В моём канале было буквально два спамерских сообщения со ссылками, и оба отсеялись ещё на простом правиле: если это первое сообщение человека в канале и в нём есть ссылка — банить.

А всё, что дошло до Jev-модели, уже оказалось не спамом, а вполне адекватными комментариями.

Но на всякий случай предупреждаю: если бот вдруг случайно кого-то забанит, не стесняйтесь писать мне в личку. Если вы живой человек — разбаню:)

А, кстати. Недавно выступал тут, в Берлине. Тут немного про то как вообще оценивать профит от интеграции нового алгоритма в какой-то продукт. Специфически тут про роботов, но глобально эта схема для любого ML работает - https://www.youtube.com/watch?v=oyj4JujOYxQ

In context learning подход появился ещё года 2 назад.
Но безумные обороты он набрал полтора-два месяца назад. Ведь это именно то что надо для простого обучения роботов. Но термин этот пока мало знает. Да, для VLM-ок я его давно использовал. Только называл "запихать побольше в промпт". А теперь это прямо мейнстрим. И для роботов он более чем оправдан. В этом видео небольшое овервью.
https://youtu.be/Cj5XdeP7VtM

У вас есть ощущение, что сейчас у большинства научных статей происходит кризис осмысленности?

Приведу несколько примеров.

Наверное, вы помните, что пару месяцев назад я делал интервью с Глебом на тему World Models. Глеб проводил целую серию семинаров о том, а вообще имеют ли смысл World Models, где в них искать преимущества и в чём их профит.

И это была очень ценная, на мой взгляд, и важная серия семинаров. Есть масса работ, поддержанных NVIDIA и другими компаниями, в которых проделана огромная и сложнейшая работа по тому, как обучить World Model, как получить дополнительные проценты на каком-то бенчмарке при таком подходе и прочее, и прочее.

Но при этом нет ни одной внятной демонстрации и чёткого ответа на вопрос, как именно это помогает. И чтобы разобраться с этим, нужно привлекать достаточно умных людей, которые глубоко в теме, причём не один раз.

И мне кажется, что это огромная проблема современной науки и современных статей.

Я вот полчаса назад сходил на небольшой семинар одного из авторов модели D-Robotics Uranus, который проводила сама D-Robotics. Я абсолютно случайно оказался в их Discord-канале, когда они прислали мне плату на тестирование. Наверное, вы помните видео про RDK S100.

Они параллельно занимаются тем, что обучают World Models.

Автор рассказал доклад. Явно написанный чатом гпт. Здоровый человек не говорит в таких формулировках.
Я спросил автора, смогли ли они сделать какой-нибудь простой тест на новом роботе в новом environment и сравнить результат с каким-нибудь ACT. Или сделать любой ablation study. Мой вопрос был единственным. Автор решил что лучший ответ - отключить камеру и перестал отвечать на что либо. 🤣🤣🤣

Мне кажется, это очень показательно.

Когда я смотрю на реальные стартапы, которые что-то делают, они очень часто не используют вообще никакие технологии, появившиеся за последние три-четыре года. Потому что ещё не произошло осмысления того, что было сделано за это время, и того, как это применять в реальности. И абсолютно не факт, что значительная часть этих технологий вообще дойдёт до реального применения.

Мне это кажется катастрофическим разрывом с тем, как всё было 20 лет назад. Когда практически по любой статье, которая появлялась, с автором можно было очень долго разговаривать о том, где это можно использовать, какие проблемы это в реальности может решать.

И авторы были супер открыты к тому, чтобы обсуждать, что да, им кажется, что это, конечно, не общий метод, но вот тут, тут и тут он может значительно усилить существующие алгоритмы.

Сейчас же авторы живут в каком-то своём воображаемом замке, который очень плохо маппится на реальность.

P.S.
Меня удивило что никто не обратил внимание на божественный нейминг от китайцев

Гуляю по GTC. Чтож, даже до Nvidia уже дошло что VLA это не будущее. Но пока что они считают что будущее за огромными WAM (world action models).
Они даже про ICL знают и говорят что скоро-скоро.

Вот бы не надо было ещё 5090 под столом 🤣

На прошлой неделе немного погулял по GTC в Берлине. И одна из вещей, которая прямо бросилась в глаза, — практически полное отсутствие edge-решений со стороны самой NVIDIA. При том что запрос рынка на такие решения совершенно очевиден.

На стенде NVIDIA был разве что DGX, а вот с остальным edge-железом было довольно грустно.
При этом на выставке было с десяток стендов с различными роботами, множество демонстраций распознавания аудио, анализа видео и прочих edge AI приложений.

И практически все, с кем я разговаривал и кто использовал NVIDIA, были не особенно довольны происходящим.

Jetson'ы сейчас очень сложно достать. В результате часть команд использует для роботов и других edge-задач полноценные десктопы с видеокартами вроде RTX 5090. Выглядит это, конечно, немного как колхоз.

Что интересно, даже на конференции NVIDIA многие рассказывали, что уже разрабатывают продукты на Qualcomm или активно рассматривают альтернативы Jetson.
И это очень хорошо совпадает с моими собственными наблюдениями.
Примерно месяц назад я тут публиковал видео как на OAK 4 можно запускать кучу сеток для обработки видео и для управления роботами
Думаю, в ближайший год мы увидим всё больше и больше edge AI устройств на Qualcomm.
Единственное, что меня немного расстраивает, — Qualcomm сейчас выглядит практически единственным серьёзным конкурентом Jetson в этом сегменте. Хотелось бы видеть ещё двух-трёх игроков с сопоставимыми возможностями.

Из прикольного в этом направлении - https://www.luxonis.com/oak4-ffc
По сути OAK4 без корпуса. Bare Bone $730, девкит $850. При этом ребята из Люксониса говорят что $200 в цене - это фиксированная надбавка за память. Как рынок упадёт они её снимут/уменьшат

Из минусов. Сейчас у Qualcomm уже есть новое поколение которое и по железу и по цифиркам TOPS куда интереснее выглдяит. Но на нём пока готовых плат не видно.

//П.С. не реклама. Но ребята из Люксониса мне за пару дней до релиза про него сказали и показали фоточки, а так как оно легло на мои впечатления от GTC - решил на старте дать ссылку на них:)