Перевожу проект прошивки микрофона с Arduino на ESP-IDF. С Последним никогда не работал.
Как сейчас выглядит работа через агента.
Как сейчас выглядит работа через агента.
✍2
Агент Max. MiniMax.🤖
Неделю поработал с платным Minimax M2.7 и один из этих дней был с Kimi K2.6 (бесплатный пробный период).📅
Все через API в режиме агента в VS Code.🛠
Это китайские LLM, рассчитанные больше под агентский режим, чем на чат-бот режим. 🧠
Kimi K2.6, ощущается, мощнее, но и дороже. Возможно, в следующем месяце перейду на него.
В юанях цена/качество Minimax M2.7 — огонь! 🔥
Что сделал: ✅
1. Перевел часть диссера на 50 страниц из MS Word в Latex. 📝 Конвертер + Агент. Агент помогал убрать все ошибки, чтобы документ компилировался. Теперь агент может просматривать диссер целиком для форматирования, перевода, редактуры и факт-чекинга. 🔍
2. Перевел скетч из Arduino IDE на ESP-IDF. 📜 Теперь мой ESP32-S3 на микрофоне кроме дуплексной связи по UDP еще и поднимает Wake Word благодаря библиотеке ESP-SR. Напомню - это ключевое слово для начала диалога.
🎙 Такое только с чат-ботами не сделал бы. Очень большая архитектура.
Контекста в диалогах по 150к токенов, это 450 страниц английского текста. 📚
Неделю поработал с платным Minimax M2.7 и один из этих дней был с Kimi K2.6 (бесплатный пробный период).📅
Все через API в режиме агента в VS Code.🛠
Это китайские LLM, рассчитанные больше под агентский режим, чем на чат-бот режим. 🧠
Kimi K2.6, ощущается, мощнее, но и дороже. Возможно, в следующем месяце перейду на него.
В юанях цена/качество Minimax M2.7 — огонь! 🔥
Что сделал: ✅
1. Перевел часть диссера на 50 страниц из MS Word в Latex. 📝 Конвертер + Агент. Агент помогал убрать все ошибки, чтобы документ компилировался. Теперь агент может просматривать диссер целиком для форматирования, перевода, редактуры и факт-чекинга. 🔍
2. Перевел скетч из Arduino IDE на ESP-IDF. 📜 Теперь мой ESP32-S3 на микрофоне кроме дуплексной связи по UDP еще и поднимает Wake Word благодаря библиотеке ESP-SR. Напомню - это ключевое слово для начала диалога.
🎙 Такое только с чат-ботами не сделал бы. Очень большая архитектура.
Контекста в диалогах по 150к токенов, это 450 страниц английского текста. 📚
🔥1🍾1🦄1
Сознание обретает
На сколько же он нафарширован сейчас…
Дня не хватит рассказать сколько тут технологий реализовано.
Огонь же 🔥 да?
#робот #ассистент
На сколько же он нафарширован сейчас…
Дня не хватит рассказать сколько тут технологий реализовано.
Огонь же 🔥 да?
#робот #ассистент
🔥7😁1🤯1
Sмарт-Пауза
Сознание обретает На сколько же он нафарширован сейчас… Дня не хватит рассказать сколько тут технологий реализовано. Огонь же 🔥 да? #робот #ассистент
⚽️Все происходит по воздуху: WiFi по UDP. Провод только для питания.
🏀Подсветкой управляет MCU.
🏈Wake-word целиком на MCU.
⚾️Фразы-реакции тоже на MCU.
🥎На стороне сервера:
STT, TTS локальные.
LLM облачная. 3 дня тестовых запросов потратили 60к токенов суммарной стоимостью 0.04 юаня.
🏐LLM здесь DeepSeek. Не путать с агентом о котором я писал ранее — на Minimax я код пишу.
🏀Подсветкой управляет MCU.
🏈Wake-word целиком на MCU.
⚾️Фразы-реакции тоже на MCU.
🥎На стороне сервера:
STT, TTS локальные.
LLM облачная. 3 дня тестовых запросов потратили 60к токенов суммарной стоимостью 0.04 юаня.
🏐LLM здесь DeepSeek. Не путать с агентом о котором я писал ранее — на Minimax я код пишу.
✍2
😁4⚡1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
По щучьему веленью по моему хотенью.
В общем-то вот и всё. 👑
Связал микрофон на esp32, локальные ИИ на сервере и ROS2 на одноплатнике в одну систему. И все это может существовать гибко друг без друга. Микрофон от платформы только питание берет.
Реакция и ответы быстрые. Даже не пришлось делать фразу-отбивку, чтобы было время на подумать.
Дальше буду настраивать для устойчивого поведения. Чтобы LLM могла сама выкручиваться из всех ситуаций.
И самое последнее найти кейсы зачем мне вообще эта телега в доме 😄
#робот #ассистент
В общем-то вот и всё. 👑
Связал микрофон на esp32, локальные ИИ на сервере и ROS2 на одноплатнике в одну систему. И все это может существовать гибко друг без друга. Микрофон от платформы только питание берет.
Реакция и ответы быстрые. Даже не пришлось делать фразу-отбивку, чтобы было время на подумать.
Дальше буду настраивать для устойчивого поведения. Чтобы LLM могла сама выкручиваться из всех ситуаций.
И самое последнее найти кейсы зачем мне вообще эта телега в доме 😄
#робот #ассистент
🔥6⚡1🤯1
Эксперты пишут как Китай преуспел в той или иной области сегодня. Хочу отметить как они тратят излишки ресурсов сейчас, чтобы получить отдачу через десятилетия. Страшно очень страшно. Играют сильно в долгую.
Дальше факты, оценивать можно как угодно. Из опыта за выходные. Как минимум в деньгах.
Город 南平: производит чай, повязан на экологии, участник программы zero-carbon. Каждый месяц приглашает по 50 студентов (по факту набралось 20 в моей группе) посмотреть на их город и их экологические программы. Платят за все на 3 дня.
- организованное перемещение (средний билет на скоростном поезде в одну сторону 350юаней)
- отель на центральной улице города. Считаем 5 звезд. Бассейн. Кароч 400 юаней обычно по Китаю за ночь.
- кормят в ресторанах
- возят по компаниям, показывают плантации чайные.
Сначала все выглядит подозрительно🤨. Я это оцениваю как распространение культурного влияния. Все организовано круто. Думаю это работает.
В циве 6 можно было одержать культурную победу.
#другое
Дальше факты, оценивать можно как угодно. Из опыта за выходные. Как минимум в деньгах.
Город 南平: производит чай, повязан на экологии, участник программы zero-carbon. Каждый месяц приглашает по 50 студентов (по факту набралось 20 в моей группе) посмотреть на их город и их экологические программы. Платят за все на 3 дня.
- организованное перемещение (средний билет на скоростном поезде в одну сторону 350юаней)
- отель на центральной улице города. Считаем 5 звезд. Бассейн. Кароч 400 юаней обычно по Китаю за ночь.
- кормят в ресторанах
- возят по компаниям, показывают плантации чайные.
Сначала все выглядит подозрительно🤨. Я это оцениваю как распространение культурного влияния. Все организовано круто. Думаю это работает.
#другое
❤3
За месяц работы с minimax проект серверной части ассистента очень сильно раздулся 📈: пайлайн-ассистента, сервер для ros2, сервер для микрофона, скиллы для LLM, web сервер как точка входа в это всё.
Дошли до такого с minimax, что он больше не вывозит размер проекта 🚫, и проект понемногу начал сыпаться 🧱.
Через бесплатные лимиты Codex стабилизировал архитектуру. Сделал успешный рефакторинг 4000 строк ✅. Ничего не сломал. Проект снова стал стабильным, но еще более сложным для понимания.
Взял теперь Kimi k2.6. Через него делаю полный рефакторинг архитектуры.
Сначала купил подписку за 49 юаней. Лимиты в Kimi Code закончились за 2 запроса: AGENTS_README.md (файл архитектуры проекта) и План реализации рефакторинга. Всё 🛑.
С разницей в 1 час ⏱️, купил подписку за 99 юаней, чтобы продолжать. Лимиты обновили, полную сумму за первую вернули 💸. Можно немного абузить 😁.
С minimax я не тратил и 20% — 5-часовых лимитов.
Дошли до такого с minimax, что он больше не вывозит размер проекта 🚫, и проект понемногу начал сыпаться 🧱.
Через бесплатные лимиты Codex стабилизировал архитектуру. Сделал успешный рефакторинг 4000 строк ✅. Ничего не сломал. Проект снова стал стабильным, но еще более сложным для понимания.
Взял теперь Kimi k2.6. Через него делаю полный рефакторинг архитектуры.
Сначала купил подписку за 49 юаней. Лимиты в Kimi Code закончились за 2 запроса: AGENTS_README.md (файл архитектуры проекта) и План реализации рефакторинга. Всё 🛑.
С разницей в 1 час ⏱️, купил подписку за 99 юаней, чтобы продолжать. Лимиты обновили, полную сумму за первую вернули 💸. Можно немного абузить 😁.
С minimax я не тратил и 20% — 5-часовых лимитов.
⚡2😁1🦄1
Об инструментах-ИИ от инженера.
Некоторые понятия могут пересекаются друг с другом, потому что слишком все быстро развилось и нет четких границ.
1. Модель vs Агент: в чем разница?
Модель (LLM): Это чистый генератор текста. Она выдает ответ на запрос, не умеет ходить в интернет или запускать код.
Агент: Это модель, завернутая в управляющий контур, который умеет планировать действия, вызывать инструменты, хранить состояние и выполнять задачи в несколько шагов.
2. Зоопарк агентов и встроенные инструменты 🛠
У каждого крупного вендора сейчас есть агенты со специализированными целями: для кодинга, работы с документами и тд.
Есть агенты с «полным фаршем» (встроенный поиск, компилятор, запуск скриптов).
Есть системы с минимальным набором встроенных инструментов. Они могут только работать с текстом и самостоятельно генерировать шаги решения. Например чтобы прочесть PDF они создадут скрипт-программу, распарят им файл и только тогда в текстовом виде прочтут PDF.
3. Оркестраторы 🪄
Оркестратор из:
LLM - создает подобие агента,
Агента - инструмент выполнения длительных последовательных задач,
Группы агентов - синхронизированную не мешающую друг другу систему.
Оркестратор это обычно легковесный софт, который распределяет задачи. Его цель чтобы агент делал что надо и когда надо, и не делал лишнего, то что не просили. Он говорит агенту, что название функции нужно поискать в ближайших папках, а не придумывать самому. (Примеры: Cline, OpenClaw)
4. Микс IDE/Оркестратор/Агент
Такие цельные, на закрытие среды как Claude Code и Codex, это больше чем оркестратор. Это ближе к цельной ОС. Подразумевает эффективное использование ресурсов системы, и токенов для своих моделей. Есть опция использовать сторонние модели, но будут недопонимания и не эффективность.
5. Почему API DeepSeek дешевый? 🧠
Они продают в основном доступ к LLM модели, а не к полноценной агентской платформе. Никакого доступа в интернет, взаимодействие только через текстовые форматы. Развернув под него MCP-сервера (прослойки, дающие модели доступ к инструментам), его способности расширяются, можно получить аналог агентской системы. Но мне кажется такая архитектура всегда будет менее эффективной, чем оптимизированный набор Среда + Агент от одного вендора.
Вывод/Summary
Прямо сейчас основные практические улучшения ИИ-инструментов идут не в сторону быстрее, выше, сильнее самих моделей, а в поле развития оркестраторов и инструментов. Главная гонка индустрии — это то, насколько эффективно LLM умеет взаимодействовать с внешними инструментами и работать с контекстом.
References:
1. Знания как общечеловеческое достояние
Некоторые понятия могут пересекаются друг с другом, потому что слишком все быстро развилось и нет четких границ.
1. Модель vs Агент: в чем разница?
Модель (LLM): Это чистый генератор текста. Она выдает ответ на запрос, не умеет ходить в интернет или запускать код.
Агент: Это модель, завернутая в управляющий контур, который умеет планировать действия, вызывать инструменты, хранить состояние и выполнять задачи в несколько шагов.
2. Зоопарк агентов и встроенные инструменты 🛠
У каждого крупного вендора сейчас есть агенты со специализированными целями: для кодинга, работы с документами и тд.
Есть агенты с «полным фаршем» (встроенный поиск, компилятор, запуск скриптов).
Есть системы с минимальным набором встроенных инструментов. Они могут только работать с текстом и самостоятельно генерировать шаги решения. Например чтобы прочесть PDF они создадут скрипт-программу, распарят им файл и только тогда в текстовом виде прочтут PDF.
3. Оркестраторы 🪄
Оркестратор из:
LLM - создает подобие агента,
Агента - инструмент выполнения длительных последовательных задач,
Группы агентов - синхронизированную не мешающую друг другу систему.
Оркестратор это обычно легковесный софт, который распределяет задачи. Его цель чтобы агент делал что надо и когда надо, и не делал лишнего, то что не просили. Он говорит агенту, что название функции нужно поискать в ближайших папках, а не придумывать самому. (Примеры: Cline, OpenClaw)
4. Микс IDE/Оркестратор/Агент
Такие цельные, на закрытие среды как Claude Code и Codex, это больше чем оркестратор. Это ближе к цельной ОС. Подразумевает эффективное использование ресурсов системы, и токенов для своих моделей. Есть опция использовать сторонние модели, но будут недопонимания и не эффективность.
5. Почему API DeepSeek дешевый? 🧠
Они продают в основном доступ к LLM модели, а не к полноценной агентской платформе. Никакого доступа в интернет, взаимодействие только через текстовые форматы. Развернув под него MCP-сервера (прослойки, дающие модели доступ к инструментам), его способности расширяются, можно получить аналог агентской системы. Но мне кажется такая архитектура всегда будет менее эффективной, чем оптимизированный набор Среда + Агент от одного вендора.
Вывод/Summary
Прямо сейчас основные практические улучшения ИИ-инструментов идут не в сторону быстрее, выше, сильнее самих моделей, а в поле развития оркестраторов и инструментов. Главная гонка индустрии — это то, насколько эффективно LLM умеет взаимодействовать с внешними инструментами и работать с контекстом.
References:
1. Знания как общечеловеческое достояние
Веб-интерфейс сервера.
Все управление сервером сейчас находится на веб интерфейсе. Интерфейс на скринах.
На нем можно заниматься тонкой настройкой системы.
Источники информации вкл/выкл источники информации.
Способы обработки информации вкл/выкл.
Например как работает YOLO можно следить прямо в веб.
Режим ассистента я вывел как отдельная сущность.
Идея этого разделения в том, что у роботу можно подключаться удаленно вне локальной сети и использовать его микрофон и динамики для разговора. В локальной сети это уже работает.
Дальше YOLO я буду развивать до Vision Language Model (VLM). YOLO будет тригерить LLM какими-то редкими ивентами. VLM будет детально описывать пространство для LLM. Под это все у меня будет система ивентов. Все это нужно, чтобы робот умел сам реагировать на пространство, а не быть пассивным исполнителем.
#асситент #новости #web
Все управление сервером сейчас находится на веб интерфейсе. Интерфейс на скринах.
На нем можно заниматься тонкой настройкой системы.
Источники информации вкл/выкл источники информации.
Способы обработки информации вкл/выкл.
Например как работает YOLO можно следить прямо в веб.
Режим ассистента я вывел как отдельная сущность.
Идея этого разделения в том, что у роботу можно подключаться удаленно вне локальной сети и использовать его микрофон и динамики для разговора. В локальной сети это уже работает.
Дальше YOLO я буду развивать до Vision Language Model (VLM). YOLO будет тригерить LLM какими-то редкими ивентами. VLM будет детально описывать пространство для LLM. Под это все у меня будет система ивентов. Все это нужно, чтобы робот умел сам реагировать на пространство, а не быть пассивным исполнителем.
#асситент #новости #web
🔥4
Это визуализация файла AGENTS.md
В двух разных графических вариантах.
Это архитектура, которая реально сейчас крутится на ассистенте и уже работает.
#ассистент #робот #новости
В двух разных графических вариантах.
Это архитектура, которая реально сейчас крутится на ассистенте и уже работает.
Пару месяцев назад все начиналось с линейной последовательности в блокирующем (синхронном режиме)
#ассистент #робот #новости
🦄2❤1🔥1
Софт без железок - скучно. Железки без софта - не полноценно.
Много цифровых картинок подряд. Не красиво.
Поэтому вот
Фотографии из обновленного музея Науки и Техники города Шанхая. Ремонтировали его 2 года. Тематических зон там много. Выложу роботов и электронику.
Это вайбовая мастерская на входе. Стиль мастерской напоминает атмосферу как на видео у Alex Burkan, который железного человека собирает.
#out
Много цифровых картинок подряд. Не красиво.
Поэтому вот
Фотографии из обновленного музея Науки и Техники города Шанхая. Ремонтировали его 2 года. Тематических зон там много. Выложу роботов и электронику.
Это вайбовая мастерская на входе. Стиль мастерской напоминает атмосферу как на видео у Alex Burkan, который железного человека собирает.
#out
❤3🔥2