😁4⚡1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
По щучьему веленью по моему хотенью.
В общем-то вот и всё. 👑
Связал микрофон на esp32, локальные ИИ на сервере и ROS2 на одноплатнике в одну систему. И все это может существовать гибко друг без друга. Микрофон от платформы только питание берет.
Реакция и ответы быстрые. Даже не пришлось делать фразу-отбивку, чтобы было время на подумать.
Дальше буду настраивать для устойчивого поведения. Чтобы LLM могла сама выкручиваться из всех ситуаций.
И самое последнее найти кейсы зачем мне вообще эта телега в доме 😄
#робот #ассистент
В общем-то вот и всё. 👑
Связал микрофон на esp32, локальные ИИ на сервере и ROS2 на одноплатнике в одну систему. И все это может существовать гибко друг без друга. Микрофон от платформы только питание берет.
Реакция и ответы быстрые. Даже не пришлось делать фразу-отбивку, чтобы было время на подумать.
Дальше буду настраивать для устойчивого поведения. Чтобы LLM могла сама выкручиваться из всех ситуаций.
И самое последнее найти кейсы зачем мне вообще эта телега в доме 😄
#робот #ассистент
🔥6⚡1🤯1
Эксперты пишут как Китай преуспел в той или иной области сегодня. Хочу отметить как они тратят излишки ресурсов сейчас, чтобы получить отдачу через десятилетия. Страшно очень страшно. Играют сильно в долгую.
Дальше факты, оценивать можно как угодно. Из опыта за выходные. Как минимум в деньгах.
Город 南平: производит чай, повязан на экологии, участник программы zero-carbon. Каждый месяц приглашает по 50 студентов (по факту набралось 20 в моей группе) посмотреть на их город и их экологические программы. Платят за все на 3 дня.
- организованное перемещение (средний билет на скоростном поезде в одну сторону 350юаней)
- отель на центральной улице города. Считаем 5 звезд. Бассейн. Кароч 400 юаней обычно по Китаю за ночь.
- кормят в ресторанах
- возят по компаниям, показывают плантации чайные.
Сначала все выглядит подозрительно🤨. Я это оцениваю как распространение культурного влияния. Все организовано круто. Думаю это работает.
В циве 6 можно было одержать культурную победу.
#другое
Дальше факты, оценивать можно как угодно. Из опыта за выходные. Как минимум в деньгах.
Город 南平: производит чай, повязан на экологии, участник программы zero-carbon. Каждый месяц приглашает по 50 студентов (по факту набралось 20 в моей группе) посмотреть на их город и их экологические программы. Платят за все на 3 дня.
- организованное перемещение (средний билет на скоростном поезде в одну сторону 350юаней)
- отель на центральной улице города. Считаем 5 звезд. Бассейн. Кароч 400 юаней обычно по Китаю за ночь.
- кормят в ресторанах
- возят по компаниям, показывают плантации чайные.
Сначала все выглядит подозрительно🤨. Я это оцениваю как распространение культурного влияния. Все организовано круто. Думаю это работает.
#другое
❤3
За месяц работы с minimax проект серверной части ассистента очень сильно раздулся 📈: пайлайн-ассистента, сервер для ros2, сервер для микрофона, скиллы для LLM, web сервер как точка входа в это всё.
Дошли до такого с minimax, что он больше не вывозит размер проекта 🚫, и проект понемногу начал сыпаться 🧱.
Через бесплатные лимиты Codex стабилизировал архитектуру. Сделал успешный рефакторинг 4000 строк ✅. Ничего не сломал. Проект снова стал стабильным, но еще более сложным для понимания.
Взял теперь Kimi k2.6. Через него делаю полный рефакторинг архитектуры.
Сначала купил подписку за 49 юаней. Лимиты в Kimi Code закончились за 2 запроса: AGENTS_README.md (файл архитектуры проекта) и План реализации рефакторинга. Всё 🛑.
С разницей в 1 час ⏱️, купил подписку за 99 юаней, чтобы продолжать. Лимиты обновили, полную сумму за первую вернули 💸. Можно немного абузить 😁.
С minimax я не тратил и 20% — 5-часовых лимитов.
Дошли до такого с minimax, что он больше не вывозит размер проекта 🚫, и проект понемногу начал сыпаться 🧱.
Через бесплатные лимиты Codex стабилизировал архитектуру. Сделал успешный рефакторинг 4000 строк ✅. Ничего не сломал. Проект снова стал стабильным, но еще более сложным для понимания.
Взял теперь Kimi k2.6. Через него делаю полный рефакторинг архитектуры.
Сначала купил подписку за 49 юаней. Лимиты в Kimi Code закончились за 2 запроса: AGENTS_README.md (файл архитектуры проекта) и План реализации рефакторинга. Всё 🛑.
С разницей в 1 час ⏱️, купил подписку за 99 юаней, чтобы продолжать. Лимиты обновили, полную сумму за первую вернули 💸. Можно немного абузить 😁.
С minimax я не тратил и 20% — 5-часовых лимитов.
⚡2😁1🦄1
Об инструментах-ИИ от инженера.
Некоторые понятия могут пересекаются друг с другом, потому что слишком все быстро развилось и нет четких границ.
1. Модель vs Агент: в чем разница?
Модель (LLM): Это чистый генератор текста. Она выдает ответ на запрос, не умеет ходить в интернет или запускать код.
Агент: Это модель, завернутая в управляющий контур, который умеет планировать действия, вызывать инструменты, хранить состояние и выполнять задачи в несколько шагов.
2. Зоопарк агентов и встроенные инструменты 🛠
У каждого крупного вендора сейчас есть агенты со специализированными целями: для кодинга, работы с документами и тд.
Есть агенты с «полным фаршем» (встроенный поиск, компилятор, запуск скриптов).
Есть системы с минимальным набором встроенных инструментов. Они могут только работать с текстом и самостоятельно генерировать шаги решения. Например чтобы прочесть PDF они создадут скрипт-программу, распарят им файл и только тогда в текстовом виде прочтут PDF.
3. Оркестраторы 🪄
Оркестратор из:
LLM - создает подобие агента,
Агента - инструмент выполнения длительных последовательных задач,
Группы агентов - синхронизированную не мешающую друг другу систему.
Оркестратор это обычно легковесный софт, который распределяет задачи. Его цель чтобы агент делал что надо и когда надо, и не делал лишнего, то что не просили. Он говорит агенту, что название функции нужно поискать в ближайших папках, а не придумывать самому. (Примеры: Cline, OpenClaw)
4. Микс IDE/Оркестратор/Агент
Такие цельные, на закрытие среды как Claude Code и Codex, это больше чем оркестратор. Это ближе к цельной ОС. Подразумевает эффективное использование ресурсов системы, и токенов для своих моделей. Есть опция использовать сторонние модели, но будут недопонимания и не эффективность.
5. Почему API DeepSeek дешевый? 🧠
Они продают в основном доступ к LLM модели, а не к полноценной агентской платформе. Никакого доступа в интернет, взаимодействие только через текстовые форматы. Развернув под него MCP-сервера (прослойки, дающие модели доступ к инструментам), его способности расширяются, можно получить аналог агентской системы. Но мне кажется такая архитектура всегда будет менее эффективной, чем оптимизированный набор Среда + Агент от одного вендора.
Вывод/Summary
Прямо сейчас основные практические улучшения ИИ-инструментов идут не в сторону быстрее, выше, сильнее самих моделей, а в поле развития оркестраторов и инструментов. Главная гонка индустрии — это то, насколько эффективно LLM умеет взаимодействовать с внешними инструментами и работать с контекстом.
References:
1. Знания как общечеловеческое достояние
Некоторые понятия могут пересекаются друг с другом, потому что слишком все быстро развилось и нет четких границ.
1. Модель vs Агент: в чем разница?
Модель (LLM): Это чистый генератор текста. Она выдает ответ на запрос, не умеет ходить в интернет или запускать код.
Агент: Это модель, завернутая в управляющий контур, который умеет планировать действия, вызывать инструменты, хранить состояние и выполнять задачи в несколько шагов.
2. Зоопарк агентов и встроенные инструменты 🛠
У каждого крупного вендора сейчас есть агенты со специализированными целями: для кодинга, работы с документами и тд.
Есть агенты с «полным фаршем» (встроенный поиск, компилятор, запуск скриптов).
Есть системы с минимальным набором встроенных инструментов. Они могут только работать с текстом и самостоятельно генерировать шаги решения. Например чтобы прочесть PDF они создадут скрипт-программу, распарят им файл и только тогда в текстовом виде прочтут PDF.
3. Оркестраторы 🪄
Оркестратор из:
LLM - создает подобие агента,
Агента - инструмент выполнения длительных последовательных задач,
Группы агентов - синхронизированную не мешающую друг другу систему.
Оркестратор это обычно легковесный софт, который распределяет задачи. Его цель чтобы агент делал что надо и когда надо, и не делал лишнего, то что не просили. Он говорит агенту, что название функции нужно поискать в ближайших папках, а не придумывать самому. (Примеры: Cline, OpenClaw)
4. Микс IDE/Оркестратор/Агент
Такие цельные, на закрытие среды как Claude Code и Codex, это больше чем оркестратор. Это ближе к цельной ОС. Подразумевает эффективное использование ресурсов системы, и токенов для своих моделей. Есть опция использовать сторонние модели, но будут недопонимания и не эффективность.
5. Почему API DeepSeek дешевый? 🧠
Они продают в основном доступ к LLM модели, а не к полноценной агентской платформе. Никакого доступа в интернет, взаимодействие только через текстовые форматы. Развернув под него MCP-сервера (прослойки, дающие модели доступ к инструментам), его способности расширяются, можно получить аналог агентской системы. Но мне кажется такая архитектура всегда будет менее эффективной, чем оптимизированный набор Среда + Агент от одного вендора.
Вывод/Summary
Прямо сейчас основные практические улучшения ИИ-инструментов идут не в сторону быстрее, выше, сильнее самих моделей, а в поле развития оркестраторов и инструментов. Главная гонка индустрии — это то, насколько эффективно LLM умеет взаимодействовать с внешними инструментами и работать с контекстом.
References:
1. Знания как общечеловеческое достояние
Веб-интерфейс сервера.
Все управление сервером сейчас находится на веб интерфейсе. Интерфейс на скринах.
На нем можно заниматься тонкой настройкой системы.
Источники информации вкл/выкл источники информации.
Способы обработки информации вкл/выкл.
Например как работает YOLO можно следить прямо в веб.
Режим ассистента я вывел как отдельная сущность.
Идея этого разделения в том, что у роботу можно подключаться удаленно вне локальной сети и использовать его микрофон и динамики для разговора. В локальной сети это уже работает.
Дальше YOLO я буду развивать до Vision Language Model (VLM). YOLO будет тригерить LLM какими-то редкими ивентами. VLM будет детально описывать пространство для LLM. Под это все у меня будет система ивентов. Все это нужно, чтобы робот умел сам реагировать на пространство, а не быть пассивным исполнителем.
#асситент #новости #web
Все управление сервером сейчас находится на веб интерфейсе. Интерфейс на скринах.
На нем можно заниматься тонкой настройкой системы.
Источники информации вкл/выкл источники информации.
Способы обработки информации вкл/выкл.
Например как работает YOLO можно следить прямо в веб.
Режим ассистента я вывел как отдельная сущность.
Идея этого разделения в том, что у роботу можно подключаться удаленно вне локальной сети и использовать его микрофон и динамики для разговора. В локальной сети это уже работает.
Дальше YOLO я буду развивать до Vision Language Model (VLM). YOLO будет тригерить LLM какими-то редкими ивентами. VLM будет детально описывать пространство для LLM. Под это все у меня будет система ивентов. Все это нужно, чтобы робот умел сам реагировать на пространство, а не быть пассивным исполнителем.
#асситент #новости #web
🔥4
Это визуализация файла AGENTS.md
В двух разных графических вариантах.
Это архитектура, которая реально сейчас крутится на ассистенте и уже работает.
#ассистент #робот #новости
В двух разных графических вариантах.
Это архитектура, которая реально сейчас крутится на ассистенте и уже работает.
Пару месяцев назад все начиналось с линейной последовательности в блокирующем (синхронном режиме)
#ассистент #робот #новости
🦄2❤1🔥1
Софт без железок - скучно. Железки без софта - не полноценно.
Много цифровых картинок подряд. Не красиво.
Поэтому вот
Фотографии из обновленного музея Науки и Техники города Шанхая. Ремонтировали его 2 года. Тематических зон там много. Выложу роботов и электронику.
Это вайбовая мастерская на входе. Стиль мастерской напоминает атмосферу как на видео у Alex Burkan, который железного человека собирает.
#out
Много цифровых картинок подряд. Не красиво.
Поэтому вот
Фотографии из обновленного музея Науки и Техники города Шанхая. Ремонтировали его 2 года. Тематических зон там много. Выложу роботов и электронику.
Это вайбовая мастерская на входе. Стиль мастерской напоминает атмосферу как на видео у Alex Burkan, который железного человека собирает.
#out
❤3🔥2
Питание робота ⚡️
Добавляю сенсор WCMCU-226, чтобы через ROS2 ноду следить за напряжением и током аккумулятора.
Это подготовка к интеграции док-станции.
А заодно измерил потребление на 5В линии под нагрузкой и со всеми сенсорами. Но без монитора.
Все что идет через rp4 потребляет 6.25Вт.
Разговаривающий и светящийся микрофон на отдельной линии и у него 1.86Вт потребления.
Итого занято 8.11 из 15 Вт доступных на самом базовом преобразователе LM2596s DC-DC.
На монитор, который теоретически потребляет 3Вт, запаса хватает.
Добавляю сенсор WCMCU-226, чтобы через ROS2 ноду следить за напряжением и током аккумулятора.
Это подготовка к интеграции док-станции.
А заодно измерил потребление на 5В линии под нагрузкой и со всеми сенсорами. Но без монитора.
Все что идет через rp4 потребляет 6.25Вт.
Разговаривающий и светящийся микрофон на отдельной линии и у него 1.86Вт потребления.
Итого занято 8.11 из 15 Вт доступных на самом базовом преобразователе LM2596s DC-DC.
На монитор, который теоретически потребляет 3Вт, запаса хватает.
⚡4✍1🔥1