Sмарт-Пауза
169 subscribers
253 photos
75 videos
8 files
41 links
Канал посвящен домашним ИИ-ассистентам нового поколения: голос, зрение, память, действия.

Показываю свои разработки, делюсь опытом, ошибками и техническими решениями.
Download Telegram
Перевожу проект прошивки микрофона с Arduino на ESP-IDF. С Последним никогда не работал.

Как сейчас выглядит работа через агента.
✍2
Агент Max. MiniMax.🤖

Неделю поработал с платным Minimax M2.7 и один из этих дней был с Kimi K2.6 (бесплатный пробный период).📅
Все через API в режиме агента в VS Code.🛠

Это китайские LLM, рассчитанные больше под агентский режим, чем на чат-бот режим. 🧠
Kimi K2.6, ощущается, мощнее, но и дороже. Возможно, в следующем месяце перейду на него.
В юанях цена/качество Minimax M2.7 — огонь! 🔥

Что сделал: ✅

1. Перевел часть диссера на 50 страниц из MS Word в Latex. 📝 Конвертер + Агент. Агент помогал убрать все ошибки, чтобы документ компилировался. Теперь агент может просматривать диссер целиком для форматирования, перевода, редактуры и факт-чекинга. 🔍

2. Перевел скетч из Arduino IDE на ESP-IDF. 📜 Теперь мой ESP32-S3 на микрофоне кроме дуплексной связи по UDP еще и поднимает Wake Word благодаря библиотеке ESP-SR. Напомню - это ключевое слово для начала диалога.
🎙 Такое только с чат-ботами не сделал бы. Очень большая архитектура.
Контекста в диалогах по 150к токенов, это 450 страниц английского текста. 📚
🔥1🍾1🦄1
Сознание обретает

На сколько же он нафарширован сейчас…

Дня не хватит рассказать сколько тут технологий реализовано.

Огонь же 🔥 да?

#робот #ассистент
🔥7😁1🤯1
Sмарт-Пауза
Сознание обретает На сколько же он нафарширован сейчас… Дня не хватит рассказать сколько тут технологий реализовано. Огонь же 🔥 да? #робот #ассистент
⚽️Все происходит по воздуху: WiFi по UDP. Провод только для питания.

🏀Подсветкой управляет MCU.

🏈Wake-word целиком на MCU.

⚾️Фразы-реакции тоже на MCU.

🥎На стороне сервера:
STT, TTS локальные.
LLM облачная. 3 дня тестовых запросов потратили 60к токенов суммарной стоимостью 0.04 юаня.

🏐LLM здесь DeepSeek. Не путать с агентом о котором я писал ранее — на Minimax я код пишу.
✍2
This media is not supported in your browser
VIEW IN TELEGRAM
По щучьему веленью по моему хотенью.

В общем-то вот и всё. 👑
Связал микрофон на esp32, локальные ИИ на сервере и ROS2 на одноплатнике в одну систему. И все это может существовать гибко друг без друга. Микрофон от платформы только питание берет.

Реакция и ответы быстрые. Даже не пришлось делать фразу-отбивку, чтобы было время на подумать.

Дальше буду настраивать для устойчивого поведения. Чтобы LLM могла сама выкручиваться из всех ситуаций.

И самое последнее найти кейсы зачем мне вообще эта телега в доме 😄

#робот #ассистент
🔥6⚡1🤯1
Эксперты пишут как Китай преуспел в той или иной области сегодня. Хочу отметить как они тратят излишки ресурсов сейчас, чтобы получить отдачу через десятилетия. Страшно очень страшно. Играют сильно в долгую.

Дальше факты, оценивать можно как угодно. Из опыта за выходные. Как минимум в деньгах.

Город 南平: производит чай, повязан на экологии, участник программы zero-carbon. Каждый месяц приглашает по 50 студентов (по факту набралось 20 в моей группе) посмотреть на их город и их экологические программы. Платят за все на 3 дня.

- организованное перемещение (средний билет на скоростном поезде в одну сторону 350юаней)
- отель на центральной улице города. Считаем 5 звезд. Бассейн. Кароч 400 юаней обычно по Китаю за ночь.
- кормят в ресторанах
- возят по компаниям, показывают плантации чайные.

Сначала все выглядит подозрительно🤨. Я это оцениваю как распространение культурного влияния. Все организовано круто. Думаю это работает.
В циве 6 можно было одержать культурную победу.

#другое
❤3
За месяц работы с minimax проект серверной части ассистента очень сильно раздулся 📈: пайлайн-ассистента, сервер для ros2, сервер для микрофона, скиллы для LLM, web сервер как точка входа в это всё.

Дошли до такого с minimax, что он больше не вывозит размер проекта 🚫, и проект понемногу начал сыпаться 🧱.

Через бесплатные лимиты Codex стабилизировал архитектуру. Сделал успешный рефакторинг 4000 строк ✅. Ничего не сломал. Проект снова стал стабильным, но еще более сложным для понимания.

Взял теперь Kimi k2.6. Через него делаю полный рефакторинг архитектуры.

Сначала купил подписку за 49 юаней. Лимиты в Kimi Code закончились за 2 запроса: AGENTS_README.md (файл архитектуры проекта) и План реализации рефакторинга. Всё 🛑.

С разницей в 1 час ⏱️, купил подписку за 99 юаней, чтобы продолжать. Лимиты обновили, полную сумму за первую вернули 💸. Можно немного абузить 😁.

С minimax я не тратил и 20% — 5-часовых лимитов.
⚡2😁1🦄1
Об инструментах-ИИ от инженера.
Некоторые понятия могут пересекаются друг с другом, потому что слишком все быстро развилось и нет четких границ.

1. Модель vs Агент: в чем разница?

Модель (LLM): Это чистый генератор текста. Она выдает ответ на запрос, не умеет ходить в интернет или запускать код.
Агент: Это модель, завернутая в управляющий контур, который умеет планировать действия, вызывать инструменты, хранить состояние и выполнять задачи в несколько шагов.

2. Зоопарк агентов и встроенные инструменты 🛠
У каждого крупного вендора сейчас есть агенты со специализированными целями: для кодинга, работы с документами и тд.
Есть агенты с «полным фаршем» (встроенный поиск, компилятор, запуск скриптов).
Есть системы с минимальным набором встроенных инструментов. Они могут только работать с текстом и самостоятельно генерировать шаги решения. Например чтобы прочесть PDF они создадут скрипт-программу, распарят им файл и только тогда в текстовом виде прочтут PDF.

3. Оркестраторы 🪄
Оркестратор из:
LLM - создает подобие агента,
Агента - инструмент выполнения длительных последовательных задач,
Группы агентов - синхронизированную не мешающую друг другу систему.

Оркестратор это обычно легковесный софт, который распределяет задачи. Его цель чтобы агент делал что надо и когда надо, и не делал лишнего, то что не просили. Он говорит агенту, что название функции нужно поискать в ближайших папках, а не придумывать самому. (Примеры: Cline, OpenClaw)

4. Микс IDE/Оркестратор/Агент
Такие цельные, на закрытие среды как Claude Code и Codex, это больше чем оркестратор. Это ближе к цельной ОС. Подразумевает эффективное использование ресурсов системы, и токенов для своих моделей. Есть опция использовать сторонние модели, но будут недопонимания и не эффективность.

5. Почему API DeepSeek дешевый? 🧠
Они продают в основном доступ к LLM модели, а не к полноценной агентской платформе. Никакого доступа в интернет, взаимодействие только через текстовые форматы. Развернув под него MCP-сервера (прослойки, дающие модели доступ к инструментам), его способности расширяются, можно получить аналог агентской системы. Но мне кажется такая архитектура всегда будет менее эффективной, чем оптимизированный набор Среда + Агент от одного вендора.

Вывод/Summary
Прямо сейчас основные практические улучшения ИИ-инструментов идут не в сторону быстрее, выше, сильнее самих моделей, а в поле развития оркестраторов и инструментов. Главная гонка индустрии — это то, насколько эффективно LLM умеет взаимодействовать с внешними инструментами и работать с контекстом.

References:
1. Знания как общечеловеческое достояние
Веб-интерфейс сервера.

Все управление сервером сейчас находится на веб интерфейсе. Интерфейс на скринах.

На нем можно заниматься тонкой настройкой системы.
Источники информации вкл/выкл источники информации.
Способы обработки информации вкл/выкл.
Например как работает YOLO можно следить прямо в веб.

Режим ассистента я вывел как отдельная сущность.
Идея этого разделения в том, что у роботу можно подключаться удаленно вне локальной сети и использовать его микрофон и динамики для разговора. В локальной сети это уже работает.

Дальше YOLO я буду развивать до Vision Language Model (VLM). YOLO будет тригерить LLM какими-то редкими ивентами. VLM будет детально описывать пространство для LLM. Под это все у меня будет система ивентов. Все это нужно, чтобы робот умел сам реагировать на пространство, а не быть пассивным исполнителем.

#асситент #новости #web
🔥4
Это визуализация файла AGENTS.md
В двух разных графических вариантах.

Это архитектура, которая реально сейчас крутится на ассистенте и уже работает.

Пару месяцев назад все начиналось с линейной последовательности в блокирующем (синхронном режиме)


#ассистент #робот #новости
🦄2❤1🔥1
Софт без железок - скучно. Железки без софта - не полноценно.
Много цифровых картинок подряд. Не красиво.

Поэтому вот
Фотографии из обновленного музея Науки и Техники города Шанхая. Ремонтировали его 2 года. Тематических зон там много. Выложу роботов и электронику.

Это вайбовая мастерская на входе. Стиль мастерской напоминает атмосферу как на видео у Alex Burkan, который железного человека собирает.

#out
❤3🔥2