Питание робота ⚡️
Добавляю сенсор WCMCU-226, чтобы через ROS2 ноду следить за напряжением и током аккумулятора.
Это подготовка к интеграции док-станции.
А заодно измерил потребление на 5В линии под нагрузкой и со всеми сенсорами. Но без монитора.
Все что идет через rp4 потребляет 6.25Вт.
Разговаривающий и светящийся микрофон на отдельной линии и у него 1.86Вт потребления.
Итого занято 8.11 из 15 Вт доступных на самом базовом преобразователе LM2596s DC-DC.
На монитор, который теоретически потребляет 3Вт, запаса хватает.
Добавляю сенсор WCMCU-226, чтобы через ROS2 ноду следить за напряжением и током аккумулятора.
Это подготовка к интеграции док-станции.
А заодно измерил потребление на 5В линии под нагрузкой и со всеми сенсорами. Но без монитора.
Все что идет через rp4 потребляет 6.25Вт.
Разговаривающий и светящийся микрофон на отдельной линии и у него 1.86Вт потребления.
Итого занято 8.11 из 15 Вт доступных на самом базовом преобразователе LM2596s DC-DC.
На монитор, который теоретически потребляет 3Вт, запаса хватает.
⚡4✍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Музей Науки и Техники
«Внедрение передовых технологий, коллеги. Нужно проактивно внедрять инновации. Держать руку на пульсе, коллеги»
В общем, вот интересное по робо-части из музея. Я там был через 2 месяца после его обновленияи часть экспонатов уже была сломана 😄 . Показывают реально передовые штуки, что еще не особо внедрили.
Отметилось большое количество стендов с разными объяснениями как работает векторизация изображения и извлечение из них признаков. Очень хотят чтобы школяры картинки сразу числами видели, а не цветами 🥲
«Внедрение передовых технологий, коллеги. Нужно проактивно внедрять инновации. Держать руку на пульсе, коллеги»
В общем, вот интересное по робо-части из музея. Я там был через 2 месяца после его обновления
Отметилось большое количество стендов с разными объяснениями как работает векторизация изображения и извлечение из них признаков. Очень хотят чтобы школяры картинки сразу числами видели, а не цветами 🥲
🔥3👍1😁1🍾1
Media is too big
VIEW IN TELEGRAM
Чётко.
Можно в продакшн.
Реализовать прерывания было очень сложно. На этой ушло много времени.
Напоминаю что тут происходит за эти секунды между ответами:
0. На микрофоне его собственный детектор речи (VAD) + тригерное слово (wake-word);
1. С микрофона на локальный сервер уходит звук по UDP;
2. Детектор речи (VAD) на сервере определяет речь и информирует об этом микрофон (таким образом обрабатывается сброс состояния если клиент ничего не говорит дальше);
2. STT локальный расшифровывает речь в текст;
3. Расшифровка агрегируется и отправляет запрос к DeepSeek;
4. Ответ LLM часть это функции, часть текст для озвучки;
5. TTS локальный генерирует речь и по UDP в стриминговом режиме отправляет на микрофон (в этот момент GPU на 100%);
6. Собственный State Machine над pipeline контролирует всю очередность ходов.
#ассистент #тесты
Можно в продакшн.
Реализовать прерывания было очень сложно. На этой ушло много времени.
Напоминаю что тут происходит за эти секунды между ответами:
0. На микрофоне его собственный детектор речи (VAD) + тригерное слово (wake-word);
1. С микрофона на локальный сервер уходит звук по UDP;
2. Детектор речи (VAD) на сервере определяет речь и информирует об этом микрофон (таким образом обрабатывается сброс состояния если клиент ничего не говорит дальше);
2. STT локальный расшифровывает речь в текст;
3. Расшифровка агрегируется и отправляет запрос к DeepSeek;
4. Ответ LLM часть это функции, часть текст для озвучки;
5. TTS локальный генерирует речь и по UDP в стриминговом режиме отправляет на микрофон (в этот момент GPU на 100%);
6. Собственный State Machine над pipeline контролирует всю очередность ходов.
#ассистент #тесты
🔥6⚡1
Sмарт-Пауза
Чётко. Можно в продакшн. Реализовать прерывания было очень сложно. На этой ушло много времени. Напоминаю что тут происходит за эти секунды между ответами: 0. На микрофоне его собственный детектор речи (VAD) + тригерное слово (wake-word); 1. С микрофона…
📊 Статистика проекта
Рабочий код системы (без данных, моделей, кэша и аудио).
Всего: ~38 000 строк.
По языкам:
• Python: ~31 000
• JS/Vue/CSS: ~4 000
• Markdown: ~2 500
• JSON/HTML/TOML: ~500
По директориям:
Рабочий код системы (без данных, моделей, кэша и аудио).
Всего: ~38 000 строк.
По языкам:
• Python: ~31 000
• JS/Vue/CSS: ~4 000
• Markdown: ~2 500
• JSON/HTML/TOML: ~500
По директориям:
src/services: 82 файла, 12 100 строк.tests: 61 файл, 8 700 строк.dashboard: 19 файлов, 4 100 строк.src/core: 8 файлов, 3 200 строк.src/devices: 14 файлов, 3 000 строк.docs: 6 файлов, 1 700 строк.src/infrastructure: 8 файлов, 1 200 строк.src/config: 3 файла, 1 150 строк.scripts: 5 файлов, 780 строк.src/transports: 2 файла, 720 строк.👨💻3🔥1
У меня появилась долгосрочная память 🧠.
Контекст каждой сессии обрабатывается LLM, сохраняющей важные факты о членах семьи, добавляются теги. В новые сессии загружаются данные из памяти — ассистент не начинает с чистого листа 🔄.
Первыми это внедрили в OpenAI около 2 лет назад. Потом долгое время никто не добавлял эту функцию; последние полгода она появилась в Gemini. У Grok вроде нет. А модели для программирования в этом вообще не нуждаются.
#ассистент #новости
Контекст каждой сессии обрабатывается LLM, сохраняющей важные факты о членах семьи, добавляются теги. В новые сессии загружаются данные из памяти — ассистент не начинает с чистого листа 🔄.
Первыми это внедрили в OpenAI около 2 лет назад. Потом долгое время никто не добавлял эту функцию; последние полгода она появилась в Gemini. У Grok вроде нет. А модели для программирования в этом вообще не нуждаются.
#ассистент #новости
❤3🔥1
Сплит начался
Реализовал 5 слотов для разных личностей:
1. На микрофоне может одновременно храниться 5 слотов голосов для разных личностей. Причем в каждом слоте есть еще и разные вариации фраз 🎤.
2. Слоты можно перезаписывать по воздуху, быстрее чем за секунду, любой вообще записью ⚡️.
3. Самая крутая фишка: загруженные по воздуху голоса остаются в энергонезависимой памяти и никуда не теряются при перезагрузке.
Это всё для того, чтобы на лету менять личность персонажа, а также языки, на которых они говорят 🌍.
Вообще вся эта тема с голосами и интерес к естественным TTS проснулся из-за того, что меня повседневно окружают 3 языка, и их еще нужно практиковать 👅
Реализовал 5 слотов для разных личностей:
1. На микрофоне может одновременно храниться 5 слотов голосов для разных личностей. Причем в каждом слоте есть еще и разные вариации фраз 🎤.
2. Слоты можно перезаписывать по воздуху, быстрее чем за секунду, любой вообще записью ⚡️.
Это кстати путь к созданию системы ответов на основе предзаписанных ответов, чтобы не дергать TTS по пустякам.
3. Самая крутая фишка: загруженные по воздуху голоса остаются в энергонезависимой памяти и никуда не теряются при перезагрузке.
Это всё для того, чтобы на лету менять личность персонажа, а также языки, на которых они говорят 🌍.
Вообще вся эта тема с голосами и интерес к естественным TTS проснулся из-за того, что меня повседневно окружают 3 языка, и их еще нужно практиковать 👅
🦄3🔥1
Media is too big
VIEW IN TELEGRAM
Вот так сейчас выглядит всё вместе 🥹
На YouTube залил в 720р
https://youtube.com/shorts/0nO8FARRYgA?si=fYjhki7blq2d3rKt
На YouTube залил в 720р
https://youtube.com/shorts/0nO8FARRYgA?si=fYjhki7blq2d3rKt
🔥6❤2😁2
Ломка по токенам привела к тому, что я открыл для себя Qoder CN (интерфейс на второй картинке). Это форк VS Code, получается, китайский отечественный VS Code в инфраструктуре Alibaba Cloud, а они у себя агрегировали всю китайскую знать: DeepSeek v4 max, Qwen 3.7 max, Kimi 2.6/2.7, а фаворит — GLM 5.2. Короче, всё это в одном месте, оплата в юанях, и вроде бы всё тот же VS Code.
Выглядит красиво, особенно со скидками. Да, к уровню Opus 4.8 приблизился только GLM 5.2. Но начиная даже с Kimi можно решить задачу с кодовой базой любого размера. Особенно в связке с бесплатными лимитами Codex, который пишет глобальные планы рефакторинга.
Выглядит красиво, особенно со скидками. Да, к уровню Opus 4.8 приблизился только GLM 5.2. Но начиная даже с Kimi можно решить задачу с кодовой базой любого размера. Особенно в связке с бесплатными лимитами Codex, который пишет глобальные планы рефакторинга.
✍3