🏠 Smart-Home GPT-2 - голосовое управление умным домом локально на CPU

https://github.com/barometech/smart-home-gpt2

Дообучил GPT-2 124M (475 МБ) под умный дом. Понимает голос на русском (и ещё 98 языках) через локальный стек. Без облака, без API, без интернета.

Цепочка:

Микрофон / WAV (любой язык)
        ↓
faster-whisper medium (translate)
RU/DE/FR/ES/... → EN за один шаг
        ↓
GPT-2 smart_home_v2 (124M, full FT)
        ↓
JSON tool call:
{"name":"turn_on_light",
 "arguments":{"room":"kitchen"}}
        ↓
эмулятор / реальное устройство

Что внутри:

Датасет. 1500 multi-tool примеров от 10 параллельных агентов Claude Opus 4.7. 10 доменов (свет, климат, безопасность, медиа, кухня, сад, шторы, уборка, таймеры, сенсоры), 100 уникальных функций, 3-5 кандидатов в каждом промпте. MIT, форкай.

SFT. 2 часа на 4 ядрах CPU. Resume с

gpt2_ft_final.pt

(тот же что в gpt2-tool-call). Один проход по 1200 items.

Голос. silero TTS для генерации тестов, faster-whisper для распознавания + перевода. Никаких отдельных переводчиков, всё в одной модели.

Fuzzy match. Модель галлюцинирует имя (

start_vacuum_cleaner

вместо

start_vacuum

)? Пост-обработка подтягивает к ближайшему в registry.

Цифры (честно):

Multi-tool selection (300 held-out)
─────────────────────────────────
OVERALL              71.7%
  garden             96%
  climate            86%
  cleaning           55%
  lighting           44%

Voice end-to-end (30 RU команд)
─────────────────────────────────
OVERALL              46.7%
  TTS 0.5s + STT 5s
  + GPT-2 25s = ~30s/команда CPU

Где ломается:

Whisper подменяет слова: «гостиной» → «hotel», «21 градус» → «a degree». GPT-2 124M путает похожие функции:

turn_on

vs

turn_off

,

query_temperature

vs

set_thermostat

. Cleaning/lighting (много похожих имён) - самые слабые домены.

Потолок 124M. Для production нужна модель побольше, но архитектура и пайплайн уже работают.

Воспроизведение: git clone + git lfs pull + python src/voice_pipeline.py. README билингвальный (русский сверху, English ниже с якорем).

https://github.com/barometech/smart-home-gpt2


🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Поданы на утверждение к печати 3 статьи. Прикладная математика. Информатика. Процессы управления» (СПИСОК-2, ВАК) три научные статьи.

(1) «Корпус RUKALLAMA». Методология построения русскоязычного образовательного датасета на 763 советских учебниках 1926–1990 гг. VLM-OCR через Llama-4-Scout-17B; токенизатор RUKANIZER (100 032 в словаре, сжатие 4,33 знака/токен, 100% обратимость, лучший в 8 из 9 доменов); автоматическая ёфикация на 19 052 словоформах + pymorphy3. На MERA: PARus 55,8% и ruOpenBookQA 33,6% (статистически значимо). - внутри деталей больше

(2) «RUKALLAMA — KAN-модель». 853 млн параметров, TrueKAN с базисом Чебышёва K=3 — на 38% быстрее nn.Linear в скомпилированном режиме. Батчированное KAN-внимание ×4,6. Формальный анализ attention sink (порядок применения bias и RoPE) и его устранение — стабильных sink-голов 4 → 0. На MERA PARus 56,8% — лучший среди русскоязычных моделей класса до 1 млрд параметров.- внутри деталей больше

(3) «PromeTorch на NM Card / NM Quad». Суверенный фреймворк (~100К строк C++/CUDA/Python без зависимостей от PyTorch) для отечественных ускорителей НТЦ Модуль. SIMD через nmpp даёт ×100 к скаляру; 16-ядерный волновой backward — 80% линейной масштабируемости. MNIST 93,64% на эмуляторе, 705 tok/s на NM Quad. Тренировка PIR-250M (189M) на Эльбрусе E8C2 — быстрее PyTorch 2.7.1. - внутри деталей больше


🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Насчёт новостей:

1) Rukallama V11 прошла 60% второй эпохи. Loss упал до 3.3 - это прекрасные показатели. Я остановлюсь на примерно 2.7-2.9 LOSS - этого при моём количестве параметров и количестве токенов (8 млрд токенов датасета) вполне себе нормально будет для начала SFT!

Rukallama V11 показывает здравое поведение, отвечает на вопросы часто по существу. Имеет проблемы с повторами, но уже по причине самой механики трансформеров, что можно будет убрать при дообучении. УРА - тут всё окей вообще без вопросов. Самый тяжелый и трудоёмкий проект.

2) На меня вышли из Института Государственно-Частного Планирования, а конкретно генеральный директор данного заведения. У них целая рабочая группа, кластер из 18 команий, которые заинтересованы в работе Эльбрусов и многого на них, также учитывая языковые модельки. Будем, надеюсь сотрудничать по теме и развивать ИИ уже в другом масштабе.

3) Я устроился на работку и там очень интересный проект. Рассказывать особо не могу, но, главное, занятость не полная - поэтому можно будет оставить воздуха для работы уже непосредственно со своими проектами, при этом получая средства для существования.

4) Тема с нейронами, с калькуляцией и так далее невозможна на одной моей карте, а тратить на Google Colab желания нет. Это временно относится на второй план иначе я НИКОГДА НЕ ДОДЕЛАЮ RUKALLAMA!

Как бы мне не были интересны эти проекты сторонние мои, но там, где нужна видео карта моя - я не могу ничего поделать. Там Rukallama. Если есть желание накинуть в yoomoney, на карту и так далее, то ссылки будут ниже.


Всё очень просто. Я не буду работать с инвесторами, но у меня есть синтеты. Они всегда выручат когда надо подсобить. (это не сигнал о помощи, это сигнал о взаимодействии). Мне просто не всегда хватает своих кровных на все подписки. Как только хватает - все проекты льются как из рога изобилия. Нужны компьюты - часы видеокарт.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com