Vellium

- это локальный настольный инструмент для общения с ИИ, ролевых игр, голосовых разговоров и написания больших текстов.
Что включает в себя Vellium:
- Чат и ролевая игра: разветвленные временные линии, редактирование сообщений, несколько персонажей, личины, лоребуки, авторские заметки, состояние сцены, блоки подсказок, перевод, вложения, экспорт и управляемые автоматические ходы.
- Контекст с учетом рассуждений: поля рассуждений провайдера и <think> трассировки могут отображаться, ограничиваться, сохраняться и при необходимости возвращаться в модель в качестве контекста. Рассуждения в ролевой игре — это отдельный режим симуляции подсказок.
- Голосовой чат и аватары Inochi2D: микрофонный вход, STT-совместимость с Whisper, потоковая TTS, синхронизация губ/эмоций на основе параметров для .inp/.inx кукол, управление моделями и ролевыми играми, вложения, контекст экрана и инструменты чата в режиме Live.
- Написание: проекты, главы, сцены, Character Forge, аннотации, действия по переписыванию и расширению, контекст RAG, импорт DOCX и экспорт DOCX/Markdown.
- Персонажи и данные о мире: импорт/редактирование карточек персонажей, ручной порядок персонажей, участие нескольких персонажей, LoreBooks и импорт информации о мире.
- Знания и RAG: коллекции, ограниченная загрузка, эмбеддинги, опциональное изменение рейтинга и явные привязки для чата и письма.
- Провайдеры: API, совместимые с OpenAI, KoboldCpp, пользовательские адаптеры конечных точек, резервные модели, маршрутизация моделей для конкретных заданий и политика параметров API.
- Инструменты и расширения: вызовы инструментов MCP, структурированные результаты обработки изображений, локальные плагины, темы, виджеты, настраиваемые поля инспектора и виджеты на рабочем столе.
- Локальный контроль: сохранение данных в SQLite, полный локальный режим, проверка URL-адресов провайдеров, плагины с ограниченным доступом и отдельные средства защиты для мощных устаревших инструментов рабочего пространства.

Интерфейс переведен на английский, русский, китайский и японский языки.

Это работает, потому что маршрутизируемые эксперты хранятся на SSD и считываются только тогда, когда к ним обращается токен.
модель: https://huggingface.co/nitinpanj/qwen38-flash-next-v3
форк: https://github.com/npanj/llama.cpp
Это не будет работать на стандартной версии llama.cpp. В основной ветке есть архитектура, но нет флага экспертной потоковой обработки, поэтому программа просто пытается загрузить все 95,5 ГиБ и падает.
Скорость на M5 Pro (64 ГБ):
- обработка подсказок ~367 токенов в секунду
- генерация, черновик включен ~27,6 токенов в секунду
- генерация, черновик выключен 18–18,6 токенов в секунду
- при 29 тысячах контекстов, использование реального чата ~20,6 токенов в секунду!