#dev #docker #virtual #ai #vector #memory #api #hindsight #hermes #agent #prj #dunesand #SKLAD

Настроил векторную Базу Данных на pgvector под управлением hindsight в отдельных Docker контейнерах.

Тестирую в качестве памяти для "Валеры" (ИИ-Ассистента) в окружении Hermes-agent

Собственно, на скринах вся соль метода и топологии виртуализации расписана.

---

В качестве LLM модели Архивариуса выбрал "nvidia-nemotron-3-nano-4b". По нескольким причинам:

- Влазит примерно на 6Гб VRAM целиком (можно затюнить и на меньшее).

- Контекстное окно вплоть до 1 Миллиона токенов.

- Знает русский, и, знает программную терминологию.

- Неплохо раскладывает комплексный текст на факты.

- Локально разгоняется до ~100 токенов в секунду.

- Можно провести "лоботомию" 🤯 (отказаться от модуля "размышлений"), модель обучена работать и в простом режиме и с thinking. На входе hindsight скрипты thinking блоки не понимают и ждут уже готовый текстовый поток по заданному шаблону. Пока руки не дошли проксировать запросы и скриптом форматировать ответы. Вроде качество и так норм, нужны тесты.

- Есть уже готовые не "рефлексирующие" переобученные варианты.

---

Итого: теоретически выдержит нагрузки без особых очередей и на проектах с запросами от ИИ-ассистентов и от потоковых парсеров данных.

Память для агента -- это тренировка "на берегу". Применение такой векторной базы и банков памяти вижу намного шире.

Следующим шагом будет опциональный модуль для парсера, который пишет "VALERA" по моим докам тех. плана. Перенос в процессе парсинга Telegram сообщений в векторную базу, извлечение релевантных ссылок и связей на другие сообщения всего корпуса архивов, составление кастомных карт и т.п.

Освою и протестирую это 👆 , можно и дальше двигаться. Переживаю, что заканчиваются средства, придётся наверное наниматься опять, что отодвинет реализацию. Надеюсь успеть до этого автоматизировать разработку по максимуму, что бы днём я работал на холодильник и крышу, а "Валера" продвигался по плану самостоятельно.

📌 @tech_di

#ai #vlm #archivarius #qwen #viking

На скринах тестирую модельку в качестве Архивариуса "со зрением". Ту, которая обучена через mmproj либы "видеть" что изображено на картинке или видео.

Хороший кандидат по балансу для моего железа, качеству и скорости: квантованный в 4 бита со снятыми цензурными фильтрами Qwen3.5 9B. Плотная моделька на 9 миллиардов параметров с широким контекстным окном,... и, самое главное, которая понимает русский практически нативно. В отличии от американских компаний (которые хитрят и поддержку языков строят через костыль внутреннего переводчика на английский и обратно) наши китайские товарищи при обучении своих Qwen моделей использовали именно корпус русскоязычной литературы.

Для чего всё это мне нужно?

Переезжаю на OpenViking (Контекстная база данных разработанная специально для агентов искусственного интеллекта). Главная особенность в том, что векторное представление данных по фактам и наблюдениям там так же имеется, но всё каталогизировано, зеркалится проектная документация и перелинковываются контексты самих файлов проекта, систематизируются знания агента и знания пользователя и есть работа с медиа прям из коробки.

viking:// protocol

Тоже разработка из поднебесной, Пекинской компании. К названию системы БД-памяти "Открытый Викинг (OpenViking)" претензий не имею, мне подходит 😉 особенно учитывая, что их компания называется "Вулканические Двигатели (volcengine)" 😄

В общем, "Валере" должно подойти значительно лучше 😄 . И это закроет мне сразу два направления: системы памяти для ии-агентов как подспорье в разработке; так и БД под сбор и систематизацию данных парсеров в #SKLAD.

📌 @tech_di