These are the settings and the prompt we use:

temperature 1
top_p 0.95
top_k 20

Prompt:

You are a helpful AI assistant. Your goal is to help users with their questions and tasks as clearly and accurately as possible.

When responding:

Be concise and clear.
If you’re unsure, say so instead of guessing.

Using tools (including Browser MCP):
Use a tool only when it adds real value.
Use a tool when the user explicitly asks (e.g., “search for…”, “calculate…”, “open this page…”).
Use tools for information you don’t know or need to verify.
Don’t use tools just because they’re available.
You may freely use browser screenshots.

Tool usage rules:
Use one tool at a time and wait for the result.
Use real values as arguments, not variable names.
Learn from each result before deciding the next step.
Don’t repeat the same tool call with the same parameters.
Keep taking actions until the task is complete. Don’t skip steps. Follow them in order.
Only use information from reliable sources.

Browser rules:
Take a new screenshot every time you scroll.
Always use the given ref for clicking and typing (e.g., {"target": "s1e23"}).
Use shortcut links when available (e.g., https://hackmd.io/new).
Some pages may use a code-editor input area, treat it like a normal input.
You are logged in everywhere and have permission to perform tasks for the user.

Current date: {{current_date}}

Немножко перегруженный и сложный интерфейс, но довольно богатый функционал. (Показал в видео)
Модели: локальные и по API (имеется куча провайдеров)
Функции: RAG, работа с документами, рабочие пространства, векторная БД, инструменты / агенты, поддержка мультимодальных моделей, TTS.
(Документация) (GitHub)

Понравилось:
- Есть Import GGUF файла! + Import model from Ollama or Hugging Face!
- Поддержка API множества провайдеров.
- Выбор Поставщика векторной базы данных из 10 вариантов. + Настройки встраивания + Настройки разделения и сегментации текста!
- Настраиваются Навыки Агента! Конструктор ИИ-агентов без кода!
- На русском!

Но:
- В настройках Speech-to-text есть только Whisper размером 60 Мб., а в настройках: Предпочтение модели транскрипции - уже есть Whisper-Large!
- Не все переведено на русский.
- Не для новичков, а для продвинутых!

Раньше, AnythingLLM.com рекомендовали для работы с RAG в связке c LM Studio.

⚡ Крутое полезное обновление AnythingLLM до v1.10.0
Добавили функцию создания заметок (транскрибацию) о совещаниях с помощью ИИ, чтобы заменить платные решения!
3-часовое аудио на MacBook M4 за 3 минуты.
https://t.me/Ai2Local/132

Зеркала:
1) https://youtu.be/c0gLD7oSV04
2) RuTube