Чат с документами, локально:
#gpt4all
https://docs.gpt4all.io/gpt4all_chat.html#localdocs-plugin-chat-with-your-data
Инструкция по использованию чата с документами на русском:
Установите последнюю версию GPT4All Chat с веб-сайта GPT4All.
Перейти к
Загрузить модель SBert
Настройте коллекцию (папку) на вашем компьютере, содержащую файлы, к которым должен быть доступ ваша нейросеть. Вы можете изменить содержимое папки / каталога в любое время. По мере добавления новых файлов в вашу коллекцию ваша модель будет динамически получать к ним доступ.
Запустите сеанс чата с любым LLM.
В правом верхнем углу щелкните значок базы данных и выберите, о какой коллекции вы хотите, чтобы ваша модель во время сеанса чата.
Вы можете начать поиск в своих localdocs еще до завершения индексации коллекции, но обратите внимание, что поиск не будет включать те части коллекции, которые еще предстоит проиндексировать.
LocalDocs не может:
Отвечать на общие запросы метаданных (например, What documents do you know about?, Tell me about my documents)
Обобщите один документ (например, Summarize my magna carta PDF.)
режим API:
https://docs.gpt4all.io/gpt4all_chat.html#server-mode
Включение режима сервера в клиенте чата приведет к запуску HTTP-сервера, работающего на localhost порту 4891 .
Вы можете включить веб-сервер через
#gpt4all
https://docs.gpt4all.io/gpt4all_chat.html#localdocs-plugin-chat-with-your-data
Инструкция по использованию чата с документами на русском:
Установите последнюю версию GPT4All Chat с веб-сайта GPT4All.
Перейти к
Settings > LocalDocs tab.Загрузить модель SBert
Настройте коллекцию (папку) на вашем компьютере, содержащую файлы, к которым должен быть доступ ваша нейросеть. Вы можете изменить содержимое папки / каталога в любое время. По мере добавления новых файлов в вашу коллекцию ваша модель будет динамически получать к ним доступ.
Запустите сеанс чата с любым LLM.
В правом верхнем углу щелкните значок базы данных и выберите, о какой коллекции вы хотите, чтобы ваша модель во время сеанса чата.
Вы можете начать поиск в своих localdocs еще до завершения индексации коллекции, но обратите внимание, что поиск не будет включать те части коллекции, которые еще предстоит проиндексировать.
LocalDocs не может:
Отвечать на общие запросы метаданных (например, What documents do you know about?, Tell me about my documents)
Обобщите один документ (например, Summarize my magna carta PDF.)
режим API:
https://docs.gpt4all.io/gpt4all_chat.html#server-mode
Включение режима сервера в клиенте чата приведет к запуску HTTP-сервера, работающего на localhost порту 4891 .
Вы можете включить веб-сервер через
GPT4All Chat > Settings > Enable web serveropenai.api_base = "http://localhost:4891/v1"docs.gpt4all.io
GPT4All Docs - run LLMs efficiently on your hardware
👍5
Чат с документами, локально:
PrivateGPT
#privategpt
https://docs.privategpt.dev/installation
для виндовс 10/11
установить гит:
https://github.com/git-for-windows/git/releases/download/v2.43.0.windows.1/Git-2.43.0-64-bit.exe
скопировать исходники и зайти в папку проекта:
установить python 3.11:
https://www.python.org/ftp/python/3.11.0/python-3.11.0-amd64.exe
установить pyenv:
открыть powershell - и запустить
далее добавить переменные окружения:
и записать в PATH путь к приложению:
создать окружение 3.11:
установить С++ библиотеки:
Скачать Visual Studio 2022: Ссылка для скачивания
Запустите программу установки, нажмите ok для запуска, нажмите Продолжить
Нажать Individual Components
Найдите их в строке поиска и нажмите на них:
Windows 11 SDK (например, 10.0.22000.0)
C++ Universal Windows Platform support (например, для инструментов сборки v143)
MSVC VS 2022 C++ x64/x86 build tools (последняя версия)
C++ CMake tools for Windows
https://github.com/h2oai/h2ogpt/raw/main/docs/vs2022small.png
Нажмите Установить и выполните установку, и в конце вам не нужно запускать VS 2022.
Загрузите установщик MinGW: MiniGW
Запустите программу установки, нажмите Установить, Продолжить, Установить / Выполнить, чтобы запустить диспетчер установки.
Выберите пакеты для установки:
minigw32-база
mingw32-gcc-g++
Перейдите на вкладку установки, затем примените изменения.
https://github.com/h2oai/h2ogpt/raw/main/docs/minigw32small.png
установить poetry:
установить все остальные зависимости:
после успешной установки - запустить:
для загрузки и установки моделей:
для замены на другую модель найдите в папке проекта файл:
и замените название в пункте local
lunux и mac:
https://docs.privategpt.dev/overview/welcome/quickstart
PrivateGPT
#privategpt
https://docs.privategpt.dev/installation
для виндовс 10/11
установить гит:
https://github.com/git-for-windows/git/releases/download/v2.43.0.windows.1/Git-2.43.0-64-bit.exe
скопировать исходники и зайти в папку проекта:
git clone https://github.com/imartinez/privateGPTcd privateGPTустановить python 3.11:
https://www.python.org/ftp/python/3.11.0/python-3.11.0-amd64.exe
установить pyenv:
открыть powershell - и запустить
git clone https://github.com/pyenv-win/pyenv-win.git "$HOME\.pyenv"далее добавить переменные окружения:
[System.Environment]::SetEnvironmentVariable('PYENV',$env:USERPROFILE + "\.pyenv\pyenv-win\","User")[System.Environment]::SetEnvironmentVariable('PYENV_ROOT',$env:USERPROFILE + "\.pyenv\pyenv-win\","User")[System.Environment]::SetEnvironmentVariable('PYENV_HOME',$env:USERPROFILE + "\.pyenv\pyenv-win\","User")и записать в PATH путь к приложению:
[System.Environment]::SetEnvironmentVariable('path', $env:USERPROFILE + "\.pyenv\pyenv-win\bin;" + $env:USERPROFILE + "\.pyenv\pyenv-win\shims;" + [System.Environment]::GetEnvironmentVariable('path', "User"),"User")создать окружение 3.11:
pyenv install 3.11pyenv local 3.11установить С++ библиотеки:
Скачать Visual Studio 2022: Ссылка для скачивания
Запустите программу установки, нажмите ok для запуска, нажмите Продолжить
Нажать Individual Components
Найдите их в строке поиска и нажмите на них:
Windows 11 SDK (например, 10.0.22000.0)
C++ Universal Windows Platform support (например, для инструментов сборки v143)
MSVC VS 2022 C++ x64/x86 build tools (последняя версия)
C++ CMake tools for Windows
https://github.com/h2oai/h2ogpt/raw/main/docs/vs2022small.png
Нажмите Установить и выполните установку, и в конце вам не нужно запускать VS 2022.
Загрузите установщик MinGW: MiniGW
Запустите программу установки, нажмите Установить, Продолжить, Установить / Выполнить, чтобы запустить диспетчер установки.
Выберите пакеты для установки:
minigw32-база
mingw32-gcc-g++
Перейдите на вкладку установки, затем примените изменения.
https://github.com/h2oai/h2ogpt/raw/main/docs/minigw32small.png
установить poetry:
curl -sSL https://install.python-poetry.org | python3 -установить все остальные зависимости:
poetry install --with ui, localпосле успешной установки - запустить:
poetry run python -m private_gptдля загрузки и установки моделей:
poetry run python scripts/setupдля замены на другую модель найдите в папке проекта файл:
https://github.com/imartinez/privateGPT/blob/main/settings.yamlи замените название в пункте local
lunux и mac:
https://docs.privategpt.dev/overview/welcome/quickstart
GitHub
GitHub - zylon-ai/private-gpt: Complete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to…
Complete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server. - zylon-ai/private-gpt
👍3❤1
Чат с документами, локально:
#h2o
установщик для виндовс (CPU or GPU):
https://h2o-release.s3.amazonaws.com/h2ogpt/Jan2024/h2oGPT_0.0.1.exe
ручная установка для виндовс:
https://github.com/h2oai/h2ogpt/blob/main/docs/README_WINDOWS.md
Скачать Visual Studio 2022: Ссылка для скачивания
Запустите программу установки, нажмите ok для запуска, нажмите Продолжить
Нажать Individual Components
Найдите их в строке поиска и нажмите на них:
Windows 11 SDK (например, 10.0.22000.0)
C++ Universal Windows Platform support (например, для инструментов сборки v143)
MSVC VS 2022 C++ x64/x86 build tools (последняя версия)
C++ CMake tools for Windows
https://github.com/h2oai/h2ogpt/raw/main/docs/vs2022small.png
Нажмите Установить и выполните установку, и в конце вам не нужно запускать VS 2022.
Загрузите установщик MinGW: MiniGW
Запустите программу установки, нажмите Установить, Продолжить, Установить / Выполнить, чтобы запустить диспетчер установки.
Выберите пакеты для установки:
minigw32-база
mingw32-gcc-g++
Перейдите на вкладку установки, затем примените изменения.
https://github.com/h2oai/h2ogpt/raw/main/docs/minigw32small.png
создаем окружение:
устанавливаем гит и копируем проект, устанавливаем переменные:
устанавливаем все зависимости:
пример запуска успешно установленного приложения:
установка модели - где почитать:
https://github.com/h2oai/h2ogpt/blob/main/docs/FAQ.md#adding-models
в таком формате можно вставить в поле выбора модели для скачивания:
https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF/resolve/main/mistral-7b-openorca.Q4_0.gguf?download=true
папки моделями:
C:\Users\<user>\.cache\
C:\Users\{имя пользователя}\llamacpp_path
ручная установка для линукс:
https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF/resolve/main/mistral-7b-openorca.Q4_0.gguf?download=true
если забыл имя окружения в conda:
#h2o
установщик для виндовс (CPU or GPU):
https://h2o-release.s3.amazonaws.com/h2ogpt/Jan2024/h2oGPT_0.0.1.exe
ручная установка для виндовс:
https://github.com/h2oai/h2ogpt/blob/main/docs/README_WINDOWS.md
Скачать Visual Studio 2022: Ссылка для скачивания
Запустите программу установки, нажмите ok для запуска, нажмите Продолжить
Нажать Individual Components
Найдите их в строке поиска и нажмите на них:
Windows 11 SDK (например, 10.0.22000.0)
C++ Universal Windows Platform support (например, для инструментов сборки v143)
MSVC VS 2022 C++ x64/x86 build tools (последняя версия)
C++ CMake tools for Windows
https://github.com/h2oai/h2ogpt/raw/main/docs/vs2022small.png
Нажмите Установить и выполните установку, и в конце вам не нужно запускать VS 2022.
Загрузите установщик MinGW: MiniGW
Запустите программу установки, нажмите Установить, Продолжить, Установить / Выполнить, чтобы запустить диспетчер установки.
Выберите пакеты для установки:
minigw32-база
mingw32-gcc-g++
Перейдите на вкладку установки, затем примените изменения.
https://github.com/h2oai/h2ogpt/raw/main/docs/minigw32small.png
создаем окружение:
conda create -n h2ogpt -yconda activate h2ogptconda install python=3.10 -c conda-forge -yустанавливаем гит и копируем проект, устанавливаем переменные:
conda install -c conda-forge gitgit clone https://github.com/h2oai/h2ogpt.gitcd h2ogptset PIP_EXTRA_INDEX_URL=https://download.pytorch.org/whl/cu118 https://huggingface.github.io/autogptq-index/whl/cu118/set PIP_EXTRA_INDEX_URL=https://download.pytorch.org/whl/cpuустанавливаем все зависимости:
set GPLOK=1docs\windows_install.batпример запуска успешно установленного приложения:
python generate.py --base_model=llama --model_path_llama=https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF/resolve/main/mistral-7b-openorca.Q4_0.gguf --llamacpp_dict="{'use_mlock':False,'n_batch':256}" --max_seq_len=512 --score_model=None --langchain_mode='UserData' --user_path=user_pathустановка модели - где почитать:
https://github.com/h2oai/h2ogpt/blob/main/docs/FAQ.md#adding-models
в таком формате можно вставить в поле выбора модели для скачивания:
https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF/resolve/main/mistral-7b-openorca.Q4_0.gguf?download=true
папки моделями:
C:\Users\<user>\.cache\
C:\Users\{имя пользователя}\llamacpp_path
ручная установка для линукс:
sudo apt-get install python3-devsudo apt-get install build-essential -yconda create -n h2ogpt -yconda activate h2ogptconda install python=3.10 -c conda-forge -ygit clone https://github.com/h2oai/h2ogpt.gitcd h2ogptexport PIP_EXTRA_INDEX_URL=https://download.pytorch.org/whl/cu118 https://huggingface.github.io/autogptq-index/whl/cu118/export PIP_EXTRA_INDEX_URL="https://download.pytorch.org/whl/cpu"GPLOK=1 bash docs/linux_install.shhttps://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF/resolve/main/mistral-7b-openorca.Q4_0.gguf?download=true
python generate.py --base_model=llama --model_path_llama=https://huggingface.co/TheBloke/Mistral-7B-OpenOrca-GGUF/resolve/main/mistral-7b-openorca.Q4_0.gguf --llamacpp_dict="{'use_mlock':False,'n_batch':256}" --max_seq_len=512 --score_model=None --langchain_mode='UserData' --user_path=user_pathесли забыл имя окружения в conda:
conda env listGitHub
h2ogpt/docs/README_WINDOWS.md at main · h2oai/h2ogpt
Private chat with local GPT with document, images, video, etc. 100% private, Apache 2.0. Supports oLLaMa, Mixtral, llama.cpp, and more. Demo: https://gpt.h2o.ai/ https://gpt-docs.h2o.ai/ - h2oai/h2...
👍5
Отдельно - по установке С++
Скачать Visual Studio 2022: Ссылка для скачивания
Запустите программу установки, нажмите ok для запуска, нажмите Продолжить
Нажать Individual Components
Найдите их в строке поиска и нажмите на них:
Windows 11 SDK (например, 10.0.22000.0)
C++ Universal Windows Platform support (например, для инструментов сборки v143)
MSVC VS 2022 C++ x64/x86 build tools (последняя версия)
C++ CMake tools for Windows
Нажмите Установить и выполните установку, и в конце вам не нужно запускать VS 2022.
Загрузите установщик MinGW: MiniGW
Запустите программу установки, нажмите Установить, Продолжить, Установить / Выполнить, чтобы запустить диспетчер установки.
Выберите пакеты для установки:
minigw32-база
mingw32-gcc-g++
Перейдите на вкладку установки, затем примените изменения.
Скачать Visual Studio 2022: Ссылка для скачивания
Запустите программу установки, нажмите ok для запуска, нажмите Продолжить
Нажать Individual Components
Найдите их в строке поиска и нажмите на них:
Windows 11 SDK (например, 10.0.22000.0)
C++ Universal Windows Platform support (например, для инструментов сборки v143)
MSVC VS 2022 C++ x64/x86 build tools (последняя версия)
C++ CMake tools for Windows
Нажмите Установить и выполните установку, и в конце вам не нужно запускать VS 2022.
Загрузите установщик MinGW: MiniGW
Запустите программу установки, нажмите Установить, Продолжить, Установить / Выполнить, чтобы запустить диспетчер установки.
Выберите пакеты для установки:
minigw32-база
mingw32-gcc-g++
Перейдите на вкладку установки, затем примените изменения.
👍5✍1
КАК ВЫБРАТЬ МОДЕЛЬ
#каквыбратьмодель
ссылка на видео в ютуб:
По huggingface фильтрам:
По рейтингам:
LMSYS Chatbot Arena Leaderboard
Embendings leaderboard
Open LLM Leaderboard
По тесту в работе:
labs.perplexity
H2o
chatarena
Установка новых моделей:
Через скачивание файла на сайте huggingface
1. Найти модель на сайте huggingface
2. Зайти в
3. Вставить ссылку в адресную строку браузера и нажать "enter"
4. Скопировать файл в папку с моделями в проекте
Через интерфейс конкретного приложения
Зайти в документацию проекта на гитхаб и найти "установка моделей"
В видео примеры из h2o gpt4all Lmstudio
Программно, через код
С помощью специальных библиотек и заменой названий моделей в конфигурационнных файлах проекта, автоматически - будет рассмотрено отдельно
#каквыбратьмодель #какскачатьмодель #какнайтимодель
#каквыбратьмодель
ссылка на видео в ютуб:
https://youtu.be/KwqSCXJHsEgПо huggingface фильтрам:
https://huggingface.co/models?pipeline_tag=text-generationПо рейтингам:
LMSYS Chatbot Arena Leaderboard
https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboardEmbendings leaderboard
https://huggingface.co/spaces/mteb/leaderboardOpen LLM Leaderboard
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboardПо тесту в работе:
labs.perplexity
https://labs.perplexity.ai/H2o
https://gpt.h2o.ai/chatarena
https://chat.lmsys.org/?arenaУстановка новых моделей:
Через скачивание файла на сайте huggingface
1. Найти модель на сайте huggingface
https://huggingface.co/models?pipeline_tag=text-generation2. Зайти в
Files and versions и правой кнопкой по выбранному файлу Скопировать ссылку3. Вставить ссылку в адресную строку браузера и нажать "enter"
4. Скопировать файл в папку с моделями в проекте
Через интерфейс конкретного приложения
Зайти в документацию проекта на гитхаб и найти "установка моделей"
В видео примеры из h2o gpt4all Lmstudio
Программно, через код
С помощью специальных библиотек и заменой названий моделей в конфигурационнных файлах проекта, автоматически - будет рассмотрено отдельно
#каквыбратьмодель #какскачатьмодель #какнайтимодель
👍6
Ссылки на все рассмотренные проекты:
chat4all
https://gpt4all.io/index.html
Lm studio
https://lmstudio.ai/
text generation webUI
https://github.com/oobabooga/text-generation-webui
#privategpt
https://github.com/imartinez/privateGPT
#h2o
https://github.com/h2oai/h2ogpt
#openinterpreter
https://github.com/KillianLucas/open-interpreter/
#каквыбратьмодель
#ollama
https://ollama.com
#anythingllm
https://useanything.com
chat4all
https://gpt4all.io/index.html
Lm studio
https://lmstudio.ai/
text generation webUI
https://github.com/oobabooga/text-generation-webui
#privategpt
https://github.com/imartinez/privateGPT
#h2o
https://github.com/h2oai/h2ogpt
#openinterpreter
https://github.com/KillianLucas/open-interpreter/
#каквыбратьмодель
#ollama
https://ollama.com
#anythingllm
https://useanything.com
Nomic
GPT4All - Private & Local AI Chatbot | Nomic
Run open-source AI models locally on your device. GPT4All delivers private, high-performance AI with no cloud required—your data stays on your machine.
👍10✍1
OPEN INTERPRETER
#openinterpreter
ссылка на видео:
https://youtu.be/ld0DtwFIO2Q
ссылка на проект:
https://github.com/KillianLucas/open-interpreter/
Установка
одной командой для виндовс:
одной командой для линукс:
установить c помощью pip python 3.11:
установить python 3.11:
установить проект:
запуск в терминале:
источник
ссылка на использовавшуюся модель:
моя система:
cpu - 8x3200,
ram - 26Gb,
gpu - 24Gb
полезные команды:
#openinterpreter
ссылка на видео:
https://youtu.be/ld0DtwFIO2Q
ссылка на проект:
https://github.com/KillianLucas/open-interpreter/
Установка
одной командой для виндовс:
curl -o oi-windows-installer.ps1 https://raw.githubusercontent.com/KillianLucas/open-interpreter/main/installers/oi-windows-installer.ps1 || bitsadmin /transfer "DownloadScript" https://raw.githubusercontent.com/KillianLucas/open-interpreter/main/installers/oi-windows-installer.ps1 %CD%\oi-windows-installer.ps1 && powershell -ExecutionPolicy Bypass -File oi-windows-installer.ps1 && del oi-windows-installer.ps1одной командой для линукс:
curl -o oi-linux-installer.sh https://raw.githubusercontent.com/KillianLucas/open-interpreter/main/installers/oi-linux-installer.sh && chmod +x oi-linux-installer.sh && ./oi-linux-installer.sh && rm oi-linux-installer.shустановить c помощью pip python 3.11:
установить python 3.11:
https://www.python.org/ftp/python/3.11.0/python-3.11.0-amd64.exeустановить проект:
pip install open-interpreterзапуск в терминале:
interpreterисточник
https://docs.openinterpreter.com/getting-started/setupссылка на использовавшуюся модель:
https://huggingface.co/TheBloke/dolphin-2.7-mixtral-8x7b-GGUFмоя система:
cpu - 8x3200,
ram - 26Gb,
gpu - 24Gb
полезные команды:
%verbose [true/false]: Переключение подробного режима. Без аргументов или с true он переходит в подробный режим. С false он выходит из подробного режима.%reset: Сбрасывает диалог текущего сеанса.%undo: Удаляет предыдущее сообщение пользователя и ответ искусственного интеллекта из истории сообщений.GitHub
GitHub - openinterpreter/openinterpreter: A coding agent for open models like Kimi K3 and GLM 5.3
A coding agent for open models like Kimi K3 and GLM 5.3 - openinterpreter/openinterpreter
👍7🔥1
OLLAMA
#ollama
ссылка на видео:
https://youtu.be/J2pWl4UeSa4
ссылка на проект:
https://github.com/ollama/ollama
Установка
одной командой для виндовс:
одной командой для линукс:
установка веб интерфейса open-webui:
источник
установить c помощью докер:
установить без докер:
установить visual build tools:
установить гит:
установить python 3.11:
установить node js:
установить bun:
запустить в powershell установку open-webui:
# Copying required .env file
# Building Frontend Using Node
# Serving Frontend with the Backend
Запуск open-webui:
перейти в папку
перейти в браузер и ввести
https://docs.openwebui.com/getting-started/#alternative-installation-methods
замечания:
Во время первого входа попадете на страницу регистрации. Перейти на создание
нового пользователя и ввести любые можно фейковые данные
ссылка на страницу с мультимодальной моделью:
#ollama
ссылка на видео:
https://youtu.be/J2pWl4UeSa4
ссылка на проект:
https://github.com/ollama/ollama
Установка
одной командой для виндовс:
https://ollama.com/download/OllamaSetup.exeодной командой для линукс:
curl -fsSL https://ollama.com/install.sh | shустановка веб интерфейса open-webui:
источник
https://github.com/open-webui/open-webuiустановить c помощью докер:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainустановить без докер:
установить visual build tools:
https://visualstudio.microsoft.com/visual-cpp-build-tools/установить гит:
https://github.com/git-for-windows/git/releases/download/v2.44.0.windows.1/Git-2.44.0-64-bit.exeустановить python 3.11:
https://www.python.org/ftp/python/3.11.0/python-3.11.0-amd64.exeустановить node js:
https://nodejs.org/enустановить bun:
powershell -c "irm bun.sh/install.ps1|iex"запустить в powershell установку open-webui:
git clone https://github.com/open-webui/open-webui.gitcd open-webui/# Copying required .env file
cp -RPp example.env .env# Building Frontend Using Node
npm inpm run build# Serving Frontend with the Backend
cd ./backendpip install -r requirements.txt -UЗапуск open-webui:
перейти в папку
open-webui/backend и запустить файл start_windows.batперейти в браузер и ввести
localhost:8080https://docs.openwebui.com/getting-started/#alternative-installation-methods
замечания:
Во время первого входа попадете на страницу регистрации. Перейти на создание
нового пользователя и ввести любые можно фейковые данные
ссылка на страницу с мультимодальной моделью:
https://ollama.com/library/llavaGitHub
GitHub - ollama/ollama: Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models. - ollama/ollama
👍19🔥4👎1🥰1
Блокируют учётку ютуб😕
Написал в поддержку.
Появился доступ без объяснения причин 🙄
Написал в поддержку.
Появился доступ без объяснения причин 🙄
🤬12👍4🤔2🤯2
У кого проблемы со свободным местом для ollama на диске С - нужно задать переменную окружения OLLAMA_MODELS=путь\до\папки. Должно сработать и для другого диска. Туда будут сохранены все загруженные модели, которые и выедают место
👍8❤1🔥1🫡1
STABLE DIFFUSION+OLLAMA
#stablediffusionollama
ссылка на видео:
https://youtu.be/rWnLYPyZjQI
ссылка на проект:
https://github.com/ollama/ollama
Как запустить SD в open webUI
1. Запустить интерфейс open webUI, и запустить его в браузере -
2. Запустить stable diffusion с флагами --api --listen или записать их в файл как
3. Перейти в браузер, запустить
4. В интерфейсе open webUI перейти в settings/images и вставить ссылку в "BASE URL", нажать циклические стрелочки чтобы обновить связь с сервером
5. ниже выбрать нужную модель SD.
6. Set image size - указать разрешение в формате "длина"x"ширина" в пикселях
7. Нажать Save
Как запустить open webUI на смартфоне
1. Установить git -
2. Открыть гит терминал в контекстом меню (правая кнопка мыши) и запустить там проброс порта
3. Скопировать указанный URL адрес и открыть в браузере на смартфоне.
4. Ввести данные учетной записи open webUI или создать нового пользователя.
5. По завершению пользования open webUI на смартфоне терминал с открытым сеансом serveo лучше закрыть. При этом открытый адрес на смартфоне станет недоступным.
замечания:
1. serveo - бесплатный ресурс и указанные там донаты - дело добровольное. Такой сервис не уникален, есть похожие аналоги, например - localhost.run
2. генерация изображений происходит на основе последнего указанного в истории промта и чтобы достичь приемлемых результатов можно начать с команды - "give me back this" или аналогичное. В идеале прописать системный промт типа "ты гениальный генератор промтов для SD и в ответ на мое текстовое описание картинки создай промт"
#stablediffusionollama
ссылка на видео:
https://youtu.be/rWnLYPyZjQI
ссылка на проект:
https://github.com/ollama/ollama
Как запустить SD в open webUI
1. Запустить интерфейс open webUI, и запустить его в браузере -
localhost:80802. Запустить stable diffusion с флагами --api --listen или записать их в файл как
COMMANDLINE_ARGS="--api --listen"3. Перейти в браузер, запустить
localhost:7860 (порт для sd), скопировать адрес из адресной строки браузера4. В интерфейсе open webUI перейти в settings/images и вставить ссылку в "BASE URL", нажать циклические стрелочки чтобы обновить связь с сервером
5. ниже выбрать нужную модель SD.
6. Set image size - указать разрешение в формате "длина"x"ширина" в пикселях
7. Нажать Save
Как запустить open webUI на смартфоне
1. Установить git -
https://github.com/git-for-windows/git/releases/download/v2.44.0.windows.1/Git-2.44.0-64-bit.exe2. Открыть гит терминал в контекстом меню (правая кнопка мыши) и запустить там проброс порта
ssh -R 80:localhost:8080 serveo.net.3. Скопировать указанный URL адрес и открыть в браузере на смартфоне.
4. Ввести данные учетной записи open webUI или создать нового пользователя.
5. По завершению пользования open webUI на смартфоне терминал с открытым сеансом serveo лучше закрыть. При этом открытый адрес на смартфоне станет недоступным.
замечания:
1. serveo - бесплатный ресурс и указанные там донаты - дело добровольное. Такой сервис не уникален, есть похожие аналоги, например - localhost.run
2. генерация изображений происходит на основе последнего указанного в истории промта и чтобы достичь приемлемых результатов можно начать с команды - "give me back this" или аналогичное. В идеале прописать системный промт типа "ты гениальный генератор промтов для SD и в ответ на мое текстовое описание картинки создай промт"
GitHub
GitHub - ollama/ollama: Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models. - ollama/ollama
👍10❤3🔥3
ANYTHINGLLM
#anythingllm
ссылка на видео:
https://youtu.be/jslYFbhmwCM
ссылка на проект:
https://useanything.com
Установка
скачайте и запустите пользуясь видеоинструкцией.
Список ембендинг моделей способных работать с русским языком
Запросить бесплатный API ключ для супербыстрой mixtral8x можно здесь
#anythingllm
ссылка на видео:
https://youtu.be/jslYFbhmwCM
ссылка на проект:
https://useanything.com
Установка
скачайте и запустите пользуясь видеоинструкцией.
Список ембендинг моделей способных работать с русским языком
https://github.com/avidale/encodechkaЗапросить бесплатный API ключ для супербыстрой mixtral8x можно здесь
https://groq.comAnythingLLM
AnythingLLM — On-device AI for productivity
A free, private AI assistant that runs on your device. No accounts, no API keys, no token limits.
👍13❤4🔥4
Command-r. Вызов функций. Веб поиск.
#commandr
Command R - это большая языковая модель, оптимизированная для диалогового взаимодействия и задач с длительным контекстом. Она создана с прицелом на корпоративный сегмент, но при этом ее использование может быть локальным и бесплатным.
Command R может похвастаться высокой точностью поиска, расширенной генерацией (RAG) и задачами использования инструментов, низкой задержкой и высокой пропускной способностью, большим объемом контекста в 128 000 токенов и широкими возможностями для множества языков. Русский язык не входит в десятку основных, но благодаря дополнительному датасету прекрасно поддерживается.
Кроме того в отличае от многих специализированных и общих бесплатных моделей она способна взаимодействовать со сторонними инструментами, такими например как вебпоиск абсолютно нативно без дополнительных настроек.
ссылка на видео:
https://youtu.be/sT9nZdHR6VY
ссылка на модель:
https://huggingface.co/dranger003/c4ai-command-r-v01-iMat.GGUF/blob/main/ggml-c4ai-command-r-v01-q4_k_m.gguf
подробнее о модели:
получить id и api ключ google можно по этой ссылке:
ограничения для бесплатного использования - 100 запросов в день
таблица рейтингов моделей с функцией вызова от Беркли:
https://gorilla.cs.berkeley.edu/leaderboard.html
#commandr
Command R - это большая языковая модель, оптимизированная для диалогового взаимодействия и задач с длительным контекстом. Она создана с прицелом на корпоративный сегмент, но при этом ее использование может быть локальным и бесплатным.
Command R может похвастаться высокой точностью поиска, расширенной генерацией (RAG) и задачами использования инструментов, низкой задержкой и высокой пропускной способностью, большим объемом контекста в 128 000 токенов и широкими возможностями для множества языков. Русский язык не входит в десятку основных, но благодаря дополнительному датасету прекрасно поддерживается.
Кроме того в отличае от многих специализированных и общих бесплатных моделей она способна взаимодействовать со сторонними инструментами, такими например как вебпоиск абсолютно нативно без дополнительных настроек.
ссылка на видео:
https://youtu.be/sT9nZdHR6VY
ссылка на модель:
https://huggingface.co/dranger003/c4ai-command-r-v01-iMat.GGUF/blob/main/ggml-c4ai-command-r-v01-q4_k_m.gguf
подробнее о модели:
https://docs.cohere.com/docs/command-rполучить id и api ключ google можно по этой ссылке:
https://programmablesearchengine.google.com/controlpanel/createограничения для бесплатного использования - 100 запросов в день
таблица рейтингов моделей с функцией вызова от Беркли:
https://gorilla.cs.berkeley.edu/leaderboard.html
👍21❤3
Агенты действуют:
1️⃣ Вариант 1: «Умный помощник»
Пишешь задачу — он предлагает план/патч/команды.
• Пример: OpenCode в терминале.
2️⃣ Вариант 2: «Агент в контейнере/песочнице»
Умеет запускать код, искать инфу и писать инструменты под себя.
• Пример: Agent Zero.
3️⃣ Вариант 3: «Много агентов + среда общения»
Взаимодействуют между собой и живут как сообщество.
• Кейс: Moltbook.
⚡️ Магия и страх: как только агент «читает интернет» и «может действовать», появляется класс атак «через текст» — от prompt injection до supply-chain через навыки.
Пришли на ум такие аналогии, опенкод, это как студент-помошник, который силен в кодировании, но как студент легко обучаем и подстраивается под любые твои задачи. Агент ноль - матёрый тип, который имеет много своих универсальных инструментов и на опыте легко пишет свои и решает любые твои задачи. Openclaw - это такая безотказная личная помощница, которая всегда в сети, у нее куча знакомых и куча возможностей порешать вопросы, но выстраивать с ней отношения и доверять ей нужно с осторожностью 😃
«The humans are screenshotting us.»
Ссылки:
OpenCode | https://github.com/opencode-ai/opencode
Agent Zero | https://github.com/agent0ai/agent-zero
OpenClaw | https://github.com/openclaw/openclaw
Moltbook | https://moltbook.com/
📺 Смотри новое видео, если нужно подробнее: https://youtu.be/uCW5ArmKtjw
1️⃣ Вариант 1: «Умный помощник»
Пишешь задачу — он предлагает план/патч/команды.
• Пример: OpenCode в терминале.
2️⃣ Вариант 2: «Агент в контейнере/песочнице»
Умеет запускать код, искать инфу и писать инструменты под себя.
• Пример: Agent Zero.
3️⃣ Вариант 3: «Много агентов + среда общения»
Взаимодействуют между собой и живут как сообщество.
• Кейс: Moltbook.
⚡️ Магия и страх: как только агент «читает интернет» и «может действовать», появляется класс атак «через текст» — от prompt injection до supply-chain через навыки.
Пришли на ум такие аналогии, опенкод, это как студент-помошник, который силен в кодировании, но как студент легко обучаем и подстраивается под любые твои задачи. Агент ноль - матёрый тип, который имеет много своих универсальных инструментов и на опыте легко пишет свои и решает любые твои задачи. Openclaw - это такая безотказная личная помощница, которая всегда в сети, у нее куча знакомых и куча возможностей порешать вопросы, но выстраивать с ней отношения и доверять ей нужно с осторожностью 😃
«The humans are screenshotting us.»
Ссылки:
OpenCode | https://github.com/opencode-ai/opencode
Agent Zero | https://github.com/agent0ai/agent-zero
OpenClaw | https://github.com/openclaw/openclaw
Moltbook | https://moltbook.com/
📺 Смотри новое видео, если нужно подробнее: https://youtu.be/uCW5ArmKtjw
GitHub
GitHub - opencode-ai/opencode: A powerful AI coding agent. Built for the terminal.
A powerful AI coding agent. Built for the terminal. - opencode-ai/opencode
🔥5
Какие из этих инструментов Вы уже используете на регулярной основе?
Anonymous Poll
7%
Opencode
2%
Agent Zero
11%
OpenClaw
46%
Пока не использовал, но обязательно попробую
9%
Есть получше варианты
33%
Мне они без надобности
Кто реально пишет код лучше: популярные ИИ лоб в лоб
В новом видео я устроил честный батл четырёх моделей: дал им одинаковые задачи (лендинги, мини‑игра, дашборд и web‑приложение) и собрал лидерборд по результатам
Kimi K2.5 (Moonshot AI)
Kimi K2.5 — открытая native multimodal (текст+изображения) модель, ориентированная на агентные сценарии и режимы *instant/thinking*.
По model card это MoE с 1T total / 32B activated и контекстом 256K.
HF:
GLM‑4.7 (Z.ai)
GLM‑4.7 — open-weights модель для кодинга, агентного tool-use и сложного рассуждения, с “thinking before acting” и режимами Interleaved / Preserved / Turn-level Thinking.
В model card заявлены улучшения относительно GLM‑4.6 на SWE-bench
В
HF:
MiniMax‑M21 (на HF это MiniMax‑M2.1)
Модель, которую часто называют “MiniMax‑M21”, на Hugging Face опубликована как MiniMax‑M2.1 и позиционируется как открытая модель для agentic/coding сценариев.
На странице HF указано 229B параметров и лицензия modified-mit.
В
HF:
DeepSeek V3.2
DeepSeek‑V3.2 описывается как модель для efficient reasoning & agentic AI, с акцентом на DeepSeek Sparse Attention (DSA) и масштабируемый RL-посттрейнинг.
На Hugging Face указаны 685B параметров и лицензия MIT.
В
HF:
ссылка на видео
https://youtu.be/utKDoIH6EcY
ссылка на онлайн дашборд с результатами и демо
https://dm0007.github.io/leaderboard-big-open/
В новом видео я устроил честный батл четырёх моделей: дал им одинаковые задачи (лендинги, мини‑игра, дашборд и web‑приложение) и собрал лидерборд по результатам
Kimi K2.5 (Moonshot AI)
Kimi K2.5 — открытая native multimodal (текст+изображения) модель, ориентированная на агентные сценарии и режимы *instant/thinking*.
По model card это MoE с 1T total / 32B activated и контекстом 256K.
HF:
https://huggingface.co/moonshotai/Kimi-K2.5
GLM‑4.7 (Z.ai)
GLM‑4.7 — open-weights модель для кодинга, агентного tool-use и сложного рассуждения, с “thinking before acting” и режимами Interleaved / Preserved / Turn-level Thinking.
В model card заявлены улучшения относительно GLM‑4.6 на SWE-bench
В
config.json указан контекст max_position_embeddings = 202752 (≈200K). HF:
https://huggingface.co/zai-org/GLM-4.7
MiniMax‑M21 (на HF это MiniMax‑M2.1)
Модель, которую часто называют “MiniMax‑M21”, на Hugging Face опубликована как MiniMax‑M2.1 и позиционируется как открытая модель для agentic/coding сценариев.
На странице HF указано 229B параметров и лицензия modified-mit.
В
config.json задано max_position_embeddings = 196608 (≈192K контекст). HF:
https://huggingface.co/MiniMaxAI/MiniMax-M2.1
DeepSeek V3.2
DeepSeek‑V3.2 описывается как модель для efficient reasoning & agentic AI, с акцентом на DeepSeek Sparse Attention (DSA) и масштабируемый RL-посттрейнинг.
На Hugging Face указаны 685B параметров и лицензия MIT.
В
config.json указан контекст max_position_embeddings = 163840 (≈160K). HF:
https://huggingface.co/deepseek-ai/DeepSeek-V3.2
ссылка на видео
https://youtu.be/utKDoIH6EcY
ссылка на онлайн дашборд с результатами и демо
https://dm0007.github.io/leaderboard-big-open/
YouTube
Батл опенсорс‑ИИ: Kimi vs DeepSeek vs GLM vs MiniMax — кто выбьет ChatGPT?
В этом видео я устроил честный краш‑тест 4 моделей: Kimi K2.5, GLM‑4.7, MiniMax‑M21 и DeepSeek V3.2.
Без ручного допиливания, одни и те же промпты, жёсткие критерии и на выходе — наглядный лидерборд.
Что проверяем:
генерация лендингов: корпоративный…
Без ручного допиливания, одни и те же промпты, жёсткие критерии и на выходе — наглядный лидерборд.
Что проверяем:
генерация лендингов: корпоративный…
🔥3
Сравнение GLM-5 Kimi K2.5 Qwen3.5 397B‑A17B MiniMax‑M2.5 vs Cloude Opus 4.5
GLM-5 (Z.ai)
GLM‑5 — open-weights модель для кодинга и long-horizon agentic задач.
По model card: MoE с 744B total / 40B active. Контекст:
Архитектура/обучение: DSA (DeepSeek Sparse Attention) + асинхронный RL‑посттрейн через slime.
Для пользователей: “thinking/tool-use” сценарии, готовые рецепты деплоя под vLLM / SGLang / KTransformers / xLLM.
HF:
Kimi K2.5 (Moonshot AI)
Kimi K2.5 — открытая native multimodal (текст+изображения) модель под агентные сценарии и режимы *instant/thinking*.
По model card это MoE с 1T total / 32B activated и контекстом 256K (
Архитектура/обучение: continual pretraining на ~15T mixed vision+text токенов; vision encoder MoonViT.
Для пользователей: coding with vision + agent swarm (параллельная декомпозиция задач).
HF:
Qwen3.5 397B‑A17B (Qwen)
Qwen3.5‑397B‑A17B — open-weights multimodal модель (text+image) с фокусом на эффективную архитектуру и агентные кейсы.
По model card: 397B total / 17B activated, контекст 262,144 (
Архитектура/обучение: hybrid blocks (Gated DeltaNet + attention) + MoE (512 экспертов); long-context расширение до ~1,010,000 через YaRN.
Для пользователей: по умолчанию “thinking” с
HF:
MiniMax‑M2.5 (MiniMax)
MiniMax‑M2.5 — open-weights модель под agentic tool-use/search, кодинг и “офисные” deliverables.
На HF: 229B params, контекст
Архитектура/обучение: Forge (agent-native RL) + алгоритм CISPO (упоминается в model card).
Для пользователей: выраженная “*spec-writing*” привычка (план → потом код), плюс гайды под SGLang / vLLM / Transformers / KTransformers.
HF:
Ссылка на отчет с оценками и демками
Ссылка на видео ютуб
https://youtu.be/3U18gjW2MnY
GLM-5 (Z.ai)
GLM‑5 — open-weights модель для кодинга и long-horizon agentic задач.
По model card: MoE с 744B total / 40B active. Контекст:
max_position_embeddings = 202752 (≈200K). Архитектура/обучение: DSA (DeepSeek Sparse Attention) + асинхронный RL‑посттрейн через slime.
Для пользователей: “thinking/tool-use” сценарии, готовые рецепты деплоя под vLLM / SGLang / KTransformers / xLLM.
HF:
https://huggingface.co/zai-org/GLM-5
Kimi K2.5 (Moonshot AI)
Kimi K2.5 — открытая native multimodal (текст+изображения) модель под агентные сценарии и режимы *instant/thinking*.
По model card это MoE с 1T total / 32B activated и контекстом 256K (
max_position_embeddings = 262144). Архитектура/обучение: continual pretraining на ~15T mixed vision+text токенов; vision encoder MoonViT.
Для пользователей: coding with vision + agent swarm (параллельная декомпозиция задач).
HF:
https://huggingface.co/moonshotai/Kimi-K2.5
Qwen3.5 397B‑A17B (Qwen)
Qwen3.5‑397B‑A17B — open-weights multimodal модель (text+image) с фокусом на эффективную архитектуру и агентные кейсы.
По model card: 397B total / 17B activated, контекст 262,144 (
max_position_embeddings = 262144). Архитектура/обучение: hybrid blocks (Gated DeltaNet + attention) + MoE (512 экспертов); long-context расширение до ~1,010,000 через YaRN.
Для пользователей: по умолчанию “thinking” с
<think>...</think>, совместимость с Transformers / vLLM / SGLang. HF:
https://huggingface.co/Qwen/Qwen3.5-397B-A17B
MiniMax‑M2.5 (MiniMax)
MiniMax‑M2.5 — open-weights модель под agentic tool-use/search, кодинг и “офисные” deliverables.
На HF: 229B params, контекст
max_position_embeddings = 196608 (≈192K). Active params на странице не одной строкой, но для семейства M2/M2.5 обычно указывается ~10B active; в config.json видно MoE: 256 экспертов, 8 экспертов/токен. Архитектура/обучение: Forge (agent-native RL) + алгоритм CISPO (упоминается в model card).
Для пользователей: выраженная “*spec-writing*” привычка (план → потом код), плюс гайды под SGLang / vLLM / Transformers / KTransformers.
HF:
https://huggingface.co/MiniMaxAI/MiniMax-M2.5
Ссылка на отчет с оценками и демками
https://dm0007.github.io/leaderboard-big-open-02/
Ссылка на видео ютуб
https://youtu.be/3U18gjW2MnY
YouTube
Китайские нейросети догнали Claude? Проверяю на реальных задачах
Китай против Кремниевой долины. Четыре мощнейшие азиатские модели против Claude Opus 4.5. Битва идет на поле браузера: — Кто быстрее соберет играбельный прототип? (2 игры) — Кто красивее сверстает лендинг? — Кто поймет чужой говнокод и починит его? Сгенерировать…
🔥4
В гитхаб слили исходный код Claude Code
Менее суток назад был слит самый популярный и продвинутый платный инструмент кодинга от Антропик, который был доступен только по подписке и конечно с ограничениями для некоторых стран.
В итоге его слитые файлы были полностью переписаны с сохранением функций исходного продукта.
Этот репозиторий уже был форкнут 100K раз (менее чем за сутки). Такого в истории еще не было, до этого рекорд был за Open Claw.
думаю нас ждет интересный инструмент и прокачка существующих открытых проектов фичами от Антропик.
https://github.com/ultraworkers/claw-code
Менее суток назад был слит самый популярный и продвинутый платный инструмент кодинга от Антропик, который был доступен только по подписке и конечно с ограничениями для некоторых стран.
В итоге его слитые файлы были полностью переписаны с сохранением функций исходного продукта.
Этот репозиторий уже был форкнут 100K раз (менее чем за сутки). Такого в истории еще не было, до этого рекорд был за Open Claw.
думаю нас ждет интересный инструмент и прокачка существующих открытых проектов фичами от Антропик.
https://github.com/ultraworkers/claw-code
GitHub
GitHub - ultraworkers/claw-code: An agent-managed museum exhibit, built in Rust with Gajae-Code / LazyCodex — developed and maintained…
An agent-managed museum exhibit, built in Rust with Gajae-Code / LazyCodex — developed and maintained with no human intervention. - ultraworkers/claw-code
👍4🤮2🤡2💩1