Простой способ развернуть локальный LLM

Большие языковые модели (LLM, Large Language Models) стали незаменимыми инструментами для разработчиков и исследователей. С их помощью можно решать разнообразные задачи.. Однако использование таких моделей часто связано с зависимостью от внешних сервисов, что накладывает определённые ограничения. Локальное развертывание LLM позволяет сохранить контроль над данными и гибко настроить модель под конкретные нужды, используя при этом преимущества локальной инфраструктуры.

В этой статье я бы хотел рассказать о преимуществах локального развертывания LLM и рассмотрим несколько open-source решений, которые можно использовать для этой цели.

Читать далее

#llama #localai #anythingllm | @habr_ai

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе




Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник





Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах, а потом помогать конкурентам.





В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU, серверы и мейнфреймы.

Читать дальше →

#ibm #мейнфреймы #telum_ii #anythingllm #chatgpt #meta #обман #человечество #mount_diablo #ibm_z16 #самохостинг #цод #дата_центр #watsonx #copilot #twinny #llamafile #ollama #gpt4all #fraudgpt #wormgpt #khoj #localai #ruvds_статьи | @habr_ai

Telegram-бот с интеграцией AnythingLLM + LM Studio

В этом проекте создаем Telegram-бота, который взаимодействует с AnythingLLM — инструментом для работы с языковыми моделями (LLM) и LM Studio (используется как инструмент для загрузки документов и создания RAG архива). Покажу как использовать API AnythingLLM для бота и настроим взаимодействие с LM Studio, через которую предоставляется доступ к общению с ИИ-моделью. Самое главное в этой связке, что все отрабатывается локально без передачи файлов сторонним сервисам, что делает решение удобным для команд, которые хотят использовать ИИ в своих рабочих процессах, но не отправлять файлы во вне. Полистать...

#telegrambot #rag #anythingllm #lmstudio | @habr_ai