Установка LLM на скромном VPS

«Я тебя завалю, если ещё раз упомянешь AI», — писал автор нашумевшей статьи. В самом деле, хайп вокруг ИИ всем надоел. Но мы всё-таки рискнём поговорить о том, какую LLM поставить на своём сервере и зачем.

Сразу упомянем, что на серверах RUVDS установлены видеокарты NVIDIA Quadro P4000 (на фото). Карты довольно слабенькие, так что подойдут скорее для проектов в образовательных целях и т. д. Тем более что под VPS выделяется максимум 1 ГБ видеопамяти. Но даже в таких спартанских условиях можно запустить LLM.

Кстати, о VPS с видеокартой. Несколько лет назад мы уже писали о сферах их применения и даже проводили тесты. Всё это можно найти здесь. Читать дальше →

#ruvds_статьи #vps #llm #языковые_модели #tabby #copilotkit #chat_arena #librechat #huggingface #opencompass #llamafile #llama_cpp #cosmopolitan_libc #ollama | @habr_ai

Рубрика: VPS на пределе возможностей. LLM на CPU с 8Gb RAM

По работе я привык, что если какая-то нейронка не влезает на GPU-сервер, то первое моё действие — проверить, нет ли модели с квантизацией побольше, либо запросить ещё больше VRAM. Однако не все работают на облачных провайдерах, кто-то у нас ещё и заказывает услуги. А тарифы на GPU-серверы порой заставляют серьёзно задуматься о том, так ли они нужны, особенно когда нет потребности в нейронках на сотни миллиардов параметров. Что, если попробовать делать всё на обычном VPS-тарифе с бюджетом в 5000 рублей в месяц? Да и зачем ограничиваться одними лишь нейронками? Об экзекуции VPS ниже в статье

#ruvds_статьи #vps #нейронные_сети #искуственный_интеллект #ии #llama #ollama #сервер #облако #машинное_обучение | @habr_ai

Поднимаем в облаке расшифровку речи в текст с помощью нейросетей. VPS на пределе возможностей

Привет, Хабр! В этом посте я продолжаю цикл статей о том, как выжать максимум из обычного VPS от RUVDS. В прошлый раз мы экспериментировали с языковыми моделями, а сегодня попробуем запустить систему распознавания речи — FasterWhisper, оптимизированную версию модели Whisper от OpenAI. Как и в прошлый раз, сделаем это в рамках бюджета в 5000 рублей в месяц. Читать дальше →

#ruvds_статьи #нейросети #whisper #openai #машинное_обучение #искуственный_интеллект #облака #vps #сервера #серверное_администрирование #it_инфраструктура | @habr_ai

Разворачиваем нейросеть на бесплатном VPS: FastAPI + Hugging Face за 15 минут

Хотите запустить свою нейросеть в облаке, но нет бюджета на мощный сервер? В этой статье я покажу, как развернуть модель с Hugging Face на бесплатном VPS с помощью Docker и FastAPI. Вы получите работающий HTTP-сервис всего за 15 минут, даже если раньше не работали с развертыванием ML-моделей.

Мы разберем каждый шаг: от создания Space на Hugging Face до написания API-интерфейса на Python. В качестве примера используем модель TinyLlama, но подход подойдет для любой модели, укладывающейся в ограничения бесплатного тарифа. Я постараюсь рассказать, как обойти типичные проблемы с памятью и производительностью на слабых серверах, а также как избежать "засыпания" вашего сервиса. В статье есть готовые Dockerfile, код на Python и примеры запросов — просто повторяйте за мной и получите свой работающий AI-сервис! Читать далее

#vps #ml #docker | @habr_ai

VPS-сервер как платформа для ИИ-агентов

Сервер с LLM-интерфейсом — это не просто сервер, а полноценная платформа для запуска интеллектуальных агентов. Среди прочего, они отлично справляются с задачами мониторинга, которые мы традиционно решали с помощью скриптов, демонов и специализированных программ.

Например, на VPS можно запустить агента с круглосуточным мониторингом цен на маркетплейсах: на Хабре недавно была статья об этом. Понятно, что он запускается на любом компьютере, но конкретно для целей мониторинга сайтов в интернете требуется онлайн 24/7. Читать далее

#ruvds_статьи #vps #самохостинг #claude_code #облачный_хостинг #автоматизация | @habr_ai