Пусть AI ищет в вашей базе знаний

🗣В статье рассказали, как Инструкции, регламенты и FAQ вашей компании, можно подключить к LLM, чтобы сотрудники получали ответы по документам компании прямо в чате.

Для этого используют RAG: система находит нужные фрагменты в базе знаний и передает их модели вместе с вопросом. Дообучать LLM для этого не нужно.

Мы подготовили руководство по запуску такой системы на GPU-сервере mClouds с NVIDIA L4 и 24 ГБ видеопамяти. Использовали vLLM для запуска модели и Open WebUI для чата и работы с документами.

📌Разобрали, как:

📍 подобрать ресурсы сервера;
📍 установить и связать vLLM с Open WebUI;
📍 загрузить документы и подключить базу знаний;
📍 настроить доступ и защиту сервера;
📍 сравнить ответы моделей с RAG и без него.

Также протестировали Qwen3.5-9B и Gemma 4 E4B: сравнили скорость генерации, использование видеопамяти и ответы на русском языке.

❔ Полное руководство с командами и примерами — в нашем блоге

🗣 84 ГБ видеопамяти: NVIDIA представила RTX PRO 5500 Blackwell

Новинка занимает место между RTX PRO 5000 и RTX PRO 6000. Карта ориентирована на инференс LLM, AI-агентов, тяжёлые 3D-сцены и симуляции.

📌 Что известно о характеристиках

🔹 84 ГБ памяти GDDR7 с коррекцией ошибок ECC;
🔹 21 760 CUDA-ядер — столько же, сколько у GeForce RTX 5090
🔹 пропускная способность памяти — 1398 ГБ/с;
🔹 интерфейс PCIe 5.0 x16;
🔹 энергопотребление — до 600 Вт.

Большой объём видеопамяти даёт больше пространства под веса LLM и контекст, а в графических задачах — под сложные сцены и текстуры. При этом одинаковое с RTX 5090 число CUDA-ядер само по себе не означает одинаковую производительность.

Из особенностей — поддержка MIG: одну карту можно разделить на два изолированных GPU-экземпляра с памятью до 42 ГБ каждый.

🔎 А что с серверной версией?

Возможно, линейку позже дополнит RTX PRO 5500 Server Edition, но пока NVIDIA такую версию не анонсировала. Представленная Workstation Edition уже рассчитана на размещение в сточных рабочих станциях.

Цена и сроки начала продаж пока не объявлены, а характеристики NVIDIA помечает как предварительные.

📖 Подробнее о характеристиках на сайте NVIDIA

🗣 Запустили новый тариф с 48 ГБ видеопамяти NVIDIA L4 в одном сервере

Если для ваших задач нужны 48 ГБ видеопамяти, а мощность и стоимость NVIDIA L40S избыточны — у нас появилась более доступная конфигурация: две NVIDIA L4 по 24 ГБ в одной виртуальной машине.

📌 Что внутри

🔹 2 × NVIDIA L4 по 24 ГБ
🔹 16 vCPU на высокочастотных AMD EPYC 9555
🔹 64 ГБ DDR5
🔹 300 ГБ NVMe

Кому подойдёт

🔹 Тем, кто запускает LLM и AI-помощников.
🔹 Тем, кто экспериментирует с дообучением моделей.
🔹 Тем, кто работает с генерацией изображений и обработкой видео.
🔹 Всем, кому одной L4 уже мало, а переход на L40S выходит за бюджет.

Мы собрали этот тариф, чтобы дать больше видеопамяти при меньших затратах на аренду.

🚀 Посмотреть тариф и заказать сервер

🔔 «Ноутбучная» память в сервере — зачем это дата-центрам?

Чем больше энергии потребляет память, тем меньше остаётся процессорам и GPU в пределах мощности стойки. Поэтому производители присматриваются к LPDDR5X — памяти, знакомой нам по ноутбукам и смартфонам.
Мы разобрали на Хабре, как она приходит в серверы и что это может дать вашим задачам.

📌 Что меняет SOCAMM2

Это съёмный модуль на базе LPDDR5X: память можно заменить без замены всей системной платы. Для модулей SOCAMM2 на 256 ГБ Micron заявляет примерно втрое меньшее энергопотребление и занимаемую площадь по сравнению со стандартными RDIMM.

🔹 А что с производительностью?

В рассмотренных тестах переход с LPDDR5X-6400 на 8533 ускорил подготовку данных для ИИ на 11%, а в MediaWiki снизил задержку самых медленных запросов примерно на 9%.
В аналитике важнее оказался объём: увеличение RAM с 512 ГБ до 1 ТБ позволило реже обращаться к SSD и ускорило отдельные нагрузки в несколько раз.

📖 Подробнее о SOCAMM2 в нашей статье на Хабре!

А что, если память будет сама обрабатывать данные?


🗣 Мы разобрали на Хабре подход Samsung: в LPDDR5X-PIM часть вычислений перенесли прямо внутрь памяти. Получается, данные можно обработать на месте и передать ускорителю уже результат.

📌 Как это работает

🔹 В каждом из 16 банков памяти есть свой вычислительный блок. Они работают параллельно.
🔹 Память берёт на себя отдельные операции — например, умножение матрицы на вектор, которое используется в нейросетях.
🔹 Меньше данных приходится передавать между памятью и ускорителем — меньше времени уходит на ожидание.

⚡️ Что получилось в тесте

На Llama 3.1 8B скорость генерации выросла с 27 до 81,3 токена в секунду — примерно втрое. При этом ИИ-ускоритель оставался тем же, а контекст составлял 320 токенов.

Конечно, это результат конкретного теста, а не обещание ускорить любую модель втрое. Готовых устройств пока нет, но за таким способом ускорить ИИ интересно следить.

📖 Как устроена PIM и где она может пригодиться — в нашей статье

Привет! В сентябре мы добавили новый GPU-тариф, обновили резервное копирование и много разбирались с ИИ на практике.

🔔Собрали главное за месяц — вдруг что-то пропустили.

🚀 Запустили тариф с двумя NVIDIA L4 в одной виртуальной машине.

Суммарно 48 ГБ видеопамяти, 16 vCPU на AMD EPYC 9555, 64 ГБ DDR5 и 300 ГБ NVMe. Вариант для тех, кому одной L4 уже мало, а мощность и стоимость L40S избыточны.

Посмотреть тарифы.

🔒 Обновили наш BaaS до Veeam 13. Закрыли важные уязвимости, добавили новые возможности защиты: анализ подозрительной активности с помощью ИИ, двойное подтверждение критичных действий и единый вход.

📚 Написали в наш блог на Хабре две статьи о серверной памяти.

Разобрали, как добавить RAM через PCIe и зачем дата-центрам память, знакомая нам по ноутбукам:

Больше RAM через PCIe: как работает CXL
LPDDR5X и SOCAMM2: «ноутбучная» память приходит в серверы

🤖 В блоге помогли разобраться с запуском своего AI-помощника. Сколько видеопамяти оставить под контекст и запросы коллег? Как подключить документы компании, чтобы искать ответы по инструкциям и регламентам? Собрали объяснения и пошаговое руководство:
Как оценить объём VRAM для LLM
Как запустить LLM с RAG на своём сервере

В руководстве также сравнили Qwen и Gemma на NVIDIA L4: посмотрели на ответы, скорость и расход памяти — с базой знаний и без неё.

🛡 И не забыли про безопасность. Показали, как настроить CrowdSec на Linux для защиты от перебора паролей SSH и подозрительных веб-запросов. Сохраняйте инструкцию.

📌 В октябре продолжим делиться обновлениями и материалами, которые можно применить в своих проектах. Полную версию сентябрьского дайджеста читайте в нашем блоге.

8–32 ГБ видеопамяти: какие ИИ-модели можно запустить у себя?

Для своего AI-помощника не обязательно нужен дорогой сервер. Некоторым открытым моделям хватает 8–12 ГБ видеопамяти, а с 24–32 ГБ выбор становится шире.

🗣 Мы рассказали на Хабре о пяти моделях и семействах для GPU с 8–32 ГБ памяти — для работы с кодом, документами и внутренними сервисами.

🔹 DeepSeek R1-Distill — тексты, код и рассуждения. Размер модели можно подобрать под доступное железо.
🔹 Qwen3.8-27B — более сложные задачи с кодом и документами. Ориентир — 24–32 ГБ с подходящим квантованием.
🔹 Gemma 4 12B-it — помощники, RAG и мультимодальные задачи. Можно рассматривать конфигурации от 16 ГБ.
🔹 gpt-oss-20b — рассуждения, программирование и инструменты. Требования зависят от GPU и формата весов.
🔹 MiMo-9B — компактный вариант для кода и агентных сценариев на 8–12 ГБ с квантованием.

💡 Мы отдельно разобрали, сколько места оставить для контекста и рабочих данных. Ведь поместить веса на видеокарту
— ещё не значит получить комфортную работу модели.

📖 Подробности, результаты тестов и ориентиры по памяти — в нашей статье на Хабре

🧠 Какие нейросети можно запустить на GPU с 24 ГБ памяти? А с 16ГБ ?

Для своего ИИ-помощника не всегда нужна дорогая видеокарта на 48 или 96 ГБ. Если вы работаете с документами, собираете базу знаний или запускаете чат-бота, для вашей задачи может хватить и 24 ГБ.

Мы собрали в блоге шесть моделей для такого объёма памяти и разобрали их запуск на примере NVIDIA L4:

🔹 Gemma 4 12B — для ассистентов и работы с текстом, изображениями и аудио.
🔹 Qwen3.5-9B — для кода, длинных документов и автоматизации рутинных задач.
🔹 gpt-oss-20b — для локальных помощников с возможностью настраивать глубину рассуждений.
🔹 PaddleOCR-VL-1.6 — для распознавания документов, таблиц и формул.
🔹 Qwen3.6-35B-A3B и Qwen3.8-27B — для более сложных задач с кодом, документами и RAG.

📌 Что важно учесть

Большинству моделей из подборки потребуется квантование — уменьшение точности весов, которое снижает расход памяти.

В статье рассказали, какие варианты подойдут даже для 16 ГБ

Где хватит L4 и когда стоит смотреть на GPU мощнее. Чтобы вы могли выбрать конфигурацию под свою задачу и не переплачивать за лишние ресурсы.

📖 Подборка моделей и подробности запуска — в нашем блоге

🗣 Что нового в mClouds: итоги октября

Привет! В октябре мы добавили больше GPU в облако, вошли в ТОП-5 провайдеров DRaaS и подготовили новые материалы для тех, кто работает с ИИ. Собрали главное за месяц.

🚀 Расширили пул RTX PRO 6000 Blackwell

Добавили карты с 96 ГБ видеопамяти для задач, которым уже мало 24 или 48 ГБ. К одной ВМ можно подключить две GPU — получится 192 ГБ суммарно.

Подробнее о возможностях и сценариях рассказали в карточках.

🏆 Вошли в ТОП-5 российских облачных провайдеров DRaaS

В рейтинге CNewsMarket отметили возможности аварийного переключения, защиту резервных копий и инструменты информационной безопасности. Наш DRaaS на технологиях Veeam и Хайстакс помогает организовать резервную площадку и подготовить восстановление систем при сбое.

🛡️ Напомнили об обновлении PHP

21 октября вышли исправления двух критических уязвимостей. Если ваши сайты и приложения используют PHP, а обновления ещё не установлены, рекомендуем не откладывать: обновить нужно сам PHP, а не только CMS и плагины.

Подробности — в официальном бюллетене.

📄 На Хабре разобрали модели и память

🔹 Пять открытых ИИ-моделей для GPU с 8–32 ГБ — какие альтернативы облачным ИИ-сервисам можно запустить у себя.
🔹 Как устроена LPDDR5X-PIM — память, которая умеет выполнять часть вычислений прямо там, где хранятся данные.

💡 В блоге рассказали, как не переплачивать за ИИ

Собрали шесть моделей для GPU до 24 ГБ и разобрали, как выбрать GPU для Qwen и других LLM. С примерами, где хватит L4, а когда стоит смотреть на L40S или RTX PRO 6000.

👉 Полный дайджест октября — в нашем блоге