📌Разобрали, как:

📍 подобрать ресурсы сервера;
📍 установить и связать vLLM с Open WebUI;
📍 загрузить документы и подключить базу знаний;
📍 настроить доступ и защиту сервера;
📍 сравнить ответы моделей с RAG и без него.

🔹 84 ГБ памяти GDDR7 с коррекцией ошибок ECC;
🔹 21 760 CUDA-ядер — столько же, сколько у GeForce RTX 5090
🔹 пропускная способность памяти — 1398 ГБ/с;
🔹 интерфейс PCIe 5.0 x16;
🔹 энергопотребление — до 600 Вт.

🔹 2 × NVIDIA L4 по 24 ГБ
🔹 16 vCPU на высокочастотных AMD EPYC 9555
🔹 64 ГБ DDR5
🔹 300 ГБ NVMe

🔹 Тем, кто запускает LLM и AI-помощников.
🔹 Тем, кто экспериментирует с дообучением моделей.
🔹 Тем, кто работает с генерацией изображений и обработкой видео.
🔹 Всем, кому одной L4 уже мало, а переход на L40S выходит за бюджет.

Это съёмный модуль на базе LPDDR5X: память можно заменить без замены всей системной платы. Для модулей SOCAMM2 на 256 ГБ Micron заявляет примерно втрое меньшее энергопотребление и занимаемую площадь по сравнению со стандартными RDIMM.

В рассмотренных тестах переход с LPDDR5X-6400 на 8533 ускорил подготовку данных для ИИ на 11%, а в MediaWiki снизил задержку самых медленных запросов примерно на 9%.
В аналитике важнее оказался объём: увеличение RAM с 512 ГБ до 1 ТБ позволило реже обращаться к SSD и ускорило отдельные нагрузки в несколько раз.

🔹 В каждом из 16 банков памяти есть свой вычислительный блок. Они работают параллельно.
🔹 Память берёт на себя отдельные операции — например, умножение матрицы на вектор, которое используется в нейросетях.
🔹 Меньше данных приходится передавать между памятью и ускорителем — меньше времени уходит на ожидание.

На Llama 3.1 8B скорость генерации выросла с 27 до 81,3 токена в секунду — примерно втрое. При этом ИИ-ускоритель оставался тем же, а контекст составлял 320 токенов.

Суммарно 48 ГБ видеопамяти, 16 vCPU на AMD EPYC 9555, 64 ГБ DDR5 и 300 ГБ NVMe. Вариант для тех, кому одной L4 уже мало, а мощность и стоимость L40S избыточны.

Разобрали, как добавить RAM через PCIe и зачем дата-центрам память, знакомая нам по ноутбукам:

🔹 DeepSeek R1-Distill — тексты, код и рассуждения. Размер модели можно подобрать под доступное железо.
🔹 Qwen3.8-27B — более сложные задачи с кодом и документами. Ориентир — 24–32 ГБ с подходящим квантованием.
🔹 Gemma 4 12B-it — помощники, RAG и мультимодальные задачи. Можно рассматривать конфигурации от 16 ГБ.
🔹 gpt-oss-20b — рассуждения, программирование и инструменты. Требования зависят от GPU и формата весов.
🔹 MiMo-9B — компактный вариант для кода и агентных сценариев на 8–12 ГБ с квантованием.

🔹 Gemma 4 12B — для ассистентов и работы с текстом, изображениями и аудио.
🔹 Qwen3.5-9B — для кода, длинных документов и автоматизации рутинных задач.
🔹 gpt-oss-20b — для локальных помощников с возможностью настраивать глубину рассуждений.
🔹 PaddleOCR-VL-1.6 — для распознавания документов, таблиц и формул.
🔹 Qwen3.6-35B-A3B и Qwen3.8-27B — для более сложных задач с кодом, документами и RAG.

В статье рассказали, какие варианты подойдут даже для 16 ГБ