Удачи с блокировкой VPN, еб*ные идиоты

Он проник почти во все наши засекреченные системы – не за недели, а за часы

• Включение XMP/EXPO в BIOS: зайдите в настройки BIOS, найдите раздел ОЗУ и активируйте профиль XMP (для Intel) или EXPO (для AMD). Это позволит памяти работать на полной скорости и сильно ускорит модель

• MTP (предсказание нескольких токенов): используйте модели, которые поддерживают MTP (например, Gemma 4), и запустите сервер с флагами:

--spec-draft-model путь_к_доп_модели.gguf

--spec-type draft-mtp

• QAT-квантизация: просто скачайте и используйте готовые QAT-версии моделей (например, Q4 QAT) — они уже специально обучены под сжатие и дают хорошее качество при меньшем размере

• Запуск на Linux: базовая база — это работа на Linux, где можно собирать llama.cpp из исходников — это даст заметный прирост скорости по сравнению с Windows

• tuned-ppd вместо power-profiles-daemon: на Linux установите tuned, включите профиль throughput-performance и перезагрузите систему

• Сборка llama.cpp из оптимизированных исходников: скачайте репозиторий, выполните сборку через cmake с нужными флагами (например, GGML_CUDA=ON) и используйте самую свежую версию

• Режим --fit: добавьте в команду запуска флаги --fit on --fit-target 512 (или больше) — программа сама оптимально распределит части модели между видеокартой и памятью

• Квантизация KV-кэша через флаги -ctk q8_0 -ctv q8_0. Освобождает много видеопамяти для дополнительных слоёв модели с минимальной потерей качества. Добавьте эти флаги при запуске сервера.

• Добавьте флаг --parallel 1: экономия видеопамяти, нужную для хранения истории разговора (особенно полезно для одного пользователя)

• Закрепление на быстрых ядрах (P-cores): даёт +20–30% скорости на процессорах Intel. Запускайте через taskset -c 0-11 (подберите номера ядер под свой CPU)

• Добавьте флаг --flash-attn on: обеспечивает стабильную работу с длинным контекстом

Флаг --no-mmap: убирает внезапные подтормаживания из-за доступа к памяти

• Флаг --mlock: не даёт системе «выталкивать» модель из памяти, предотвращая замедления во время долгой работы

• Перевод монитора на встроенную графику (iGPU): освобождает 500–1000 МБ видеопамяти. Подключите монитор к разъёму на материнской плате.

• Headless-режим: освобождает 200–400 МБ памяти и видеопамяти, убирая графический интерфейс. Выполните sudo systemctl isolate multi-user.target.

• Флаг --n-gpu-layers: позволяет вручную указать, сколько слоёв модели разместить на видеокарте для лучшей скорости

• Флаг --override-tensor: даёт точный контроль над размещением отдельных частей модели на CPU или GPU. Добавьте флаг с правилом, например --override-tensor ".ffn_(up|down|gate)_(ch|)exps=CPU".

• Параметр llama-fit-params: автоматически подбирает оптимальные настройки размещения модели. Запустите llama-fit-params -m ваша_модель.gguf -fitt 512 -fitc 65536

• Флаг --ctx-size: правильно задаёт размер контекста и влияет на использование памяти. Укажите --ctx-size 65536 (или нужное значение).

• Параметры batch-size и ubatch-size: ускоряют обработку промптов и работу с картинками. Добавьте --batch-size 1024 --ubatch-size 512 (для vision — меньше значения)

• Флаг --prio 2: повышает приоритет процесса и уменьшает подтормаживания от других программ

• Флаг --no-warmup: ускоряет запуск сервера

• Параметр GGML_CUDA_GRAPH_OPT: может снизить overhead и ускорить работу (но нужно тестировать). Выполните export GGML_CUDA_GRAPH_OPT=0 (или 1) перед запуском

• Хорошие кванты (UD-Q4_K_XL и подобные): лучше сохраняют качество модели при небольшом размере. Просто скачайте модель с таким квантом.

• Настройки для работы с картинками (vision): позволяют стабильно работать с изображениями на ограниченной видеопамяти. Добавьте --mmproj путь_к_файлу --fit-target 2048 --batch-size 256 --ubatch-size 512