Чекнул гайд по оптимизации локальных моделей через llama.cpp. Делюсь знаниями 😉

В нём затрагивают прям все аспекты, как выбрать лучшую модель, ускорить запуск или генерацию, а также повысить качество ответов при малых ресурсах ПК. Вытащил все главные финты и кратко описал:

• Включение XMP/EXPO в BIOS: зайдите в настройки BIOS, найдите раздел ОЗУ и активируйте профиль XMP (для Intel) или EXPO (для AMD). Это позволит памяти работать на полной скорости и сильно ускорит модель

• MTP (предсказание нескольких токенов): используйте модели, которые поддерживают MTP (например, Gemma 4), и запустите сервер с флагами:

--spec-draft-model путь_к_доп_модели.gguf

--spec-type draft-mtp

• QAT-квантизация: просто скачайте и используйте готовые QAT-версии моделей (например, Q4 QAT) — они уже специально обучены под сжатие и дают хорошее качество при меньшем размере

• Запуск на Linux: базовая база — это работа на Linux, где можно собирать llama.cpp из исходников — это даст заметный прирост скорости по сравнению с Windows

• tuned-ppd вместо power-profiles-daemon: на Linux установите tuned, включите профиль throughput-performance и перезагрузите систему

• Сборка llama.cpp из оптимизированных исходников: скачайте репозиторий, выполните сборку через cmake с нужными флагами (например, GGML_CUDA=ON) и используйте самую свежую версию

• Режим --fit: добавьте в команду запуска флаги --fit on --fit-target 512 (или больше) — программа сама оптимально распределит части модели между видеокартой и памятью

• Квантизация KV-кэша через флаги -ctk q8_0 -ctv q8_0. Освобождает много видеопамяти для дополнительных слоёв модели с минимальной потерей качества. Добавьте эти флаги при запуске сервера.

• Добавьте флаг --parallel 1: экономия видеопамяти, нужную для хранения истории разговора (особенно полезно для одного пользователя)

• Закрепление на быстрых ядрах (P-cores): даёт +20–30% скорости на процессорах Intel. Запускайте через taskset -c 0-11 (подберите номера ядер под свой CPU)

• Добавьте флаг --flash-attn on: обеспечивает стабильную работу с длинным контекстом

Флаг --no-mmap: убирает внезапные подтормаживания из-за доступа к памяти

• Флаг --mlock: не даёт системе «выталкивать» модель из памяти, предотвращая замедления во время долгой работы

• Перевод монитора на встроенную графику (iGPU): освобождает 500–1000 МБ видеопамяти. Подключите монитор к разъёму на материнской плате.

• Headless-режим: освобождает 200–400 МБ памяти и видеопамяти, убирая графический интерфейс. Выполните sudo systemctl isolate multi-user.target.

• Флаг --n-gpu-layers: позволяет вручную указать, сколько слоёв модели разместить на видеокарте для лучшей скорости

• Флаг --override-tensor: даёт точный контроль над размещением отдельных частей модели на CPU или GPU. Добавьте флаг с правилом, например --override-tensor ".ffn_(up|down|gate)_(ch|)exps=CPU".

• Параметр llama-fit-params: автоматически подбирает оптимальные настройки размещения модели. Запустите llama-fit-params -m ваша_модель.gguf -fitt 512 -fitc 65536

• Флаг --ctx-size: правильно задаёт размер контекста и влияет на использование памяти. Укажите --ctx-size 65536 (или нужное значение).

• Параметры batch-size и ubatch-size: ускоряют обработку промптов и работу с картинками. Добавьте --batch-size 1024 --ubatch-size 512 (для vision — меньше значения)

• Флаг --prio 2: повышает приоритет процесса и уменьшает подтормаживания от других программ

• Флаг --no-warmup: ускоряет запуск сервера

• Параметр GGML_CUDA_GRAPH_OPT: может снизить overhead и ускорить работу (но нужно тестировать). Выполните export GGML_CUDA_GRAPH_OPT=0 (или 1) перед запуском

• Хорошие кванты (UD-Q4_K_XL и подобные): лучше сохраняют качество модели при небольшом размере. Просто скачайте модель с таким квантом.

• Настройки для работы с картинками (vision): позволяют стабильно работать с изображениями на ограниченной видеопамяти. Добавьте --mmproj путь_к_файлу --fit-target 2048 --batch-size 256 --ubatch-size 512

Пользуемся.

Пет-проект

Интересный момент: Claude упал во всём мире, но продолжает отлично работать во всех американских госструктурах.

В США уже построили суверенный ИИ 😆

Пет-проект

Мем: Пентагон защищает дата-центры Grok от экологов самым мощным аргументом — Grok помог успешно запустить 2000 ракет по Ирану, поэтому дата-центры должны продолжать работу.

Лица экологов: 😳😳😳

Пет-проект

Агентам начали выдавать квартиры 🚬

Пока что только виртуальные. Чуваки запустили онлайн-город Tiny Place с домиками и офисами, где живут и работают ИИ-агенты на блокчейне Solana — в нём уже насчитали 150+ «жителей».

Всё оплачивается USDT в зашифрованной и закрытой от посторонних экономике — у агентов есть работа, они нанимают друг друга, есть свой Твиттер, а также есть покер-рум 🃏 (да, агенты рубятся в покер на деньги). Цели у проекта нет, просто небольшой эксперимент.

Запустить агента туда может любой желающий.

Пет-проект

OpenAI, Anthropic и Билл Гейтс решили полностью уничтожить... простуду

Они втроём и ещё пара компашек вложили $500 миллионов долларов в стартап Intercept, который хочет избавить Землю от гриппа, простуды и прочих респираторных вирусов.

Основной упор делается на безопасность воздуха в помещениях и предотвращение передачи инфекций в общественных местах — Intercept хочет сделать ИИ для моделирования эпидемий, раннего обнаружения угроз и разработки новых методов защиты.

Закончились токены. Умер от гриппа 🙃

Пет-проект

В магазинах США появились ИИ-холодильники, следящие за покупателями 😐

Сеть магазинов Kroger (аля наша Пятёрочка) заменила дверцы холодильников на экраны, а за ними спрятала специальные ИИ-камеры, которые определяют пол, возраст, время у витрины, погоду и т.д.

Далее ИИ берёт все эти данные и в реальном времени меняет цену товара. Например, в жаркую погоду в час пик вода будет автоматически становиться в разы дороже, а ночью, наоборот, снижаться.

Система разработана совместно с Microsoft. За два года её не запретили, хотя были попытки, а наоборот распространили на все магазины сети.

Пластмассовый мир победил.

Пет-проект

В Китае расцвёл огромный чёрный рынок токенов Claude, которые стоят на 93% дешевле оригинала 🙂

Чтобы максимально сбить цену, китайские умельцы используют сразу три хитрых схемы:

1. Создают сотни платных аккаунтов и «распиливают» доступ к ним между клиентами по часовым квотам

2. Подменяют топовые модели дешёвыми. Ты думаешь, что общаешься с мощным Claude Opus, а на деле тебе отвечает слабенький Haiku или вообще китайский Qwen

3. Сливают логи чатов корпорациям для обучения нейросетей и шантажистам. Последние ищут в переписках личные данные, чтобы потом спамить или вымогать деньги.

Весь этот движ работает через прокси-серверы (Transfer Stations), хотя официально Anthropic закрыла доступ к Claude в Китае. Чтобы обойти запреты и KYC, дельцы массово скупают данные жителей бедных стран и даже создают ИИ-личности для обмана верификации. Весь трафик гонят через Сингапур, из-за чего маленькая страна внезапно стала мировым лидером по использованию Claude на душу населения.

Пет-проект

OpenRouter перестанет работать в России с 27 июня — официально

Доступ заблокируют, а деньги надо потратить до блокировки или запросить возврат. Все модельки станут недоступны, API тоже отвалятся

Больно 🙃

Пет-проект

Линуксоиды, держитесь — кто-то взял и собрал дистрибутив Linux для браузера

ОС буквально запускается во вкладке и работает как полноценная версия:

• В браузере запускается почти обычный Linux (Debian/Alpine)
• x86-программы исполняются через движок CheerpX: он переводит машинный код x86 → WebAssembly
• Файловая система виртуальная и может сохраняться в браузере через IndexedDB
• Есть терминал, компиляторы, Python, gcc и другие инструменты разработки
• Можно подключать сеть через Tailscale

Будет полезно, чтобы быстро открыть Linux без установки VirtualBox/VMware, либо тестить код и запускать песочницу. Кайф 😎

Ссылку оставил тут.

Пет-проект