Я заплатил за весь компьютер, я буду использовать весь компьютер(рис 1)!
#localllm
Есть у меня такое развлечение запускать локально нейронки на игровом пк, когда игры надоедают. Решил рассказать что у меня вышло в этот раз. Тут не будет точных тестов и бенчмарков лишь субъективные ощущения
Дано:
"Для обывателя — мощно. Для локальных LLM — «нищий набор» © Митя мой коллега"
- Железо
- - CPU: ryzen 7 7800x3d
- - RAM: 64gb ddr5 5600mHz
- - GPU: RTX 5070ti (16 gb vram)
- Модели
- - Qwen3.8 27b
- - Qwen3.8-Flash-Next (125B)
- мои хотелки:
- - 200к контекста
- - скорость чуть больше чем 5 токенов в секунду
- - не самый тупой квант
Итак модель поменьшей мере 27 миллиардов параметров считаем математику модель без квантования (fp16) влезает в ~55 гб не учитывая контекст. Кажется оперативки у меня достаточно целых 64гб пробуем запустить и получаем в лучшем случае 2 ток/s видеокарта не работает проц в 100% - делаем вывод на видеокарте можно не только играть но и нейронки запускать. Однако беда уже в другом - там всего 16гб памяти.
Перерыв с десяток постов на реддит (есть неплохое комьюнити LocalLLM называется вроде) и пару видео на ютубе пришел сперва к конфигурации 27b с квантом q4 (в теории занимает впритык VRAM). Запуск, 50 tok/s, однако контекстное окно 4096 токенов
не годится, то хочу использовать внутри какого-нибудь opencode с тулами и mcp, а тут уже до первого запроса 30к контекста тратится, а еще хочу что бы не происходил компакт каждые 3 запроса, ну в общем методом тыка была выбрана в качестве цели планка в 200к контекста
Пробую увеличивать контекст - на удивление запускается, запускаю генерацию, вижу 3 ток/s. Смотрю в диспетчер задач вижу у видеокарты занято памяти больше чем есть на самом деле, используется shared memory, т.е взаимствуется ресурс оперативки. Казалось бы круто 16гб это не ограничение но вот лимиты скорости передачи данных из RAM в VRAM сильно сильно режут генерацию новых токенов
Опять в интернет, форумы, видео, статьи, чаты, дискорды. нашел конфигурацию на 19 аргументов командной строки: часть слоев лежит в GPU, часть в CPU, KV кеш ужат до q_4, сами веса до UD-IQ3_XSS что бы не значили эти буквы
РАБОТАЕТ 50tok/s, позволяет использовать до 200к контекста (скорость падает при загрузке но не важно), использовано 15.6/16 гигов VRAM остальное в RAM без shared memory код пишет вроде даже не самый плохой, агенты работают либо 60tok/s при 64к контекста MTP повышает скорость в обмен на немного памяти
и так я жил последние пару недель пока в одном из своих чатиков знакомый не скинул чудесный репозиторий
https://github.com/Niko1221/Strata
смотрю в описание репы и глазам не верю, запустить модель на 125 млрд параметров на устройстве с 32/12 RAM/VRAM, а у меня то железа даже больше и круче. надо проверять
и вот вчера я кое как установил, возиться долго не пришлось скормил уже поднятой LLM оффициальную инструкцию
80-110 tok/s, больше чем меньшая модель выдавала, квант IQ2_XS (не самый лучший но в теории можно и IQ3_S) красивый дешборд (рис 2), грузит в сотку и проц и видеокарту, занимает почти всю оперативку но работает. спустя еще 2 промта поднимает контекстное окно с 64к до 200к и занимает ВСЮ оперативку
ну а я счастлив как слон, пытаюсь понять как эта магия работает, заодно изложить сюда
оказывается qwen3.8-flash-next сделана из 24576 экспертов, которые отвечают в зависимости от задачи. топ самых часто используемых экспертов выгружается в видеопамять, остальные сидят в ram. каждый генерируемый токен. требует лишь 10 экспертов. если попали в эксперта сидящего в VRAM он быстро считается на GPU, если он оказался редко используемым и сидит в RAM считется на CPU
тут должен быть какой-то вывод, но его не будет, хотел лишь показать чудо технологию в которую сначала сам не поверил, а затем не поверил тому как легко было все настроить, вышло чутка сумбурно писательского дара нет
#localllm
Есть у меня такое развлечение запускать локально нейронки на игровом пк, когда игры надоедают. Решил рассказать что у меня вышло в этот раз. Тут не будет точных тестов и бенчмарков лишь субъективные ощущения
Дано:
"Для обывателя — мощно. Для локальных LLM — «нищий набор» © Митя мой коллега"
- Железо
- - CPU: ryzen 7 7800x3d
- - RAM: 64gb ddr5 5600mHz
- - GPU: RTX 5070ti (16 gb vram)
- Модели
- - Qwen3.8 27b
- - Qwen3.8-Flash-Next (125B)
- мои хотелки:
- - 200к контекста
- - скорость чуть больше чем 5 токенов в секунду
- - не самый тупой квант
Итак модель поменьшей мере 27 миллиардов параметров считаем математику модель без квантования (fp16) влезает в ~55 гб не учитывая контекст. Кажется оперативки у меня достаточно целых 64гб пробуем запустить и получаем в лучшем случае 2 ток/s видеокарта не работает проц в 100% - делаем вывод на видеокарте можно не только играть но и нейронки запускать. Однако беда уже в другом - там всего 16гб памяти.
Перерыв с десяток постов на реддит (есть неплохое комьюнити LocalLLM называется вроде) и пару видео на ютубе пришел сперва к конфигурации 27b с квантом q4 (в теории занимает впритык VRAM). Запуск, 50 tok/s, однако контекстное окно 4096 токенов
не годится, то хочу использовать внутри какого-нибудь opencode с тулами и mcp, а тут уже до первого запроса 30к контекста тратится, а еще хочу что бы не происходил компакт каждые 3 запроса, ну в общем методом тыка была выбрана в качестве цели планка в 200к контекста
Пробую увеличивать контекст - на удивление запускается, запускаю генерацию, вижу 3 ток/s. Смотрю в диспетчер задач вижу у видеокарты занято памяти больше чем есть на самом деле, используется shared memory, т.е взаимствуется ресурс оперативки. Казалось бы круто 16гб это не ограничение но вот лимиты скорости передачи данных из RAM в VRAM сильно сильно режут генерацию новых токенов
Опять в интернет, форумы, видео, статьи, чаты, дискорды. нашел конфигурацию на 19 аргументов командной строки: часть слоев лежит в GPU, часть в CPU, KV кеш ужат до q_4, сами веса до UD-IQ3_XSS что бы не значили эти буквы
РАБОТАЕТ 50tok/s, позволяет использовать до 200к контекста (скорость падает при загрузке но не важно), использовано 15.6/16 гигов VRAM остальное в RAM без shared memory код пишет вроде даже не самый плохой, агенты работают либо 60tok/s при 64к контекста MTP повышает скорость в обмен на немного памяти
и так я жил последние пару недель пока в одном из своих чатиков знакомый не скинул чудесный репозиторий
https://github.com/Niko1221/Strata
смотрю в описание репы и глазам не верю, запустить модель на 125 млрд параметров на устройстве с 32/12 RAM/VRAM, а у меня то железа даже больше и круче. надо проверять
и вот вчера я кое как установил, возиться долго не пришлось скормил уже поднятой LLM оффициальную инструкцию
Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.`` спустя недолгое время передо мной run.bat (дело было на винде) запускаю и все сразу работает, и очень даже неплохо80-110 tok/s, больше чем меньшая модель выдавала, квант IQ2_XS (не самый лучший но в теории можно и IQ3_S) красивый дешборд (рис 2), грузит в сотку и проц и видеокарту, занимает почти всю оперативку но работает. спустя еще 2 промта поднимает контекстное окно с 64к до 200к и занимает ВСЮ оперативку
ну а я счастлив как слон, пытаюсь понять как эта магия работает, заодно изложить сюда
оказывается qwen3.8-flash-next сделана из 24576 экспертов, которые отвечают в зависимости от задачи. топ самых часто используемых экспертов выгружается в видеопамять, остальные сидят в ram. каждый генерируемый токен. требует лишь 10 экспертов. если попали в эксперта сидящего в VRAM он быстро считается на GPU, если он оказался редко используемым и сидит в RAM считется на CPU
тут должен быть какой-то вывод, но его не будет, хотел лишь показать чудо технологию в которую сначала сам не поверил, а затем не поверил тому как легко было все настроить, вышло чутка сумбурно писательского дара нет
❤3