@sysutil / 0x023DF34A0B878D69 🍷
5.06K subscribers
7 photos
1 file
6 links
Контакт для связи: sysutil@posteo.sg (актуально всегда)
GnuPG Key ID: ed25519/0x023DF34A0B878D69

PGP-ключ доступен в закрепленном посте.
Download Telegram
$BTC = 110K USD. Всем спасибо, всех поздравляю 🍷

P.S. В ближайшее время будет очередной большой пост, ожидаю положительной отдачи от вас на него.
Please open Telegram to view this post
VIEW IN TELEGRAM
🍌149
Христос Воскресе 🥚
🍌162
Как же круто, что из-за отдельных нытиков, которые админят серверы через дисплей домофона, htop по стандарту прячет поядерную нагрузку, стоит числу потоков перевалить за 128.

Пик2 – текущий дефолт

Пик3 – как мне пришлось перенастроить в никс конфиге, чтобы данная чудо-утилита реально была полезной, лол.

Мне интересно кому и зачем реально нужно в htop видеть ТОЛЬКО Avg нагрузку? Это же буквально неудобно для отладки.

Пик1 – комментарий человека, который видимо никогда не сталкивался с проблемами, возникающими из-за того, что ПО загоняет одно ядро в сотку, пока остальные простаивают. По его версии, поядерная разбивка нужна только «ricers'ам для красивых скриншотов» – то есть реальный сценарий отладки он на серьёзных щах записал в понты.
🍌206
https://github.com/J-jaeyoung/bad-epoll
https://nvd.nist.gov/vuln/detail/CVE-2026-46242

Линух стабильно доказывает, что если вам важна безопасность, то это не к нему.

И если про предыдущие находки хотя бы можно было сказать, что они касаются только идиотов, которые не занимаются харденингом, то тут уже такое не сработает. Потому что проблема касается буквально всех: epoll – это не act_pedit, загрузку которого можно отключить на 99.9% машин и забыть, потому что он нахуй никому не нужен. epoll – базовый механизм ядра, без которого не работает (почти) вся асинхронная сеть Linux.

Это вам знак, что давно пора переходить на OpenBSD или z/OS.
🍌247
@sysutil / 0x023DF34A0B878D69 🍷
https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731
Это уже мы протестировали и результаты потрясающие. У нас получилось выжать 400-500 TPS под вполне продакшн нагрузками. Самое приятное – kv cache. DeepSeek настоящие инноватары, делают по истине новые архитектуры, где максимально задрачивают оптимизацию. В итоге 1 млн контекста в DeepSeek V4 Flash требует 10-15гб ОЗУ (если верно помню), тогда как на той же GLM-5.2 1 млн контекста требует аж 180гб ОЗУ. Разница в 18 РАЗ.
🍌366
@sysutil / 0x023DF34A0B878D69 🍷
https://huggingface.co/unsloth/GLM-5.3-Flash
https://huggingface.co/Qwen/Qwen3.8-Flash-Next
Сейчас будем заниматься тестированием этих моделей ✌️

По GLM-5.3-Flash уже немного есть что сказать:

1. Это микс архитектуры DSV4F + Kimi K3.
2. По KV Cache за счет понятно чьих заслуг все прекрасно.
3. Главный вопрос в данный момент – наличие prefix caching, именно это будет решающим моментом. От этого зависит возможность оффлоада кв кэша в ОЗУ. У Kimi K3, например, на релизе с этим были проблемы.

Что касательно Qwen3.8-Flash-Next:

Выглядит ОЧЕНЬ многообещающе. По бенчмаркам это уровень DeepSeek-V4-Flash-0731, который на уровне GLM-5.2 (а GLM-5.2 > Opus 4.8, если кто забыл) в кодинге, но Qwen3.8-Flash-Next ЗНАЧИТЕЛЬНО компактнее и ключевое тут не в тотал параметрах, а активных – всего 6 миллиардов, тогда как у DSV4F их 13 миллиардов. За счет этого Qwen3.8-Flash-Next будет в РАЗЫ быстрее, но при этом качество должно быть такое же. Это предстоит проверить. Иметь модель для кодинга со скоростью 1000 TPS – давняя моя цель.
🍌386
@sysutil / 0x023DF34A0B878D69 🍷
3. Главный вопрос в данный момент – наличие prefix caching, именно это будет решающим моментом. От этого зависит возможность оффлоада кв кэша в ОЗУ. У Kimi K3, например, на релизе с этим были проблемы.
Работает, но из-за HiCache скорости упали ☕️

Попробуем исправить, потестим разные стратегии кэша, скорее всего проблема в довольно неэффективном для большинства железа дефолте, он рассчитан под GB300, а я GB300 доставку пока только жду 🥲
Please open Telegram to view this post
VIEW IN TELEGRAM
🍌243