David's random thoughts
想着五一前后挑战llama4 400B发现并没什么挑战性，q4模型用7970X (150GB/s)纯CPU prefll 108 t/s decode 13.8 t/s，用8G显存offload dense层27 t/s，塞满双卡96G显存能30.8 t/s 不过llama.cpp的override tensors的prefill看起来是用纯GPU走PCIe访问内存里的模型，还有优化空间。至少不应该比纯CPU差
改一下llama.cpp把bs>=32时GPU通过PCIe读取主机内存里的模型的逻辑去掉，现在内存里的tensor全部由CPU处理，速度就正常多了。
无论是用8G显存还是96G显存的pp性能都各自提升到10倍，远超纯CPU运行的性能。prefill现在可以跑出300 token/s的速度，基本达到日常可用水准。
无论是用8G显存还是96G显存的pp性能都各自提升到10倍，远超纯CPU运行的性能。prefill现在可以跑出300 token/s的速度，基本达到日常可用水准。
👏4
拿来搭个24-48G显存的独显跑Qwen3 235B大概比较合适，回头等看如果有带标准PCIe插槽的靠谱机器了考虑试试（
https://twitter.com/Im_Sdog/status/1920024976180101297
https://twitter.com/Im_Sdog/status/1920024976180101297
X (formerly Twitter)
𝕊𝕕𝕠𝕘 (@Im_Sdog) on X
这个零刻迷你机挺牛逼的，AI Max+ 395、128G 内存、96G 可分配显存，就是这个价格这个形态...不知道谁有需求
👍8
试图用2050模拟NS有一个很大的问题就是它有2 gpc (32 rop)，而从die shot里看ns2大概率只有1 gpc / 16 rop，所以极客湾的性能估算大概率依然过于乐观了。。
看起来我之前估算底座模式time spy比Steam Deck略高一些还挺准的，可惜我也过于乐观了，当时觉得ns2会给2 gpc / 32 rop（逃
https://twitter.com/9550pro/status/1920106682098819302
看起来我之前估算底座模式time spy比Steam Deck略高一些还挺准的，可惜我也过于乐观了，当时觉得ns2会给2 gpc / 32 rop（逃
https://twitter.com/9550pro/status/1920106682098819302
X (formerly Twitter)
HXL (@9550pro) on X
Simulate NS2 T239 performance
🤗19❤1👍1
David's random thoughts
改一下llama.cpp把bs>=32时GPU通过PCIe读取主机内存里的模型的逻辑去掉，现在内存里的tensor全部由CPU处理，速度就正常多了。 无论是用8G显存还是96G显存的pp性能都各自提升到10倍，远超纯CPU运行的性能。prefill现在可以跑出300 token/s的速度，基本达到日常可用水准。
GitHub
Add `--no-op-offload` to improve `-ot` pp perf in MoE models like lla… · ggml-org/llama.cpp@7f323a5
…ma4 400B (#13386)
🆒17
代价是服务器带宽贵到视频网站只给得起1Mbps的码率，家里千兆网下载根本用不上。上传带宽也基本没有，而且稍微多用点流量就要被ISP找上门查pcdn。明面上的吃了便宜最后都是要在各种隐形成本里还回来。
https://x.com/LaiskyCai/status/1926450695625953677
https://x.com/LaiskyCai/status/1926450695625953677
👍31👎5❤3
😁18
🔥15
David's random thoughts
时隔多年升级存储，感觉这速度都能拿来跑llama 4了（逃
实际用下来这个速度的存储直接把C/C++标准IO API报废了。。各个层面大量buffering/拷贝导致内存带宽被干爆，10 GB/s读取在CPU端观察到70 GB/s带宽，4通道HEDT都扛不住。
换Linux API会好一些，但依然只有O_DIRECT能跑出比较接近理论值的性能，而它对offset对齐要求过于严格，日常实用价值也不大。。🙃
换Linux API会好一些，但依然只有O_DIRECT能跑出比较接近理论值的性能，而它对offset对齐要求过于严格，日常实用价值也不大。。🙃
❤2
进入2025年LLM给我的感觉是这条路线离所谓的AGI越来越遥远了。2023年展望更大更通用的模型，两年后模型的评估标准与发力方向越来越集中在特定高难度和高价值场景。被吹的天花乱坠的头部模型明摆着到处都是刷分痕迹，刷遍AIME竞赛题的CoT模型普遍做不出小学生都能想出来的简单思考题之类的，就很滑稽。
👍42🤡2❤1✍1