试图用2050模拟NS有一个很大的问题就是它有2 gpc (32 rop)，而从die shot里看ns2大概率只有1 gpc / 16 rop，所以极客湾的性能估算大概率依然过于乐观了。。
看起来我之前估算底座模式time spy比Steam Deck略高一些还挺准的，可惜我也过于乐观了，当时觉得ns2会给2 gpc / 32 rop（逃
https://twitter.com/9550pro/status/1920106682098819302
看起来我之前估算底座模式time spy比Steam Deck略高一些还挺准的，可惜我也过于乐观了，当时觉得ns2会给2 gpc / 32 rop（逃
https://twitter.com/9550pro/status/1920106682098819302
🤗19❤1👍1
David's random thoughts
改一下llama.cpp把bs>=32时GPU通过PCIe读取主机内存里的模型的逻辑去掉，现在内存里的tensor全部由CPU处理，速度就正常多了。 无论是用8G显存还是96G显存的pp性能都各自提升到10倍，远超纯CPU运行的性能。prefill现在可以跑出300 token/s的速度，基本达到日常可用水准。
GitHub
Add `--no-op-offload` to improve `-ot` pp perf in MoE models like lla… · ggml-org/llama.cpp@7f323a5
…ma4 400B (#13386)
🆒17
代价是服务器带宽贵到视频网站只给得起1Mbps的码率，家里千兆网下载根本用不上。上传带宽也基本没有，而且稍微多用点流量就要被ISP找上门查pcdn。明面上的吃了便宜最后都是要在各种隐形成本里还回来。
https://x.com/LaiskyCai/status/1926450695625953677
https://x.com/LaiskyCai/status/1926450695625953677
👍31👎5❤3
😁18
💩16🤡2
😁16🤡5
🔥15
David's random thoughts
时隔多年升级存储，感觉这速度都能拿来跑llama 4了（逃
实际用下来这个速度的存储直接把C/C++标准IO API报废了。。各个层面大量buffering/拷贝导致内存带宽被干爆，10 GB/s读取在CPU端观察到70 GB/s带宽，4通道HEDT都扛不住。
换Linux API会好一些，但依然只有O_DIRECT能跑出比较接近理论值的性能，而它对offset对齐要求过于严格，日常实用价值也不大。。🙃
换Linux API会好一些，但依然只有O_DIRECT能跑出比较接近理论值的性能，而它对offset对齐要求过于严格，日常实用价值也不大。。🙃
❤2
进入2025年LLM给我的感觉是这条路线离所谓的AGI越来越遥远了。2023年展望更大更通用的模型，两年后模型的评估标准与发力方向越来越集中在特定高难度和高价值场景。被吹的天花乱坠的头部模型明摆着到处都是刷分痕迹，刷遍AIME竞赛题的CoT模型普遍做不出小学生都能想出来的简单思考题之类的，就很滑稽。
👍43🤡3✍2
@karminski3:
全球AI算力占比趋势。数据来自 Plotset。
需要注意的是我国并非下降了，实际上全球的算力都是在上升的，只不过美国增长得太多，导致我国的AI算力在全球占比不断减少。
不过目前有论调说，AI算力相对容易提升，但是电力这种基础设置的建设要以十年计，所以未来美国AI算力可能面临能源瓶颈。
美国人缺能源是跟当年苏联搞出乌克兰大饥荒一样等级的笑话，现在新建AI数据中心已经有不少自带燃气轮机而不是依赖当地电网基建了。唯一需要摆平的是环保法规。
https://www.tomshardware.com/tech-industry/artificial-intelligence/openai-follows-elon-musks-lead-gas-turbines-to-be-deployed-at-its-first-stargate-site-for-additional-power
https://x.com/karminski3/status/1957200306904629658
Tom's Hardware
OpenAI follows Elon Musk’s lead — gas turbines to be deployed at its first Stargate site for additional power
Looks like the local power grid cannot immediately supply the site's needs.
🤡12💊3👍1