用一根 USB-C 线把 iPhone 接成 Mac 的第二块算力,让 24GB 内存的 Mac 跑 Qwen3.8-27B 时预填充更快、可用上下文从 64k 拉到 128k 以上。
https://github.com/StayLameBro/backburner
接上 10Gb/s USB-C 线,iPhone 就成了 Mac 跑 Qwen3.8-27B 的额外算力,这是 Backburner 的做法。
1-40 层留在 Mac,41-64 层交给手机 GPU 的矩阵单元,256 token 一批错峰流水,16k 至 48k 上下文的预填充等待减少 29% 到 44%。Mac 的 64k KV 到顶后,最旧的数据按每页 4,096 个 key 迁往手机,注意力由手机 GPU 和神经引擎承担,容量上限在启动时依据手机剩余内存确定,iPhone 17 Pro Max 8-bit 能到 196k-229k token,128k 已实测。
互联网充电|优质资源
优质内容|内幕消息
https://github.com/StayLameBro/backburner
接上 10Gb/s USB-C 线,iPhone 就成了 Mac 跑 Qwen3.8-27B 的额外算力,这是 Backburner 的做法。
1-40 层留在 Mac,41-64 层交给手机 GPU 的矩阵单元,256 token 一批错峰流水,16k 至 48k 上下文的预填充等待减少 29% 到 44%。Mac 的 64k KV 到顶后,最旧的数据按每页 4,096 个 key 迁往手机,注意力由手机 GPU 和神经引擎承担,容量上限在启动时依据手机剩余内存确定,iPhone 17 Pro Max 8-bit 能到 196k-229k token,128k 已实测。
互联网充电|优质资源
优质内容|内幕消息