Forwarded from 小松鼠的日常 (松)
🦆 我把 32 台 Intel N100 小主机改造成了一个 DeepSeek-V3.2 685B 推理集群。
没有 NVLink。
没有 InfiniBand。
只有 1 张 RTX 5090、32 台原本用于在线评测的 N100、和普通以太网。
关键想法：
🧠 Attention 留在 GPU
🦆 MoE 层交给 N100 集群
⚡ 自定义 fp9 数据格式，让 AVX2 小核也能跑 MoE GEMV
最终：
11 tokens 输入，2037 tokens 输出
16.171 tok/s decode
MTP1 接受率约 89%
技术报告：
https://judgeduck.ai/duck-llm/
*个人娱乐项目，与任何组织均无关联*
没有 NVLink。
没有 InfiniBand。
只有 1 张 RTX 5090、32 台原本用于在线评测的 N100、和普通以太网。
关键想法：
🧠 Attention 留在 GPU
🦆 MoE 层交给 N100 集群
⚡ 自定义 fp9 数据格式，让 AVX2 小核也能跑 MoE GEMV
最终：
11 tokens 输入，2037 tokens 输出
16.171 tok/s decode
MTP1 接受率约 89%
技术报告：
https://judgeduck.ai/duck-llm/
*个人娱乐项目，与任何组织均无关联*
👀2
Cherr panic
挖了个 torch 的洞😇 哦好像并没有，如果认定为内部函数的话就允许不安全
虽然 torch 这个不算洞，但是 hysteria 和 sing-box 是真的又爆洞了😁
Forwarded from 📢cyyself
#blog 模拟 USB HID 修好了无限重启的 Android 手机 https://blog.cyyself.name/usb-hid-emulation-fix-android-bootloop/
Forwarded from 科技圈🎗在花频道📮
Anthropic 宣布推出新一代模型 Claude Opus 4.7，现已在 Claude 全线产品及 API 平台上线。该模型在软件工程领域表现尤为突出，其在 93 项编码基准测试中的解决率比 Opus 4.6 提升了 13%，并能自主完成从零构建 Rust 引擎等复杂任务。此外，Opus 4.7 的视觉能力显著增强，支持最高 2576 像素长边的图像处理，分辨率提升至前代的三倍以上，可精准识别复杂的工程图纸与密集截图。
新模型引入了“xhigh”额外高努力水平选项，让用户在处理难题时能更精细地平衡推理深度与延迟。在安全性方面，Opus 4.7 针对网络安全风险增加了自动检测与拦截机制，并同步启动了“网络验证计划”以支持合规研究。目前，Opus 4.7 的定价维持不变，开发者可通过 API 以每百万输入 Token 5 美元、输出 25 美元的价格接入使用。
Anthropic
🌸 在花频道｜茶馆讨论｜投稿通道
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Cherrling 白日梦主义