Cursor 与 Together AI 合作实现大规模实时低延迟推理
Cursor 是一家 AI 驱动的编程平台，其编辑器内智能代理必须在编辑反馈循环中即时响应，因此并发下的最坏情况延迟成为硬性要求。Cursor 与 Together AI 合作，在 NVIDIA Blackwell（GB200 NVL72 / HGX B200）上部署生产级推理，通过量化（TensorRT-LLM + NVFP4）优化整个技术栈，并建立了从新权重到生产测试端点的可重复路径。在实时服务中，延迟决定建议是否匹配当前代码上下文，而代理需在开发者继续工作时调试问题、生成功能并执行重构。为满足扩展后的延迟预算，团队采用更高内存带宽和吞吐量的 Blackwell 架构，并推动硬件、固件、主机软件及服务层的全栈可靠性优化。Together AI 利用 TensorRT-LLM 和 NVFP4 实现量化管道，在保持代码质量的同时降低延迟和成本。新权重可在数天内完成量化、验证并启动测试端点，经过内部评估和流量 A/B 测试后才正式切换。生产部署横跨多个数据中心，由 GB200 NVL72 处理推理，支持模型的快速迭代。 #AI编程 #低延迟推理 #NVIDIA #Blackwell #Cursor #TogetherAI #量化技术 #实时代理
Cursor 是一家 AI 驱动的编程平台，其编辑器内智能代理必须在编辑反馈循环中即时响应，因此并发下的最坏情况延迟成为硬性要求。Cursor 与 Together AI 合作，在 NVIDIA Blackwell（GB200 NVL72 / HGX B200）上部署生产级推理，通过量化（TensorRT-LLM + NVFP4）优化整个技术栈，并建立了从新权重到生产测试端点的可重复路径。在实时服务中，延迟决定建议是否匹配当前代码上下文，而代理需在开发者继续工作时调试问题、生成功能并执行重构。为满足扩展后的延迟预算，团队采用更高内存带宽和吞吐量的 Blackwell 架构，并推动硬件、固件、主机软件及服务层的全栈可靠性优化。Together AI 利用 TensorRT-LLM 和 NVFP4 实现量化管道，在保持代码质量的同时降低延迟和成本。新权重可在数天内完成量化、验证并启动测试端点，经过内部评估和流量 A/B 测试后才正式切换。生产部署横跨多个数据中心，由 GB200 NVL72 处理推理，支持模型的快速迭代。 #AI编程 #低延迟推理 #NVIDIA #Blackwell #Cursor #TogetherAI #量化技术 #实时代理
AI禁令无法让技术消失
圣克鲁斯一名16岁的海滩救生员，在巨浪中成功救起一名溺水男孩。同一波浪潮影响下，圣地亚哥县已实施了数百起救援行动。他们提到，每年总有人去旧金山海洋海滩游泳，等到回望时为时已晚——陆地早已远去，他们惊慌失措地逆着离岸流奋力划水，而即使是迈克尔·菲尔普斯也无力回天。然而，同样运用这股水流的海上高手们却轻松划桨前行。从工业革命到个人电脑再到互联网，每一次变革都伴随着经济、政治和社会的混乱：巨大进步与大规模毁灭并存。今天，一个创意者享受AI红利的门槛几乎为零。我从未见过一项技术如此迅速地被每个世代和文化接纳。每当我用AI完成一项任务，时间被极大压缩后，我便渴望用更多的时间去充实生活。逆着离岸流游泳只会让你筋疲力尽；如果你非这么做，希望你带好救生圈。 #AI #科技变革 #技术伦理 #离岸流 #数字时代 #创新 #社会影响
圣克鲁斯一名16岁的海滩救生员，在巨浪中成功救起一名溺水男孩。同一波浪潮影响下，圣地亚哥县已实施了数百起救援行动。他们提到，每年总有人去旧金山海洋海滩游泳，等到回望时为时已晚——陆地早已远去，他们惊慌失措地逆着离岸流奋力划水，而即使是迈克尔·菲尔普斯也无力回天。然而，同样运用这股水流的海上高手们却轻松划桨前行。从工业革命到个人电脑再到互联网，每一次变革都伴随着经济、政治和社会的混乱：巨大进步与大规模毁灭并存。今天，一个创意者享受AI红利的门槛几乎为零。我从未见过一项技术如此迅速地被每个世代和文化接纳。每当我用AI完成一项任务，时间被极大压缩后，我便渴望用更多的时间去充实生活。逆着离岸流游泳只会让你筋疲力尽；如果你非这么做，希望你带好救生圈。 #AI #科技变革 #技术伦理 #离岸流 #数字时代 #创新 #社会影响
超1100名AI从业者联名上书，呼吁美国政府减缓AI发展速度
据外媒报道，来自OpenAI、Anthropic、谷歌、Meta等顶级人工智能企业的超过1100名员工，联名签署了一封公开信，请求美国政府牵头推动国际努力，为“放缓自动化AI前沿发展”制定技术与管理工具。信中警告，存在“真实的风险”使AI可能“理解或控制”人类。然而，在科技巨头已投入巨额资金展开技术军备竞赛的背景下，这一请愿行动显得颇为矛盾。评论认为，政府干预的黄金时期本应在军备竞赛开始之前，而非在投资盘根错节之后。此外，信使也需面对政府监管随意、对国际合作态度强硬等现实难题。尽管如此，AI代理引发严重安全事件的频发，或许能刺激真正的行动。 #AI #监管 #科技 #OpenAI #谷歌 #Meta #安全 #请愿 #美国 #人工智能
据外媒报道，来自OpenAI、Anthropic、谷歌、Meta等顶级人工智能企业的超过1100名员工，联名签署了一封公开信，请求美国政府牵头推动国际努力，为“放缓自动化AI前沿发展”制定技术与管理工具。信中警告，存在“真实的风险”使AI可能“理解或控制”人类。然而，在科技巨头已投入巨额资金展开技术军备竞赛的背景下，这一请愿行动显得颇为矛盾。评论认为，政府干预的黄金时期本应在军备竞赛开始之前，而非在投资盘根错节之后。此外，信使也需面对政府监管随意、对国际合作态度强硬等现实难题。尽管如此，AI代理引发严重安全事件的频发，或许能刺激真正的行动。 #AI #监管 #科技 #OpenAI #谷歌 #Meta #安全 #请愿 #美国 #人工智能