如何降低长AI代理线程的成本（且不降低智能水平）
Viktor是一个运行在Slack和Microsoft Teams中的AI员工，负责处理真实工作，如分类支持收件箱、审计CRM管道、分析QA屏幕录制或构建报告。单个任务通常涉及数十次模型调用的线程，每次调用都携带系统提示、用户技能和记忆、对话历史以及不断增长的工具结果。如果简单实现，这种工作负载会导致高昂成本。本文探讨了问题、数学原理以及Viktor线程引擎中的具体架构决策，以保持前沿模型代理的经济可行性。所有内容来自生产代码库，并以Claude Opus 4.8定价为例。模型API是无状态的，每次调用必须包含模型所需的一切。每次轮次都会重新发送整个历史记录，新令牌只占小部分，而重新发送的令牌占主导。成本呈二次增长：如果上下文以P令牌开始，每步追加s令牌，则N次调用的总输入令牌约为N·P + s·N²/2。任务长度翻倍，尾部成本增加四倍。提供商引入了提示缓存：将提示前缀的处理状态（KV缓存）短暂保存，如果下一个请求以完全相同字节开头，则从缓存状态恢复，而非重新计算。对于Claude Opus 4.8，写入缓存需支付25%溢价，但每次读取仅需正常价格的十分之一。在代理循环中，几乎所有输入令牌都变为缓存读取，大幅降低成本。此外，缓存还降低了延迟，因为跳过了预填充计算，80K令牌上下文的首次令牌时间从数秒降至处理新后缀的成本。 #AI #代理 #成本优化 #提示缓存 #ClaudeOpus #技术架构 #生产代码
Viktor是一个运行在Slack和Microsoft Teams中的AI员工，负责处理真实工作，如分类支持收件箱、审计CRM管道、分析QA屏幕录制或构建报告。单个任务通常涉及数十次模型调用的线程，每次调用都携带系统提示、用户技能和记忆、对话历史以及不断增长的工具结果。如果简单实现，这种工作负载会导致高昂成本。本文探讨了问题、数学原理以及Viktor线程引擎中的具体架构决策，以保持前沿模型代理的经济可行性。所有内容来自生产代码库，并以Claude Opus 4.8定价为例。模型API是无状态的，每次调用必须包含模型所需的一切。每次轮次都会重新发送整个历史记录，新令牌只占小部分，而重新发送的令牌占主导。成本呈二次增长：如果上下文以P令牌开始，每步追加s令牌，则N次调用的总输入令牌约为N·P + s·N²/2。任务长度翻倍，尾部成本增加四倍。提供商引入了提示缓存：将提示前缀的处理状态（KV缓存）短暂保存，如果下一个请求以完全相同字节开头，则从缓存状态恢复，而非重新计算。对于Claude Opus 4.8，写入缓存需支付25%溢价，但每次读取仅需正常价格的十分之一。在代理循环中，几乎所有输入令牌都变为缓存读取，大幅降低成本。此外，缓存还降低了延迟，因为跳过了预填充计算，80K令牌上下文的首次令牌时间从数秒降至处理新后缀的成本。 #AI #代理 #成本优化 #提示缓存 #ClaudeOpus #技术架构 #生产代码
欧盟《数字市场法案》导致 Siri AI 在 iOS 27 和 iPadOS 27 上延迟登陆欧盟
苹果公司今日发布了由 Apple Intelligence 驱动的全新 Siri AI。然而，受欧盟《数字市场法案》(DMA) 影响，苹果无法在即将推出的 iOS 27 和 iPadOS 27 系统中为欧盟用户提供 Siri AI。苹果软件工程高级副总裁克雷格·费德里吉表示，对欧盟用户无法在 iPhone 或 iPad 上使用 Siri AI 深感失望。苹果曾提出名为“可信系统代理”的解决方案，允许虚拟助手安全访问与 Siri AI 相同的功能，并计划在 18 个月内逐步推出，但欧盟委员会拒绝了所有提议。苹果认为，欧盟对 DMA 的极端解读要求其允许任何虚拟助手在缺乏必要保护措施的情况下直接访问用户私密数据并控制其他应用，这存在严重安全风险。不过，欧盟用户仍可在 macOS 27、visionOS 27 和 watchOS 27 上使用 Siri AI。 #苹果 #SiriAI #欧盟 #数字市场法案 #iOS27 #iPadOS27 #科技新闻
苹果公司今日发布了由 Apple Intelligence 驱动的全新 Siri AI。然而，受欧盟《数字市场法案》(DMA) 影响，苹果无法在即将推出的 iOS 27 和 iPadOS 27 系统中为欧盟用户提供 Siri AI。苹果软件工程高级副总裁克雷格·费德里吉表示，对欧盟用户无法在 iPhone 或 iPad 上使用 Siri AI 深感失望。苹果曾提出名为“可信系统代理”的解决方案，允许虚拟助手安全访问与 Siri AI 相同的功能，并计划在 18 个月内逐步推出，但欧盟委员会拒绝了所有提议。苹果认为，欧盟对 DMA 的极端解读要求其允许任何虚拟助手在缺乏必要保护措施的情况下直接访问用户私密数据并控制其他应用，这存在严重安全风险。不过，欧盟用户仍可在 macOS 27、visionOS 27 和 watchOS 27 上使用 Siri AI。 #苹果 #SiriAI #欧盟 #数字市场法案 #iOS27 #iPadOS27 #科技新闻
苹果发布新一代Siri AI，深度融合Apple Intelligence
苹果公司宣布将于今年秋季推出新一代Apple Intelligence和Siri AI功能。全新Siri AI成为更强大的AI助手，支持自然语言输入和对话，能够理解用户个人上下文，在照片、信息、Safari等常用应用中执行操作。新功能包括视觉智能，可通过摄像头识别周围物体并采取行动，如分摊账单、获取营养信息等。Siri AI还拥有专属应用，整合所有对话记录，支持跨设备续接。用户可自定义Siri声音，包括语速和表现力。此外，Siri AI将集成到CarPlay中，让驾驶时无需动手即可获取信息。苹果强调这些AI功能以用户为中心，深度融合于应用中，并全程保护隐私。 #苹果 #Siri #AI #AppleIntelligence #科技新闻
苹果公司宣布将于今年秋季推出新一代Apple Intelligence和Siri AI功能。全新Siri AI成为更强大的AI助手，支持自然语言输入和对话，能够理解用户个人上下文，在照片、信息、Safari等常用应用中执行操作。新功能包括视觉智能，可通过摄像头识别周围物体并采取行动，如分摊账单、获取营养信息等。Siri AI还拥有专属应用，整合所有对话记录，支持跨设备续接。用户可自定义Siri声音，包括语速和表现力。此外，Siri AI将集成到CarPlay中，让驾驶时无需动手即可获取信息。苹果强调这些AI功能以用户为中心，深度融合于应用中，并全程保护隐私。 #苹果 #Siri #AI #AppleIntelligence #科技新闻
苹果发布Siri AI，更强大的个性化智能助手
苹果公司今日正式推出由Apple Intelligence驱动的全新Siri AI。这款深度集成的语音助手具备个人情境理解、广泛世界知识和屏幕感知能力，能够帮助用户实时查找所需信息，从回答网络问题到检索个人消息、邮件和照片中的相关内容。Siri AI还配备了专属应用，方便用户跨设备回顾对话，并扩展了视觉智能体验和写作工具。该版本采用创新的隐私保护架构，利用下一代Apple Intelligence技术，为苹果操作系统带来先进的推理能力。开发者即日起可进行测试，普通用户将于今年晚些时候获得测试版。苹果软件工程高级副总裁Craig Federighi表示，Siri AI能更自然地帮助用户跨应用执行操作。 #苹果 #SiriAI #人工智能 #AppleIntelligence #科技新闻
苹果公司今日正式推出由Apple Intelligence驱动的全新Siri AI。这款深度集成的语音助手具备个人情境理解、广泛世界知识和屏幕感知能力，能够帮助用户实时查找所需信息，从回答网络问题到检索个人消息、邮件和照片中的相关内容。Siri AI还配备了专属应用，方便用户跨设备回顾对话，并扩展了视觉智能体验和写作工具。该版本采用创新的隐私保护架构，利用下一代Apple Intelligence技术，为苹果操作系统带来先进的推理能力。开发者即日起可进行测试，普通用户将于今年晚些时候获得测试版。苹果软件工程高级副总裁Craig Federighi表示，Siri AI能更自然地帮助用户跨应用执行操作。 #苹果 #SiriAI #人工智能 #AppleIntelligence #科技新闻
Flowstate 将 300 万美元 AI 账单降至 190 万
企业 AI 使用中普遍存在模型选择不当导致的成本浪费问题。员工默认使用最昂贵的旗舰模型处理简单任务，如编辑幻灯片或撰写邮件，而账单上却无法区分具体用途。Flowstate 通过智能路由技术解决这一痛点：系统自动将每个提示分配到最合适的模型，例如摘要任务使用 Haiku，日常编程使用 Sonnet，复杂推理才调用 Opus。经同行评审研究验证，该方法可减少高达 40% 的高成本模型调用，且不影响输出质量。同时，企业级按量计费模式使成本在规模扩大时失控，而 Flowstate 将每笔支出与具体工作挂钩，让成本透明化。最终，在保持相同产出的前提下，AI 费用从 300 万美元降至 190 万美元，首次实现成本可视化与优化。 #AI成本 #模型路由 #企业效率 #智能优化 #科技新闻
企业 AI 使用中普遍存在模型选择不当导致的成本浪费问题。员工默认使用最昂贵的旗舰模型处理简单任务，如编辑幻灯片或撰写邮件，而账单上却无法区分具体用途。Flowstate 通过智能路由技术解决这一痛点：系统自动将每个提示分配到最合适的模型，例如摘要任务使用 Haiku，日常编程使用 Sonnet，复杂推理才调用 Opus。经同行评审研究验证，该方法可减少高达 40% 的高成本模型调用，且不影响输出质量。同时，企业级按量计费模式使成本在规模扩大时失控，而 Flowstate 将每笔支出与具体工作挂钩，让成本透明化。最终，在保持相同产出的前提下，AI 费用从 300 万美元降至 190 万美元，首次实现成本可视化与优化。 #AI成本 #模型路由 #企业效率 #智能优化 #科技新闻