为什么增加AI Agent反而让系统变慢了
在构建基于大语言模型的产品时,团队最初部署少量Agent时一切正常,但随着Agent数量增加,系统延迟逐渐升高,甚至出现超时错误。经过排查,发现问题并非出在LLM提供商(如OpenAI或Anthropic)身上,而是代码架构本身存在瓶颈。Planck团队在生产环境中运行多个LLM Agent,所有Agent由单一服务管理,一个请求会同时触发所有Agent,每个Agent再调用数十个子Agent。虽然代码使用了Python的异步机制,理论上所有I/O操作应并发执行,延迟应取决于最慢的LLM调用而非Agent总数,但实际测试显示,随着Agent和子Agent数量增加,系统延迟呈指数级增长。团队通过本地FastAPI服务器模拟LLM响应时间,发现即使使用异步编程,大量并发请求仍会导致资源竞争和上下文切换开销,最终拖慢整体响应速度。 #AI #LLM #Agent #系统设计 #性能优化 #异步编程 #技术架构
在构建基于大语言模型的产品时,团队最初部署少量Agent时一切正常,但随着Agent数量增加,系统延迟逐渐升高,甚至出现超时错误。经过排查,发现问题并非出在LLM提供商(如OpenAI或Anthropic)身上,而是代码架构本身存在瓶颈。Planck团队在生产环境中运行多个LLM Agent,所有Agent由单一服务管理,一个请求会同时触发所有Agent,每个Agent再调用数十个子Agent。虽然代码使用了Python的异步机制,理论上所有I/O操作应并发执行,延迟应取决于最慢的LLM调用而非Agent总数,但实际测试显示,随着Agent和子Agent数量增加,系统延迟呈指数级增长。团队通过本地FastAPI服务器模拟LLM响应时间,发现即使使用异步编程,大量并发请求仍会导致资源竞争和上下文切换开销,最终拖慢整体响应速度。 #AI #LLM #Agent #系统设计 #性能优化 #异步编程 #技术架构
阿里推出 Qoder Security,为 AI 代码安全加码
阿里云近日正式发布 AI 代码安全工具 Qoder Security,旨在为开发者提供更全面的代码安全防护。该工具基于阿里自研的大模型技术,能够自动检测代码中的漏洞、恶意代码及合规风险,并生成修复建议。Qoder Security 支持多种编程语言,可无缝集成到主流开发环境中,帮助团队在开发早期发现并解决安全问题。阿里表示,此举旨在应对 AI 生成代码带来的新安全挑战,提升软件开发生命周期的安全性。该工具目前已开放公测,未来将逐步完善功能。 #阿里云 #QoderSecurity #AI安全 #代码安全 #科技新闻
阿里云近日正式发布 AI 代码安全工具 Qoder Security,旨在为开发者提供更全面的代码安全防护。该工具基于阿里自研的大模型技术,能够自动检测代码中的漏洞、恶意代码及合规风险,并生成修复建议。Qoder Security 支持多种编程语言,可无缝集成到主流开发环境中,帮助团队在开发早期发现并解决安全问题。阿里表示,此举旨在应对 AI 生成代码带来的新安全挑战,提升软件开发生命周期的安全性。该工具目前已开放公测,未来将逐步完善功能。 #阿里云 #QoderSecurity #AI安全 #代码安全 #科技新闻
Anthropic 加入英国 FCA 第二期 AI 监管沙盒,提供 Claude 模型
据 PANews 报道,英国金融行为监管局(FCA)启动第二期“增强型沙盒”项目,Anthropic 将向入选企业提供 Claude AI 模型,包括 Claude Code 和 Claude Cowork,用于代理支付、欺诈检测、合规自动化和 AI 治理等应用开发。本期共有 21 家机构入选,包括 Scottish Widows、Money Advice Trust 和 TrueLayer。FCA 表示共收到 199 份申请,较首期增长 51%,反映金融机构对受控 AI 试验环境的需求上升。该项目延续 FCA 与 NVIDIA 及 NayaOne 的合作,为参与方提供算力和开发工具。此外,FCA 还同步推出为期 10 周的 Agentic Academy,协助企业开发及部署金融服务业 AI 代理。 #Anthropic #FCA #AI监管 #金融科技 #英国 #Claude #沙盒
据 PANews 报道,英国金融行为监管局(FCA)启动第二期“增强型沙盒”项目,Anthropic 将向入选企业提供 Claude AI 模型,包括 Claude Code 和 Claude Cowork,用于代理支付、欺诈检测、合规自动化和 AI 治理等应用开发。本期共有 21 家机构入选,包括 Scottish Widows、Money Advice Trust 和 TrueLayer。FCA 表示共收到 199 份申请,较首期增长 51%,反映金融机构对受控 AI 试验环境的需求上升。该项目延续 FCA 与 NVIDIA 及 NayaOne 的合作,为参与方提供算力和开发工具。此外,FCA 还同步推出为期 10 周的 Agentic Academy,协助企业开发及部署金融服务业 AI 代理。 #Anthropic #FCA #AI监管 #金融科技 #英国 #Claude #沙盒