Amazon Bedrock AgentCore Harness 正式上线,两分钟构建生产级智能体
AWS 宣布 Amazon Bedrock AgentCore Harness 正式可用。该工具提供两大API调用(CreateHarness 和 InvokeHarness)及 CLI 和 Console 支持,让开发者无需手动编写编排代码或构建容器,即可快速部署具备文件系统、会话记忆、网络浏览、工具调用等能力的智能体。AgentCore 集成了运行时、内存、网关、浏览器、身份认证和可观测性等原语,自动处理沙箱环境、存储和链路追踪。用户可在不同调用中切换模型供应商而不丢失上下文,解决了以往智能体从原型到生产过程中面临的并发、隔离、状态和基础设施重复建设等瓶颈。该服务旨在将智能体部署从“搭建”转变为“配置”,加速实验与落地。 #AWS #Bedrock #AgentCore #智能体 #AI #云计算 #无服务器 #生产部署
AWS 宣布 Amazon Bedrock AgentCore Harness 正式可用。该工具提供两大API调用(CreateHarness 和 InvokeHarness)及 CLI 和 Console 支持,让开发者无需手动编写编排代码或构建容器,即可快速部署具备文件系统、会话记忆、网络浏览、工具调用等能力的智能体。AgentCore 集成了运行时、内存、网关、浏览器、身份认证和可观测性等原语,自动处理沙箱环境、存储和链路追踪。用户可在不同调用中切换模型供应商而不丢失上下文,解决了以往智能体从原型到生产过程中面临的并发、隔离、状态和基础设施重复建设等瓶颈。该服务旨在将智能体部署从“搭建”转变为“配置”,加速实验与落地。 #AWS #Bedrock #AgentCore #智能体 #AI #云计算 #无服务器 #生产部署
Ray Serve LLM 性能大幅提升,推理吞吐量最高提升24倍
Ray团队与Google Kubernetes Engine合作,宣布Ray Serve LLM在吞吐量和延迟方面取得重大突破。通过架构层面的三大优化——直接流传输、新的vLLM Ray执行器后端和HAProxy集成,Ray Serve LLM在预填充密集型工作负载上实现了高达4.4倍的请求吞吐量提升,在解码密集型工作负载上实现了24倍的提升。优化后的系统在性能上已与基于Rust的高性能路由框架vllm-router持平。其中,Ray 2.56引入的直接流传输模式将请求路由控制平面与数据平面解耦,消除了传统架构中的中间路由瓶颈。此外,Ray 2.55还发布了基于C语言的HAProxy入口负载均衡器和高吞吐模式优化,并默认禁用Nagle算法以改善流式传输性能。这些改进使Ray Serve LLM能够更好地应对日益复杂的LLM推理部署需求。 #Ray #LLM #分布式推理 #性能优化 #AI基础设施 #vLLM #HAProxy
Ray团队与Google Kubernetes Engine合作,宣布Ray Serve LLM在吞吐量和延迟方面取得重大突破。通过架构层面的三大优化——直接流传输、新的vLLM Ray执行器后端和HAProxy集成,Ray Serve LLM在预填充密集型工作负载上实现了高达4.4倍的请求吞吐量提升,在解码密集型工作负载上实现了24倍的提升。优化后的系统在性能上已与基于Rust的高性能路由框架vllm-router持平。其中,Ray 2.56引入的直接流传输模式将请求路由控制平面与数据平面解耦,消除了传统架构中的中间路由瓶颈。此外,Ray 2.55还发布了基于C语言的HAProxy入口负载均衡器和高吞吐模式优化,并默认禁用Nagle算法以改善流式传输性能。这些改进使Ray Serve LLM能够更好地应对日益复杂的LLM推理部署需求。 #Ray #LLM #分布式推理 #性能优化 #AI基础设施 #vLLM #HAProxy
SFC 发布 FOSS 领域 LLM 生成式 AI 使用建议
软件自由保护组织(SFC)于2026年6月正式发布《FOSS贡献中使用LLM生成式AI系统的建议》。该建议历经四年政策研究,始于2022年政策研究员Bradley M. Kühn发表的相关论文。SFC随后组建专家委员会,并通过多次与成员项目贡献者的倾听会议,了解其需求与关切。2025年11月,SFC召集半数员工及FOSS政策专家组成“FOSS房间中的LLM大象”委员会,意识到完全禁止LLM生成式AI已非最佳策略,需采取多管齐下的方法。2026年初,合规总监Denver Gingerich发表相关观点与经验,SFC随后通过公开视频聊天和Fediverse平台进行更多倾听会议。该建议现已成为SFC重大倡议,未来两年内将发布大量材料,帮助FOSS贡献者谨慎且战略性地利用LLM生成式AI,以增强用户软件自由及设备维修权。 #SFC #FOSS #LLM #生成式AI #软件自由 #开源 #政策建议
软件自由保护组织(SFC)于2026年6月正式发布《FOSS贡献中使用LLM生成式AI系统的建议》。该建议历经四年政策研究,始于2022年政策研究员Bradley M. Kühn发表的相关论文。SFC随后组建专家委员会,并通过多次与成员项目贡献者的倾听会议,了解其需求与关切。2025年11月,SFC召集半数员工及FOSS政策专家组成“FOSS房间中的LLM大象”委员会,意识到完全禁止LLM生成式AI已非最佳策略,需采取多管齐下的方法。2026年初,合规总监Denver Gingerich发表相关观点与经验,SFC随后通过公开视频聊天和Fediverse平台进行更多倾听会议。该建议现已成为SFC重大倡议,未来两年内将发布大量材料,帮助FOSS贡献者谨慎且战略性地利用LLM生成式AI,以增强用户软件自由及设备维修权。 #SFC #FOSS #LLM #生成式AI #软件自由 #开源 #政策建议