NEXUS: 为工具型LLM代理提供结构化运行时安全
一篇题为《NEXUS: Structured Runtime Safety for Tool-Using LLM Agents》的学术论文近日在arXiv预印本平台发布。该研究由Elias Hossain等五位作者共同完成，聚焦于大型语言模型（LLM）代理在使用外部工具时的运行时安全问题。论文提出了一种名为NEXUS的结构化安全框架，旨在通过系统化的运行时监控与约束机制，防止LLM代理在执行工具调用时产生有害或不可预测的行为。研究团队认为，随着LLM代理在代码执行、数据库查询等场景中广泛应用，确保其在运行时遵循安全边界至关重要。NEXUS框架通过定义明确的权限与行为规则，为代理的自主操作提供了可验证的安全保障。该工作为提升AI代理在实际部署中的可靠性提供了新的思路。 #NEXUS #LLM #AI安全 #工具代理 #学术论文 #arXiv #人工智能
一篇题为《NEXUS: Structured Runtime Safety for Tool-Using LLM Agents》的学术论文近日在arXiv预印本平台发布。该研究由Elias Hossain等五位作者共同完成，聚焦于大型语言模型（LLM）代理在使用外部工具时的运行时安全问题。论文提出了一种名为NEXUS的结构化安全框架，旨在通过系统化的运行时监控与约束机制，防止LLM代理在执行工具调用时产生有害或不可预测的行为。研究团队认为，随着LLM代理在代码执行、数据库查询等场景中广泛应用，确保其在运行时遵循安全边界至关重要。NEXUS框架通过定义明确的权限与行为规则，为代理的自主操作提供了可验证的安全保障。该工作为提升AI代理在实际部署中的可靠性提供了新的思路。 #NEXUS #LLM #AI安全 #工具代理 #学术论文 #arXiv #人工智能
LISA：线性索引稀疏注意力机制实现高效长文本推理
arXiv 上发布了一篇题为《LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning》的研究论文。该论文由 Yu Zhao 等作者提出了一种名为 LISA 的新型注意力机制，旨在解决大语言模型在处理超长上下文时计算成本过高的问题。LISA 通过引入线性索引和稀疏注意力模式，显著降低了长文本推理过程中的计算复杂度，同时保持了模型对关键信息的捕捉能力。这一方法有望提升 AI 模型在文档分析、代码理解等需要处理大量上下文场景中的效率与性能。 #AI #大模型 #注意力机制 #长文本推理 #arXiv #论文 #机器学习
arXiv 上发布了一篇题为《LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning》的研究论文。该论文由 Yu Zhao 等作者提出了一种名为 LISA 的新型注意力机制，旨在解决大语言模型在处理超长上下文时计算成本过高的问题。LISA 通过引入线性索引和稀疏注意力模式，显著降低了长文本推理过程中的计算复杂度，同时保持了模型对关键信息的捕捉能力。这一方法有望提升 AI 模型在文档分析、代码理解等需要处理大量上下文场景中的效率与性能。 #AI #大模型 #注意力机制 #长文本推理 #arXiv #论文 #机器学习
数据科学背后的悲伤故事
近日，一则关于乘客因航班超售被拒载的帖子在社交媒体上引发热议。如果你常坐飞机，或许也遇到过类似情况。这看似是操作失误，实则不然。在航空业，这类“错误”往往是航空公司为最大化利润而有意为之的风险决策。从数据科学角度看，这是一个基于概率和数学的统计权衡。以一家虚构的“数据科学航空公司”为例，他们为容量300人的航班售出304张机票。根据历史数据，乘客实际登机的概率为95%。假设每位乘客独立登机（忽略家庭或团体同行的复杂情况），那么实际登机人数服从二项分布。通过计算，当超过300人登机时，航班就会超售。这一模型揭示了航空公司如何在概率计算与利润最大化之间做出抉择。 #数据科学 #航空超售 #概率论 #二项分布 #商业决策 #数学建模
近日，一则关于乘客因航班超售被拒载的帖子在社交媒体上引发热议。如果你常坐飞机，或许也遇到过类似情况。这看似是操作失误，实则不然。在航空业，这类“错误”往往是航空公司为最大化利润而有意为之的风险决策。从数据科学角度看，这是一个基于概率和数学的统计权衡。以一家虚构的“数据科学航空公司”为例，他们为容量300人的航班售出304张机票。根据历史数据，乘客实际登机的概率为95%。假设每位乘客独立登机（忽略家庭或团体同行的复杂情况），那么实际登机人数服从二项分布。通过计算，当超过300人登机时，航班就会超售。这一模型揭示了航空公司如何在概率计算与利润最大化之间做出抉择。 #数据科学 #航空超售 #概率论 #二项分布 #商业决策 #数学建模
RAG 幻觉多是提取错误
并非所有问题都期待相同形式的答案。有的需要带引用的单一数字，有的需要每行一个条目的列表，还有的需要带条件的“是”或“否”。若强行通过一次生成调用处理所有形状，每种形状都会相互干扰。解决方案是采用一小套生成模式，每种答案形状对应一种模式。本文是《企业文档智能》系列的配套内容，该系列哲学在《放大专家》中阐述，聚焦于四砖架构中的第四块（生成），并反驳团队在RAG答案错误时常用的词汇。严格意义上的“幻觉”是模型参数记忆中的捏造：大语言模型凭空编造事实，毫无输入依据。在RAG中，模型读取上下文；答案错误时，原因在上游的提取链（解析、问题、检索或生成契约本身）。将每次失败都称为“幻觉”会关闭行动方向的讨论，而命名真正原因则重新开启讨论。主流叙事将生成视为“发送检索块+问题给LLM，返回答案字符串”，我们拒绝这一框架。答案不是字符串，而是带引用、保真度标志和自我评估字段的类型化Pydantic对象。LLM是函数，而非神谕。模式即契约，验证器在用户看到任何内容前运行。七种模式包括：答案模式是契约，结构化检索输入，类型化Pydantic对象输出，带引用、保真度标志和管道反馈字段，绝不仅是“答案字符串”。例如，“保费金额是多少？”基线返回句子：“保费为每月124美元，按合同。”下游需从散文中解析数字，且无来源或置信度信息。系列返回行：Amount(value=124.0, currency="USD", unit="month", evidence=[Span(line_start=42, line_end=42, quote="premium of $124 / month")], answer_found=True, confidence=0.95)。值已类型化，证据指向精确行，自我评估字段伴随。调用者读取结构化值，而非需重读的文本。 #RAG #大模型 #幻觉 #生成契约 #Pydantic #AI #企业文档智能 #技术架构
并非所有问题都期待相同形式的答案。有的需要带引用的单一数字，有的需要每行一个条目的列表，还有的需要带条件的“是”或“否”。若强行通过一次生成调用处理所有形状，每种形状都会相互干扰。解决方案是采用一小套生成模式，每种答案形状对应一种模式。本文是《企业文档智能》系列的配套内容，该系列哲学在《放大专家》中阐述，聚焦于四砖架构中的第四块（生成），并反驳团队在RAG答案错误时常用的词汇。严格意义上的“幻觉”是模型参数记忆中的捏造：大语言模型凭空编造事实，毫无输入依据。在RAG中，模型读取上下文；答案错误时，原因在上游的提取链（解析、问题、检索或生成契约本身）。将每次失败都称为“幻觉”会关闭行动方向的讨论，而命名真正原因则重新开启讨论。主流叙事将生成视为“发送检索块+问题给LLM，返回答案字符串”，我们拒绝这一框架。答案不是字符串，而是带引用、保真度标志和自我评估字段的类型化Pydantic对象。LLM是函数，而非神谕。模式即契约，验证器在用户看到任何内容前运行。七种模式包括：答案模式是契约，结构化检索输入，类型化Pydantic对象输出，带引用、保真度标志和管道反馈字段，绝不仅是“答案字符串”。例如，“保费金额是多少？”基线返回句子：“保费为每月124美元，按合同。”下游需从散文中解析数字，且无来源或置信度信息。系列返回行：Amount(value=124.0, currency="USD", unit="month", evidence=[Span(line_start=42, line_end=42, quote="premium of $124 / month")], answer_found=True, confidence=0.95)。值已类型化，证据指向精确行，自我评估字段伴随。调用者读取结构化值，而非需重读的文本。 #RAG #大模型 #幻觉 #生成契约 #Pydantic #AI #企业文档智能 #技术架构
为什么增加AI Agent反而让系统变慢了
在构建基于大语言模型的产品时，团队最初部署少量Agent时一切正常，但随着Agent数量增加，系统延迟逐渐升高，甚至出现超时错误。经过排查，发现问题并非出在LLM提供商（如OpenAI或Anthropic）身上，而是代码架构本身存在瓶颈。Planck团队在生产环境中运行多个LLM Agent，所有Agent由单一服务管理，一个请求会同时触发所有Agent，每个Agent再调用数十个子Agent。虽然代码使用了Python的异步机制，理论上所有I/O操作应并发执行，延迟应取决于最慢的LLM调用而非Agent总数，但实际测试显示，随着Agent和子Agent数量增加，系统延迟呈指数级增长。团队通过本地FastAPI服务器模拟LLM响应时间，发现即使使用异步编程，大量并发请求仍会导致资源竞争和上下文切换开销，最终拖慢整体响应速度。 #AI #LLM #Agent #系统设计 #性能优化 #异步编程 #技术架构
在构建基于大语言模型的产品时，团队最初部署少量Agent时一切正常，但随着Agent数量增加，系统延迟逐渐升高，甚至出现超时错误。经过排查，发现问题并非出在LLM提供商（如OpenAI或Anthropic）身上，而是代码架构本身存在瓶颈。Planck团队在生产环境中运行多个LLM Agent，所有Agent由单一服务管理，一个请求会同时触发所有Agent，每个Agent再调用数十个子Agent。虽然代码使用了Python的异步机制，理论上所有I/O操作应并发执行，延迟应取决于最慢的LLM调用而非Agent总数，但实际测试显示，随着Agent和子Agent数量增加，系统延迟呈指数级增长。团队通过本地FastAPI服务器模拟LLM响应时间，发现即使使用异步编程，大量并发请求仍会导致资源竞争和上下文切换开销，最终拖慢整体响应速度。 #AI #LLM #Agent #系统设计 #性能优化 #异步编程 #技术架构