多AI代理并行推理内存在旧GPU上崩溃？这个小工具解决了
如果你手头有一张老旧的NVIDIA GTX 1080显卡（仅8GB显存），却想让三个不同LLM驱动的AI代理同时运行，大概率会遇到第二个代理因内存耗尽而崩溃的尴尬。问题根源在于llama-completion等工具在加载时会提前为整个上下文窗口预留KV缓存，导致第一个代理就占掉了6.5GB，后续代理再无空间。一位开发者为此编写了名为lmxd的轻量级C++守护进程，它允许所有代理共享同一张显卡，避免了逐个启动时的OOM失败。该方案不依赖昂贵的硬件升级，只需一个小巧的后台程序即可实现三个小模型（如Llama 3.2 1B、Qwen2 0.5B、SmolLM2 360M）的并行稳定运行，为低预算开发者提供了实用的多代理部署思路。 #AI #多代理 #GPU #并行推理 #LLM #C++ #内存优化 #开源 #技术
如果你手头有一张老旧的NVIDIA GTX 1080显卡（仅8GB显存），却想让三个不同LLM驱动的AI代理同时运行，大概率会遇到第二个代理因内存耗尽而崩溃的尴尬。问题根源在于llama-completion等工具在加载时会提前为整个上下文窗口预留KV缓存，导致第一个代理就占掉了6.5GB，后续代理再无空间。一位开发者为此编写了名为lmxd的轻量级C++守护进程，它允许所有代理共享同一张显卡，避免了逐个启动时的OOM失败。该方案不依赖昂贵的硬件升级，只需一个小巧的后台程序即可实现三个小模型（如Llama 3.2 1B、Qwen2 0.5B、SmolLM2 360M）的并行稳定运行，为低预算开发者提供了实用的多代理部署思路。 #AI #多代理 #GPU #并行推理 #LLM #C++ #内存优化 #开源 #技术
美国国会图书馆加入AI4LAM，推动文化遗产领域AI应用
美国国会图书馆正式成为AI4LAM（图书馆、档案馆和博物馆人工智能）国际组织的创始成员。该组织成立于2018年，由挪威国家图书馆和斯坦福大学图书馆发起，目前拥有来自十余个国家的40多家机构成员。国会图书馆自组织创立之初便参与其中，首席信息官Judith Conklin于去年冬季签署正式协议。AI4LAM致力于推动文化遗产领域负责任、可靠的AI应用，通过工作组、网络研讨会和社区会议共享实践与标准。国会图书馆在2019年成立的秘书处中担任领导角色，并于2025年与史密森学会、国家美术馆联合组建了AI4LAM华盛顿特区章节。该组织的旗舰年度会议Fantastic Futures 2026将于9月15-17日举行，主题为“信任在循环中”，由国会图书馆、国家美术馆和史密森学会联合主办，旨在探讨AI时代文化遗产机构面临的关键问题，确保知识获取的自由与可信。 #AI #图书馆 #文化遗产 #国会图书馆 #AI4LAM #国际组织 #科技新闻
美国国会图书馆正式成为AI4LAM（图书馆、档案馆和博物馆人工智能）国际组织的创始成员。该组织成立于2018年，由挪威国家图书馆和斯坦福大学图书馆发起，目前拥有来自十余个国家的40多家机构成员。国会图书馆自组织创立之初便参与其中，首席信息官Judith Conklin于去年冬季签署正式协议。AI4LAM致力于推动文化遗产领域负责任、可靠的AI应用，通过工作组、网络研讨会和社区会议共享实践与标准。国会图书馆在2019年成立的秘书处中担任领导角色，并于2025年与史密森学会、国家美术馆联合组建了AI4LAM华盛顿特区章节。该组织的旗舰年度会议Fantastic Futures 2026将于9月15-17日举行，主题为“信任在循环中”，由国会图书馆、国家美术馆和史密森学会联合主办，旨在探讨AI时代文化遗产机构面临的关键问题，确保知识获取的自由与可信。 #AI #图书馆 #文化遗产 #国会图书馆 #AI4LAM #国际组织 #科技新闻
AI安全代理新范式
最新研究表明，将大型语言模型（LLM）直接作为安全代理处理所有上下文并非最优方案。研究发现，完全依赖LLM进行漏洞扫描成本高昂，且确定性扫描器（如SAST、DAST）在已知签名匹配上效率更高，但对未知漏洞类型（如SSTI）存在盲区。研究者提出混合架构“Lattice Mind”，将低成本确定性扫描与LLM智能推理结合：扫描器负责快速抓取低级成果，LLM基于结果生成自定义载荷并利用MCP服务器等工具进行深度探索。该架构通过技能优化循环，使模型在完成任务后自动评估工具效果并调整策略。实际测试中，该方案能在30分钟内解决PicoCTF 2025和DawgCTF 2026中最困难的挑战。研究者强调，代理并非扫描器，关键在于让LLM专注于需要推理的环节而非重复检测。 #AI安全 #LLM #漏洞挖掘 #网络安全 #机器学习 #自动化安全 #混合方法
最新研究表明，将大型语言模型（LLM）直接作为安全代理处理所有上下文并非最优方案。研究发现，完全依赖LLM进行漏洞扫描成本高昂，且确定性扫描器（如SAST、DAST）在已知签名匹配上效率更高，但对未知漏洞类型（如SSTI）存在盲区。研究者提出混合架构“Lattice Mind”，将低成本确定性扫描与LLM智能推理结合：扫描器负责快速抓取低级成果，LLM基于结果生成自定义载荷并利用MCP服务器等工具进行深度探索。该架构通过技能优化循环，使模型在完成任务后自动评估工具效果并调整策略。实际测试中，该方案能在30分钟内解决PicoCTF 2025和DawgCTF 2026中最困难的挑战。研究者强调，代理并非扫描器，关键在于让LLM专注于需要推理的环节而非重复检测。 #AI安全 #LLM #漏洞挖掘 #网络安全 #机器学习 #自动化安全 #混合方法