推出 GLM
AI模型扩展法则一直是指导开发的关键原则,但Z.ai联合创始人最新文章指出,仅关注参数数量已不足够。早期研究如Kaplan等人(2020年)建议参数增长应快于数据,但Hoffmann等人(2022年)通过四百个模型实验发现,计算最优分配应是参数与数据以约20令牌每参数的比例平衡增长。随着推理计算成本日益突出,模型优化需考虑推理阶段,如Llama-2-7B和Gemma-2-9B等模型采用故意过度训练。稀疏模型(如MoE)进一步复杂化,总参数控制知识容量,而激活参数决定推理能力。Z.ai认为,参数数量达到阈值后,提升需依赖有效深度和后训练。基于此,Z.ai发布了GLM-5.3模型,在相同架构下,通过一个月长周期环境和强化学习扩展,实现了显著性能提升,表明后训练扩展是未来方向。 #AI #大模型 #GLM #扩展法则 #Zai #机器学习 #深度学习
AI模型扩展法则一直是指导开发的关键原则,但Z.ai联合创始人最新文章指出,仅关注参数数量已不足够。早期研究如Kaplan等人(2020年)建议参数增长应快于数据,但Hoffmann等人(2022年)通过四百个模型实验发现,计算最优分配应是参数与数据以约20令牌每参数的比例平衡增长。随着推理计算成本日益突出,模型优化需考虑推理阶段,如Llama-2-7B和Gemma-2-9B等模型采用故意过度训练。稀疏模型(如MoE)进一步复杂化,总参数控制知识容量,而激活参数决定推理能力。Z.ai认为,参数数量达到阈值后,提升需依赖有效深度和后训练。基于此,Z.ai发布了GLM-5.3模型,在相同架构下,通过一个月长周期环境和强化学习扩展,实现了显著性能提升,表明后训练扩展是未来方向。 #AI #大模型 #GLM #扩展法则 #Zai #机器学习 #深度学习
AI生成RACE注意力因果保证候选证明,待专家验证
在机器学习领域,RACE注意力机制是一种基于软局部敏感哈希的高效线性时间近似方法。此前,该机制在非因果设置下已建立理论保证,但因果设置下的偏差-方差保证一直是开放问题。近日,一个使用AI生成的候选证明被提出,旨在解决这一难题。该证明采用逐行分析,避免了复杂的随机过程理论,核心是代数观察:在因果位置t,累积实现等价于限制在前缀1:t的随机化RACE核注意力。通过结合浓度界限和稳定性结果,证明在单位归一化条件下匹配了已知非因果定理的依赖性。需要强调的是,该文档明确标注为AI生成的候选证明,尚未经过独立验证或同行评审,目前正提交给专家进行审查。这一进展可能为注意力机制的因果理论提供新思路,推动相关领域的研究。 #AI #RACE注意力 #因果推断 #机器学习 #理论证明 #研究进展 #AI生成 #专家审查
在机器学习领域,RACE注意力机制是一种基于软局部敏感哈希的高效线性时间近似方法。此前,该机制在非因果设置下已建立理论保证,但因果设置下的偏差-方差保证一直是开放问题。近日,一个使用AI生成的候选证明被提出,旨在解决这一难题。该证明采用逐行分析,避免了复杂的随机过程理论,核心是代数观察:在因果位置t,累积实现等价于限制在前缀1:t的随机化RACE核注意力。通过结合浓度界限和稳定性结果,证明在单位归一化条件下匹配了已知非因果定理的依赖性。需要强调的是,该文档明确标注为AI生成的候选证明,尚未经过独立验证或同行评审,目前正提交给专家进行审查。这一进展可能为注意力机制的因果理论提供新思路,推动相关领域的研究。 #AI #RACE注意力 #因果推断 #机器学习 #理论证明 #研究进展 #AI生成 #专家审查
腾讯多模态路线重大转向
近期,腾讯混元多模态团队经历了一系列深度组织重构与人事调整。核心变化在于,团队研发方向正从此前以视频、图像生成(如HunyuanVideo、HunyuanImage)为主,转向以“理解”为核心,服务于智能体(Agent)与通用人工智能(AGI)目标的上下文建模。这一调整由腾讯杰出科学家、基础模型部负责人姚顺雨主导,表现为大语言模型部与多模态模型部合并为“基础模型部”,多位原负责人离职或调整汇报线。与此同时,前xAI多模态理解负责人蔺旭东加入腾讯,负责多模态内容生成算法,此举被视为强化“理解”能力的关键信号。此次路线调整,标志着腾讯在技术路径上更倾向于OpenAI(梁文锋)所倡导的GPT/思维链/Agent范式,而弱化了李飞飞所推崇的空间智能与世界模型路径。此前腾讯已推出的Hy World等沉浸式3D世界生成项目,其后续发展可能将受影响。整体而言,腾讯正将其多模态技术栈进行根本性重组,以更聚焦的方式推进大模型能力演进。 #腾讯混元 #多模态AI #姚顺雨 #人工智能 #大模型 #科技新闻 #组织变革 #AGI
近期,腾讯混元多模态团队经历了一系列深度组织重构与人事调整。核心变化在于,团队研发方向正从此前以视频、图像生成(如HunyuanVideo、HunyuanImage)为主,转向以“理解”为核心,服务于智能体(Agent)与通用人工智能(AGI)目标的上下文建模。这一调整由腾讯杰出科学家、基础模型部负责人姚顺雨主导,表现为大语言模型部与多模态模型部合并为“基础模型部”,多位原负责人离职或调整汇报线。与此同时,前xAI多模态理解负责人蔺旭东加入腾讯,负责多模态内容生成算法,此举被视为强化“理解”能力的关键信号。此次路线调整,标志着腾讯在技术路径上更倾向于OpenAI(梁文锋)所倡导的GPT/思维链/Agent范式,而弱化了李飞飞所推崇的空间智能与世界模型路径。此前腾讯已推出的Hy World等沉浸式3D世界生成项目,其后续发展可能将受影响。整体而言,腾讯正将其多模态技术栈进行根本性重组,以更聚焦的方式推进大模型能力演进。 #腾讯混元 #多模态AI #姚顺雨 #人工智能 #大模型 #科技新闻 #组织变革 #AGI
研究比较传统与Transformer模型在文档敏感性分类中的性能
2026年8月5日,研究人员Aleesha Zainab等在arXiv平台发表论文,题为“Benchmarking Classical and Transformer-Based Models for Document Sensitivity Classification”。该研究针对文档敏感性分类任务,系统基准测试了传统机器学习模型与基于Transformer的模型,旨在评估不同方法在识别敏感信息方面的性能差异。文档敏感性分类在信息安全、隐私保护及合规管理中具有重要应用,此次比较涵盖了模型的准确性、效率及适用场景。论文为学术界和工业界在选择分类模型时提供了实证参考,推动了自然语言处理技术在安全敏感领域的进一步优化与发展。 #学术论文 #机器学习 #Transformer #文档分类 #AI #信息安全 #arXiv #模型基准测试
2026年8月5日,研究人员Aleesha Zainab等在arXiv平台发表论文,题为“Benchmarking Classical and Transformer-Based Models for Document Sensitivity Classification”。该研究针对文档敏感性分类任务,系统基准测试了传统机器学习模型与基于Transformer的模型,旨在评估不同方法在识别敏感信息方面的性能差异。文档敏感性分类在信息安全、隐私保护及合规管理中具有重要应用,此次比较涵盖了模型的准确性、效率及适用场景。论文为学术界和工业界在选择分类模型时提供了实证参考,推动了自然语言处理技术在安全敏感领域的进一步优化与发展。 #学术论文 #机器学习 #Transformer #文档分类 #AI #信息安全 #arXiv #模型基准测试
Data-DPO 方法创新大语言模型后期训练数据选择技术
在大语言模型(LLM)训练的后期阶段,数据选择对模型性能提升至关重要。传统数据选择方法往往效率低下,难以应对复杂数据集,可能导致训练资源浪费和性能瓶颈。针对这一挑战,研究人员 Peng Sun 等于 2026 年 8 月 5 日在 arXiv 平台发布了题为 "Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training" 的论文,提出 Data-DPO 方法。该方法创新性地将直接偏好优化(DPO)技术应用于目标模型的数据筛选过程,通过优化偏好数据的使用,提升数据选择的精准度和训练效率。论文的发表为 AI 领域提供了新的数据管理策略,有望推动大语言模型开发中的数据处理进步,增强模型性能并降低训练成本。 #AI #大模型 #论文 #数据优化 #机器学习 #深度学习 #技术研究
在大语言模型(LLM)训练的后期阶段,数据选择对模型性能提升至关重要。传统数据选择方法往往效率低下,难以应对复杂数据集,可能导致训练资源浪费和性能瓶颈。针对这一挑战,研究人员 Peng Sun 等于 2026 年 8 月 5 日在 arXiv 平台发布了题为 "Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training" 的论文,提出 Data-DPO 方法。该方法创新性地将直接偏好优化(DPO)技术应用于目标模型的数据筛选过程,通过优化偏好数据的使用,提升数据选择的精准度和训练效率。论文的发表为 AI 领域提供了新的数据管理策略,有望推动大语言模型开发中的数据处理进步,增强模型性能并降低训练成本。 #AI #大模型 #论文 #数据优化 #机器学习 #深度学习 #技术研究
Eric Fock博士发布论文,提出无参考工具检测混合PDE
2026年8月4日,Eric Fock博士在arXiv平台正式发表了一篇题为《检测与区分混合PDE-参数学习中的操作员错误指定:一种无参考工具,其区分能力在样本内有界》的学术论文。该研究聚焦于科学计算与机器学习交叉领域的挑战,针对混合偏微分方程(PDE)与参数联合学习过程中常见的操作员错误指定问题,提出了一种创新的检测与区分方法。传统方法往往依赖外部参考数据来校准或验证模型,而新工具实现了无参考操作,能够直接从学习数据中识别错误指定并区分其类型。论文从理论层面证明了该工具在样本内区分能力的有界性,确保了方法在实际应用中的可靠性和稳定性。这一成果有望显著提升复杂物理系统模拟、工程优化等领域的建模精度,减少因模型错误指定导致的预测偏差,为相关研究提供高效、自适应的工具支持,推动数据驱动建模技术的进一步发展。 #学术论文 #PDE学习 #机器学习 #科学计算 #模型错误指定 #arXiv #EricFock #无参考工具 #理论证明
2026年8月4日,Eric Fock博士在arXiv平台正式发表了一篇题为《检测与区分混合PDE-参数学习中的操作员错误指定:一种无参考工具,其区分能力在样本内有界》的学术论文。该研究聚焦于科学计算与机器学习交叉领域的挑战,针对混合偏微分方程(PDE)与参数联合学习过程中常见的操作员错误指定问题,提出了一种创新的检测与区分方法。传统方法往往依赖外部参考数据来校准或验证模型,而新工具实现了无参考操作,能够直接从学习数据中识别错误指定并区分其类型。论文从理论层面证明了该工具在样本内区分能力的有界性,确保了方法在实际应用中的可靠性和稳定性。这一成果有望显著提升复杂物理系统模拟、工程优化等领域的建模精度,减少因模型错误指定导致的预测偏差,为相关研究提供高效、自适应的工具支持,推动数据驱动建模技术的进一步发展。 #学术论文 #PDE学习 #机器学习 #科学计算 #模型错误指定 #arXiv #EricFock #无参考工具 #理论证明
KT发布国产AI半导体与大模型整合企业设备
韩国电信公司KT于19日宣布推出一款名为“KT NPU LLM Station”的企业用人工智能设备,该设备将国产AI半导体与大型语言模型整合在一个服务器中,形成Sovereign AI Appliance。产品基于韩国AI半导体企业Rivelion的神经网络处理装置(NPU)“Atom Max”,搭载KT自研LLM“信任K 2.5 Pro”和API平台,实现了从芯片到模型、运营平台的全国内技术链。设备支持数据在客户公司内部处理,特别适用于公共、国防、制药、制造、金融等对数据安全要求高的行业,解决因网络隔离等因素难以引进海外生成式AI的限制。作为成品型装置,用户无需额外构建,即可立即使用文件问答等AI功能;同时采用NPU技术,电力效率优于传统GPU服务器。KT计划未来集成会议记录制作、编码支援等更多自研AI代理,并扩展定制化服务,推动企业AI转型。 #KT #AI #NPU #大模型 #企业AI #韩国科技 #半导体 #SovereignAI #科技新闻
韩国电信公司KT于19日宣布推出一款名为“KT NPU LLM Station”的企业用人工智能设备,该设备将国产AI半导体与大型语言模型整合在一个服务器中,形成Sovereign AI Appliance。产品基于韩国AI半导体企业Rivelion的神经网络处理装置(NPU)“Atom Max”,搭载KT自研LLM“信任K 2.5 Pro”和API平台,实现了从芯片到模型、运营平台的全国内技术链。设备支持数据在客户公司内部处理,特别适用于公共、国防、制药、制造、金融等对数据安全要求高的行业,解决因网络隔离等因素难以引进海外生成式AI的限制。作为成品型装置,用户无需额外构建,即可立即使用文件问答等AI功能;同时采用NPU技术,电力效率优于传统GPU服务器。KT计划未来集成会议记录制作、编码支援等更多自研AI代理,并扩展定制化服务,推动企业AI转型。 #KT #AI #NPU #大模型 #企业AI #韩国科技 #半导体 #SovereignAI #科技新闻
Pathway AI 提出“推理方程”,为人工智能寻找科学基础
当前的人工智能被视为一项工程奇迹,却缺乏真正的科学基础。它运作良好,但我们无法完全解释其原理;一旦遇到训练数据之外的复杂场景,模型便难以预测和修正。这就像在发明热力学前就制造出了蒸汽机。Pathway AI 在其最新博文中指出,人工智能领域缺失的是一个“公理化体系”——一套类似统计力学的基础定律,能够从微观的计算单元交互中,推导出宏观的抽象、记忆与推理能力。为此,他们提出了“推理方程”,为类Transformer架构的推理过程建立了严谨的微观基础,将注意力机制与突触动力学联系起来。通过将推理显式表达为局部动态过程,这些方程使得系统的长期行为、持续适应能力和安全性能够被数学分析与预判,从而让安全成为可设计和分析的属性,而非事后评估的结果。文章以热力学诞生前热机工程的发展作类比,强调需要一种通用理论来推导推理系统的可能行为,从而摆脱目前完全依赖经验、逐个模型与基准测试的研发模式。
当前的人工智能被视为一项工程奇迹,却缺乏真正的科学基础。它运作良好,但我们无法完全解释其原理;一旦遇到训练数据之外的复杂场景,模型便难以预测和修正。这就像在发明热力学前就制造出了蒸汽机。Pathway AI 在其最新博文中指出,人工智能领域缺失的是一个“公理化体系”——一套类似统计力学的基础定律,能够从微观的计算单元交互中,推导出宏观的抽象、记忆与推理能力。为此,他们提出了“推理方程”,为类Transformer架构的推理过程建立了严谨的微观基础,将注意力机制与突触动力学联系起来。通过将推理显式表达为局部动态过程,这些方程使得系统的长期行为、持续适应能力和安全性能够被数学分析与预判,从而让安全成为可设计和分析的属性,而非事后评估的结果。文章以热力学诞生前热机工程的发展作类比,强调需要一种通用理论来推导推理系统的可能行为,从而摆脱目前完全依赖经验、逐个模型与基准测试的研发模式。
arXiv平台发布论文提出长期代理信任新框架
近日,一篇题为《Beyond Suspicious Steps: Ontological Trust in Long-Horizon Agents》的学术论文在arXiv预印本平台正式上线。该论文由An He等学者于2026年8月18日提交,核心聚焦人工智能代理在长期任务中的信任问题。研究背景源于当前AI代理在复杂场景下面临的可靠性挑战,传统方法常局限于检测“可疑步骤”,而论文提出了一种基于本体的信任新机制,强调从代理的本质属性出发建立可信度评估。通过理论构建和实验分析,该研究为提升AI代理的安全性和稳健性提供了创新思路,有望对自动驾驶、智能助手等实际应用产生积极影响,推动人工智能向更可信赖的方向发展。 #arXiv #AI #人工智能 #代理信任 #学术论文 #科技新闻 #AI安全
近日,一篇题为《Beyond Suspicious Steps: Ontological Trust in Long-Horizon Agents》的学术论文在arXiv预印本平台正式上线。该论文由An He等学者于2026年8月18日提交,核心聚焦人工智能代理在长期任务中的信任问题。研究背景源于当前AI代理在复杂场景下面临的可靠性挑战,传统方法常局限于检测“可疑步骤”,而论文提出了一种基于本体的信任新机制,强调从代理的本质属性出发建立可信度评估。通过理论构建和实验分析,该研究为提升AI代理的安全性和稳健性提供了创新思路,有望对自动驾驶、智能助手等实际应用产生积极影响,推动人工智能向更可信赖的方向发展。 #arXiv #AI #人工智能 #代理信任 #学术论文 #科技新闻 #AI安全
研究揭示模型级联在数据扰动下的准确性与鲁棒性
针对人工智能系统在实际应用中面临的稳定性挑战,一项新研究系统评估了模型级联架构在遭遇各类数据扰动时的表现。模型级联是一种由多个模型串联构成的复杂系统,旨在通过分工协作提升整体性能。研究团队通过实验,模拟了输入数据在不同类型和程度扰动(如噪声、缺失或对抗性攻击)下的情况,深入分析了扰动在级联过程中传播、放大或衰减的机制。结果表明,扰动的影响并非线性,某些环节可能成为系统的脆弱点。该研究为设计和优化更可靠的AI系统,特别是在自动驾驶、医疗诊断等对鲁棒性要求极高的领域,提供了重要的理论依据和实践参考。 #机器学习 #模型鲁棒性 #数据扰动 #AI研究 #学术论文
针对人工智能系统在实际应用中面临的稳定性挑战,一项新研究系统评估了模型级联架构在遭遇各类数据扰动时的表现。模型级联是一种由多个模型串联构成的复杂系统,旨在通过分工协作提升整体性能。研究团队通过实验,模拟了输入数据在不同类型和程度扰动(如噪声、缺失或对抗性攻击)下的情况,深入分析了扰动在级联过程中传播、放大或衰减的机制。结果表明,扰动的影响并非线性,某些环节可能成为系统的脆弱点。该研究为设计和优化更可靠的AI系统,特别是在自动驾驶、医疗诊断等对鲁棒性要求极高的领域,提供了重要的理论依据和实践参考。 #机器学习 #模型鲁棒性 #数据扰动 #AI研究 #学术论文
审计金融代理自进化
近日,一篇名为《审计金融代理的自进化:能力提升、安全漂移与执行接口不匹配》的学术论文在arXiv平台正式发布,由Jialong Li等研究人员提交。该论文聚焦于金融领域AI代理的自进化机制,背景源于人工智能在金融交易、风险管理等场景中的广泛应用,代理系统通过持续学习提升自主决策能力。研究过程通过对金融代理的进化模型进行审计,发现能力提升的同时伴随安全漂移现象,即系统安全性随自我优化而逐渐偏离预期标准,并暴露出执行接口与预期功能不匹配的技术漏洞。这一发现揭示了金融AI系统在自动化演进中的潜在风险,影响深远,提示业界在部署前需加强安全评估和接口标准化,以防范系统失效或被恶意利用,确保金融稳定与数据隐私保护。 #金融AI #自进化 #安全漂移 #审计 #arXiv #学术论文 #人工智能
近日,一篇名为《审计金融代理的自进化:能力提升、安全漂移与执行接口不匹配》的学术论文在arXiv平台正式发布,由Jialong Li等研究人员提交。该论文聚焦于金融领域AI代理的自进化机制,背景源于人工智能在金融交易、风险管理等场景中的广泛应用,代理系统通过持续学习提升自主决策能力。研究过程通过对金融代理的进化模型进行审计,发现能力提升的同时伴随安全漂移现象,即系统安全性随自我优化而逐渐偏离预期标准,并暴露出执行接口与预期功能不匹配的技术漏洞。这一发现揭示了金融AI系统在自动化演进中的潜在风险,影响深远,提示业界在部署前需加强安全评估和接口标准化,以防范系统失效或被恶意利用,确保金融稳定与数据隐私保护。 #金融AI #自进化 #安全漂移 #审计 #arXiv #学术论文 #人工智能