DiffTilt:指数倾斜引导扩散搜索,用于安全关键系统伪造
该研究提出了一种名为DiffTilt(Diffusion-Guided Search via Exponential Tilting)的新方法,将扩散模型与指数倾斜技术相结合,用于高效搜索安全关键系统中的反例(falsification)。传统方法在复杂、高维的连续状态空间中往往面临搜索效率低下的问题。DiffTilt通过扩散过程生成有偏的搜索方向,并利用指数倾斜调整采样分布,从而引导搜索更快地暴露系统违反安全性属性的行为。该方法在多个基准测试上表现优于现有算法,尤其适用于黑盒系统验证。这项工作为自动驾驶、航空航天等安全关键领域的自动化测试提供了新思路。 #arXiv #人工智能 #安全关键系统 #扩散模型 #指数倾斜 #伪造 #安全验证 #算法
该研究提出了一种名为DiffTilt(Diffusion-Guided Search via Exponential Tilting)的新方法,将扩散模型与指数倾斜技术相结合,用于高效搜索安全关键系统中的反例(falsification)。传统方法在复杂、高维的连续状态空间中往往面临搜索效率低下的问题。DiffTilt通过扩散过程生成有偏的搜索方向,并利用指数倾斜调整采样分布,从而引导搜索更快地暴露系统违反安全性属性的行为。该方法在多个基准测试上表现优于现有算法,尤其适用于黑盒系统验证。这项工作为自动驾驶、航空航天等安全关键领域的自动化测试提供了新思路。 #arXiv #人工智能 #安全关键系统 #扩散模型 #指数倾斜 #伪造 #安全验证 #算法
自提升视觉语言模型新方法
一篇来自 arXiv 的预印本论文提出了一种名为“含噪学生在线自蒸馏”的方法,用于自提升视觉语言模型。该方法受经典“含噪学生”训练策略启发,通过让学生模型在推理过程中引入噪声并自我蒸馏,在不依赖外部标注数据或更大教师模型的情况下,持续增强视觉语言模型的性能。实验表明,该技术能有效提升模型在多个视觉语言任务上的表现,且训练过程稳定。论文作者包括 Shuai Wang 等人,于 2026 年 7 月提交至 arXiv。这一方法为视觉语言模型的自我改进提供了低成本、高效的新路径,有望推动多模态 AI 的实用化进展。 #视觉语言模型 #自蒸馏 #含噪学生 #AI #多模态 #arXiv #论文 #机器学习
一篇来自 arXiv 的预印本论文提出了一种名为“含噪学生在线自蒸馏”的方法,用于自提升视觉语言模型。该方法受经典“含噪学生”训练策略启发,通过让学生模型在推理过程中引入噪声并自我蒸馏,在不依赖外部标注数据或更大教师模型的情况下,持续增强视觉语言模型的性能。实验表明,该技术能有效提升模型在多个视觉语言任务上的表现,且训练过程稳定。论文作者包括 Shuai Wang 等人,于 2026 年 7 月提交至 arXiv。这一方法为视觉语言模型的自我改进提供了低成本、高效的新路径,有望推动多模态 AI 的实用化进展。 #视觉语言模型 #自蒸馏 #含噪学生 #AI #多模态 #arXiv #论文 #机器学习
多头潜在注意力机制
最新arXiv预印本研究《Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models》探讨了多头潜在注意力(Multi-head Latent Attention)在语言模型中的运作机制。研究者通过理论分析和实验验证,揭示了该机制如何通过瓶颈结构实现内容信息与位置信息的有效分离。这一发现有助于理解Transformer架构中注意力头分工的本质,并为改进长文本建模、位置编码等方向提供新视角。论文由Dhruvil S等人提交,目前可通过arXiv获取全文。 #多头注意力 #语言模型 #位置编码 #注意力机制 #Transformer #arXiv #深度学习 #自然语言处理
最新arXiv预印本研究《Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models》探讨了多头潜在注意力(Multi-head Latent Attention)在语言模型中的运作机制。研究者通过理论分析和实验验证,揭示了该机制如何通过瓶颈结构实现内容信息与位置信息的有效分离。这一发现有助于理解Transformer架构中注意力头分工的本质,并为改进长文本建模、位置编码等方向提供新视角。论文由Dhruvil S等人提交,目前可通过arXiv获取全文。 #多头注意力 #语言模型 #位置编码 #注意力机制 #Transformer #arXiv #深度学习 #自然语言处理
Transformer 的熵界
一篇题为《The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers》的论文在 arXiv 上预印发布。该研究揭示了 Transformer 模型中静态秩(static rank)指标在衡量表示能力时的根本局限——静态秩无法捕捉模型在自注意力机制下的动态信息流动,导致其与模型实际表达能力之间出现偏差。作者提出一种新的“注意力原生秩”(attention-native rank)概念,并推导出对应的熵界(entropic bound),证明该指标更能准确反映 Transformer 在序列建模中的信息压缩与恢复能力。实验表明,注意力原生秩在解释模型泛化、深度扩展及注意力头冗余等方面优于传统方法。这一工作为理解 Transformer 的内部工作机制提供了全新理论视角,有望指导更高效架构的设计。 #Transformer #熵界 #注意力机制 #静态秩 #注意力原生秩 #表示学习 #深度学习 #AI理论 #arXiv
一篇题为《The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers》的论文在 arXiv 上预印发布。该研究揭示了 Transformer 模型中静态秩(static rank)指标在衡量表示能力时的根本局限——静态秩无法捕捉模型在自注意力机制下的动态信息流动,导致其与模型实际表达能力之间出现偏差。作者提出一种新的“注意力原生秩”(attention-native rank)概念,并推导出对应的熵界(entropic bound),证明该指标更能准确反映 Transformer 在序列建模中的信息压缩与恢复能力。实验表明,注意力原生秩在解释模型泛化、深度扩展及注意力头冗余等方面优于传统方法。这一工作为理解 Transformer 的内部工作机制提供了全新理论视角,有望指导更高效架构的设计。 #Transformer #熵界 #注意力机制 #静态秩 #注意力原生秩 #表示学习 #深度学习 #AI理论 #arXiv
MixQuant:面向大型语言模型的自适应混合精度量化研究发布
近期,一篇题为“MixQuant: Adaptive Mixed-Precision Quantization for Large Language Models”的学术论文在预印本平台arXiv上提交。该研究由Ashitabh Misra等人完成,聚焦大型语言模型(LLM)的高效部署问题。随着模型规模持续膨胀,计算与存储成本成为瓶颈,模型量化成为关键解决方案之一。MixQuant提出一种自适应混合精度量化方法,能够根据模型不同层与权重的重要性动态分配量化位宽,在显著压缩模型体积、降低推理延迟的同时,尽可能保留模型原有精度与性能。这一思路为LLM在资源受限设备上的落地提供了新的技术路径。目前论文已公开,提供PDF及HTML版本供学界与工业界参考,未来有望推动大模型的轻量化应用。 #大模型 #量化 #MixQuant #自适应混合精度 #AI #arXiv #学术前沿 #模型压缩
近期,一篇题为“MixQuant: Adaptive Mixed-Precision Quantization for Large Language Models”的学术论文在预印本平台arXiv上提交。该研究由Ashitabh Misra等人完成,聚焦大型语言模型(LLM)的高效部署问题。随着模型规模持续膨胀,计算与存储成本成为瓶颈,模型量化成为关键解决方案之一。MixQuant提出一种自适应混合精度量化方法,能够根据模型不同层与权重的重要性动态分配量化位宽,在显著压缩模型体积、降低推理延迟的同时,尽可能保留模型原有精度与性能。这一思路为LLM在资源受限设备上的落地提供了新的技术路径。目前论文已公开,提供PDF及HTML版本供学界与工业界参考,未来有望推动大模型的轻量化应用。 #大模型 #量化 #MixQuant #自适应混合精度 #AI #arXiv #学术前沿 #模型压缩
动态UBSR度量下的MDP在线策略评估研究
近日,一篇题为《Online Policy Evaluation for MDPs with Dynamic UBSR Measures》的论文在arXiv预印本平台发布。该研究由Weikai Wang等人完成,聚焦于马尔可夫决策过程(MDP)中的在线策略评估问题,提出了基于动态未知行为策略重要性采样比率(UBSR)的评估方法。传统策略评估通常依赖固定的行为策略,而该工作引入动态UBSR度量,允许在非平稳或在线更新场景下更灵活地估计目标策略的价值函数。论文可能为强化学习中离线与在线评估的衔接提供新思路,有助于提升样本效率和评估准确性。相关代码与数据已公开,研究受到领域内关注。 #arXiv #论文 #MDP #强化学习 #策略评估 #UBSR #机器学习 #AI
近日,一篇题为《Online Policy Evaluation for MDPs with Dynamic UBSR Measures》的论文在arXiv预印本平台发布。该研究由Weikai Wang等人完成,聚焦于马尔可夫决策过程(MDP)中的在线策略评估问题,提出了基于动态未知行为策略重要性采样比率(UBSR)的评估方法。传统策略评估通常依赖固定的行为策略,而该工作引入动态UBSR度量,允许在非平稳或在线更新场景下更灵活地估计目标策略的价值函数。论文可能为强化学习中离线与在线评估的衔接提供新思路,有助于提升样本效率和评估准确性。相关代码与数据已公开,研究受到领域内关注。 #arXiv #论文 #MDP #强化学习 #策略评估 #UBSR #机器学习 #AI
小批量噪声通过主导子空间波动降低锐度
据arXiv预印本平台显示,一项由Junho So等人提交的研究论文《Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations》揭示了小批量梯度下降中的噪声如何影响模型泛化能力。该研究提出,小批量噪声通过主导子空间中的波动有效降低损失景观的锐度,从而提升模型在测试集上的表现。这一发现为理解深度学习优化中噪声与泛化性能的机制提供了新视角,有望推动更高效训练算法的设计。论文于2026年7月25日提交,目前可在arXiv上获取全文。 #深度学习 #优化 #小批量噪声 #泛化 #arXiv #论文 #AI #机器学习
据arXiv预印本平台显示,一项由Junho So等人提交的研究论文《Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations》揭示了小批量梯度下降中的噪声如何影响模型泛化能力。该研究提出,小批量噪声通过主导子空间中的波动有效降低损失景观的锐度,从而提升模型在测试集上的表现。这一发现为理解深度学习优化中噪声与泛化性能的机制提供了新视角,有望推动更高效训练算法的设计。论文于2026年7月25日提交,目前可在arXiv上获取全文。 #深度学习 #优化 #小批量噪声 #泛化 #arXiv #论文 #AI #机器学习
储层计算回收动态规划计算过程,用于组合优化问题
来自东京工业大学等机构的研究人员提出一种新型计算框架,通过储层计算(Reservoir Computing)方法回收动态规划(Dynamic Programming)在组合优化问题中的计算过程。传统动态规划在处理大规模组合优化时往往面临指数级计算复杂度,而该研究利用储层计算的非线性动力学特性,将中间计算结果进行重用,从而显著降低重复计算开销。论文以组合优化中的典型问题为例,验证了该方法在保持求解质量的同时,能将计算时间减少数十倍。该工作为高效求解NP难问题提供了新思路,有望应用于物流调度、路径规划、资源分配等实际场景。相关论文已于2026年7月提交至arXiv预印本平台。 #储层计算 #动态规划 #组合优化 #计算效率 #arXiv #AI算法
来自东京工业大学等机构的研究人员提出一种新型计算框架,通过储层计算(Reservoir Computing)方法回收动态规划(Dynamic Programming)在组合优化问题中的计算过程。传统动态规划在处理大规模组合优化时往往面临指数级计算复杂度,而该研究利用储层计算的非线性动力学特性,将中间计算结果进行重用,从而显著降低重复计算开销。论文以组合优化中的典型问题为例,验证了该方法在保持求解质量的同时,能将计算时间减少数十倍。该工作为高效求解NP难问题提供了新思路,有望应用于物流调度、路径规划、资源分配等实际场景。相关论文已于2026年7月提交至arXiv预印本平台。 #储层计算 #动态规划 #组合优化 #计算效率 #arXiv #AI算法
基于对抗逆向强化学习的无标签工业故障检测
近期,一篇题为《基于对抗逆向强化学习的无标签工业故障检测:一种面向运行至故障预测的系统》的论文在arXiv上提交。该研究由Dhiraj Neupane等人完成,提出了一种无需人工标注标签的工业故障检测新方法。传统故障预测往往依赖大量带标签数据,而该工作通过对抗逆向强化学习,让系统自动学习设备正常运行与故障状态的差异,从而实现对“运行至故障”过程的精准预测。该方法有望降低数据标注成本,提高工业场景下故障预警的实时性和准确性,为智能制造中的预测性维护提供新思路。 #工业故障检测 #逆向强化学习 #无标签学习 #运行至故障 #预测性维护 #arXiv #AI工业应用
近期,一篇题为《基于对抗逆向强化学习的无标签工业故障检测:一种面向运行至故障预测的系统》的论文在arXiv上提交。该研究由Dhiraj Neupane等人完成,提出了一种无需人工标注标签的工业故障检测新方法。传统故障预测往往依赖大量带标签数据,而该工作通过对抗逆向强化学习,让系统自动学习设备正常运行与故障状态的差异,从而实现对“运行至故障”过程的精准预测。该方法有望降低数据标注成本,提高工业场景下故障预警的实时性和准确性,为智能制造中的预测性维护提供新思路。 #工业故障检测 #逆向强化学习 #无标签学习 #运行至故障 #预测性维护 #arXiv #AI工业应用
有限时域马尔可夫决策过程中自然策略梯度的有限时间分析论文发布
据arXiv预印本平台显示,一篇聚焦强化学习理论的重要论文于2026年7月25日正式提交。该论文题为《Finite-Time Analysis of the Natural Policy Gradient in Finite-Horizon Markov Decision Processes》,由Asha Barua等人合作完成。研究针对有限时域马尔可夫决策过程(MDP)中的自然策略梯度算法,进行了详尽的有限时间收敛性分析,从理论上为其性能提供了严格的边界保证。这项工作横跨计算机科学、数学和统计学等多个学科,为深入理解和改进自然策略梯度方法奠定了数学基础,有望推动强化学习理论的发展。目前论文全文已在arXiv开放获取,供相关领域研究者查阅。 #arXiv #论文 #强化学习 #自然策略梯度 #有限时间分析 #MDP #理论分析 #人工智能 #计算机科学
据arXiv预印本平台显示,一篇聚焦强化学习理论的重要论文于2026年7月25日正式提交。该论文题为《Finite-Time Analysis of the Natural Policy Gradient in Finite-Horizon Markov Decision Processes》,由Asha Barua等人合作完成。研究针对有限时域马尔可夫决策过程(MDP)中的自然策略梯度算法,进行了详尽的有限时间收敛性分析,从理论上为其性能提供了严格的边界保证。这项工作横跨计算机科学、数学和统计学等多个学科,为深入理解和改进自然策略梯度方法奠定了数学基础,有望推动强化学习理论的发展。目前论文全文已在arXiv开放获取,供相关领域研究者查阅。 #arXiv #论文 #强化学习 #自然策略梯度 #有限时间分析 #MDP #理论分析 #人工智能 #计算机科学
贝叶斯完全池化方法用于运动想象脑电跨主体分类
近日,一篇题为《Bayesian Complete-Pooling in Cross-Subject Classification for Motor Imagery Electroencephalogram》的研究论文在arXiv平台预发布。该论文聚焦运动想象脑电图分类中常见的跨主体差异性挑战,提出采用贝叶斯完全池化策略,通过共享全部被试的统计信息来增强模型泛化能力。该方法有望在保留个体特征的同时提升整体分类稳定性,为脑机接口系统的跨用户应用提供更可靠的解决方案。论文作者为Ethan Davis,提交时间为2026年7月。 #贝叶斯方法 #运动想象 #脑电图 #跨主体分类 #脑机接口 #机器学习 #arXiv
近日,一篇题为《Bayesian Complete-Pooling in Cross-Subject Classification for Motor Imagery Electroencephalogram》的研究论文在arXiv平台预发布。该论文聚焦运动想象脑电图分类中常见的跨主体差异性挑战,提出采用贝叶斯完全池化策略,通过共享全部被试的统计信息来增强模型泛化能力。该方法有望在保留个体特征的同时提升整体分类稳定性,为脑机接口系统的跨用户应用提供更可靠的解决方案。论文作者为Ethan Davis,提交时间为2026年7月。 #贝叶斯方法 #运动想象 #脑电图 #跨主体分类 #脑机接口 #机器学习 #arXiv
Learned Interventions in Lean 4 grind
Focus to learn more arXiv-issued DOI via DataCite (pending registration) Submission history From: Evan Wang [ view email ] [v1] Sat, 25 Jul 2026 00:42:04 UTC (38 KB) Full-text links: Access Paper: View a PDF of the paper titled Learned Interventions in Lean 4 grind, by Evan Wang and 3 other authors View PDF HTML (experimental) TeX Source view license Current browse context: < prev | next > new | recent | 2026-07 Change to browse by: cs References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litm
Focus to learn more arXiv-issued DOI via DataCite (pending registration) Submission history From: Evan Wang [ view email ] [v1] Sat, 25 Jul 2026 00:42:04 UTC (38 KB) Full-text links: Access Paper: View a PDF of the paper titled Learned Interventions in Lean 4 grind, by Evan Wang and 3 other authors View PDF HTML (experimental) TeX Source view license Current browse context: < prev | next > new | recent | 2026-07 Change to browse by: cs References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litm
aps? ) Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle ( What is ? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) IArxiv recommender toggle IArxiv Recommender ( What is IArxiv? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs .
Verbalized Particle Posterior
该论文由Yan Zhang等人提交至arXiv,提出了一种名为"Verbalized Particle Posterior"的新方法,旨在将贝叶斯推断与自然语言假设相结合。传统贝叶斯方法通常依赖数值或符号表示,而本研究通过将后验分布“口头化”为粒子形式,使模型能够在自然语言空间中进行概率推理。这种方法允许系统直接对文本形式的假设进行不确定性量化,从而提升可解释性与灵活性。论文展示了该方法在多个自然语言任务上的潜力,为AI领域融合概率建模与语言理解提供了新思路。 #学术论文 #贝叶斯推断 #自然语言处理 #AI #arXiv #机器学习 #不确定性量化
该论文由Yan Zhang等人提交至arXiv,提出了一种名为"Verbalized Particle Posterior"的新方法,旨在将贝叶斯推断与自然语言假设相结合。传统贝叶斯方法通常依赖数值或符号表示,而本研究通过将后验分布“口头化”为粒子形式,使模型能够在自然语言空间中进行概率推理。这种方法允许系统直接对文本形式的假设进行不确定性量化,从而提升可解释性与灵活性。论文展示了该方法在多个自然语言任务上的潜力,为AI领域融合概率建模与语言理解提供了新思路。 #学术论文 #贝叶斯推断 #自然语言处理 #AI #arXiv #机器学习 #不确定性量化