raphic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle ( What is ? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) IArxiv recommender toggle IArxiv Recommender ( What is IArxiv? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs .

研究揭示Transformer中QKV投影并非全部必需

一篇题为"Transformer是否需要三个投影？QKV变体的系统研究"的学术论文近日在arXiv上发布。该研究系统性地探讨了Transformer注意力机制中Query、Key、Value三个线性投影的必要性，通过实验对比多种QKV变体结构，分析了不同投影组合对模型性能与效率的影响。研究结果挑战了标准多头注意力设计，为简化Transformer结构、降低计算开销提供了新思路。 #Transformer #QKV #注意力机制 #深度学习 #AI #论文

部署强化学习应具备持续学习能力，新论文引发关注

一篇题为《Position: Deployed Reinforcement Learning should be Continual》的研究论文在arXiv上发布。该论文由Parnian Behdin等三位学者撰写，主张实际部署的强化学习系统不应是静态的，而必须具备持续学习的能力，以适应不断变化的环境和任务需求。论文指出，传统强化学习在部署后往往停止更新，导致性能下降或无法应对新情况。作者通过分析现有框架的局限性，提出将持续学习机制整合进强化学习流程的必要性，并讨论了相关挑战与潜在解决方案。这一观点对自动驾驶、机器人控制等领域的实际应用具有重要指导意义，引发了学界对强化学习部署范式的重新思考。 #强化学习 #持续学习 #AI #机器学习 #论文 #科技前沿 #arXiv

IEEE SA P3109 机器学习算术格式的新特性

一篇题为《Novel Aspects of IEEE SA P3109 Arithmetic Formats for Machine Learning》的学术论文近日在 arXiv 上发布。该论文由 Andrew Fitzgibbon 等人撰写，深入探讨了 IEEE SA P3109 标准中针对机器学习场景设计的算术格式。研究聚焦于这些格式在数值表示、计算精度和硬件实现方面的创新特性，旨在提升机器学习模型的训练与推理效率。论文分析了 P3109 格式相较于传统浮点格式的优势，并讨论了其在降低能耗、减少内存占用方面的潜在影响。该工作为未来机器学习硬件和算法的协同优化提供了重要参考。 #IEEE #P3109 #机器学习 #算术格式 #论文 #AI #硬件优化

方差门控集成

研究人员H. Martin Gillis、Isaac Xu和Thomas Trappenberg在arXiv预印本平台发表了一篇题为《Variance-Gated Ensembles: An Epistemic-Aware Framework for Uncertainty Estimation》的论文。该工作提出了一种名为“方差门控集成”的新框架，旨在通过认知感知的方式改进机器学习中的不确定性估计。论文于2026年2月8日首次提交，并于同年6月2日更新。目前该研究已提供PDF全文及HTML预览，并附有相关代码和数据链接，供学界进一步探讨与复现。 #机器学习 #不确定性估计 #认知感知 #方差门控 #集成学习 #arXiv #论文

Vision Transformer 微调受益于非平滑组件

一篇来自 arXiv 预印本的新研究指出，在微调 Vision Transformer（ViT）模型时，采用非平滑组件（如 GELU 激活函数）能显著提升性能。该研究由 Ambroise Odonnat 等人完成，通过对比实验发现，传统的平滑组件在微调阶段存在局限性，而非平滑组件能更好地保留预训练知识并适应下游任务。这一发现为 ViT 的迁移学习提供了新思路，有望在图像分类、目标检测等计算机视觉应用中提高模型效率与准确率。 #VisionTransformer #ViT #微调 #非平滑组件 #机器学习 #计算机视觉 #arXiv #论文

Muon in Associative Memory Learning: Training Dynamics and Scaling Laws

Focus to learn more arXiv-issued DOI via DataCite Submission history From: Binghui Li [ view email ] [v1] Thu, 5 Feb 2026 14:49:40 UTC (242 KB) [v2] Mon, 25 May 2026 03:36:38 UTC (668 KB) [v3] Wed, 3 Jun 2026 16:40:26 UTC (669 KB) Full-text links: Access Paper: View a PDF of the paper titled Muon in Associative Memory Learning: Training Dynamics and Scaling Laws, by Binghui Li and 4 other authors View PDF HTML (experimental) TeX Source view license Current browse context: < prev | next > new | recent | 2026-02 Change to browse by: cs math stat References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic

Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle ( What is ? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) IArxiv recommender toggle IArxiv Recommender ( What is IArxiv? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs .

成功条件化作为策略改进

近日，一篇由Daniel Russo撰写的论文《Success Conditioning as Policy Improvement: The Optimization Problem Solved by Imitating Success》在arXiv平台发布。该论文深入探讨了在强化学习中，通过模仿成功经验来改进策略的优化问题。作者从理论层面分析了“成功条件化”方法如何等价于一种策略改进过程，并揭示了其背后隐藏的优化目标。这项研究为理解模仿学习与策略优化之间的关系提供了新的数学视角，可能对机器人学习、游戏AI等领域产生重要影响。论文已提供PDF和HTML版本供公开下载。 #人工智能 #强化学习 #模仿学习 #策略改进 #优化理论 #arXiv论文

半参数偏好优化

一项最新研究指出，在语言模型策略对齐过程中，传统方法通常假定偏好与潜在奖励之间存在已知链接函数（如布拉德利-特里模型/逻辑链接）。然而，这种假设的偏差会导致奖励推断失真和策略学习错位。该论文提出了一种半参数偏好优化方法，在未知且无限制的链接函数下研究策略对齐问题。研究者构建了一个基于f-散度约束的奖励最大化框架，并证明在策略类可实现的前提下，该方法能有效克服链接函数误设带来的影响。这项工作为更鲁棒的偏好学习提供了新思路。 #人工智能 #大语言模型 #偏好优化 #策略对齐 #机器学习 #奖励建模

Telegram必备的搜索引擎，极搜JISOU帮你精准找到，想要的群组、频道、视频、音乐

👉 t.me/jisou2?start=a_8247614025

H. Martin Gillis 等人提出方差门控分布不确定性估计方法

一篇题为《Uncertainty Estimation using Variance-Gated Distributions》的学术论文日前在预印本平台 arXiv 上发布。该研究由 H. Martin Gillis 及其合作者共同完成，针对机器学习模型中的不确定性量化问题，提出了一种基于方差门控分布的新方法。论文详细介绍了该方法如何通过门控机制动态调整输出分布，从而更准确地估计模型预测的不确定性。这一工作有望提升深度学习系统在医疗诊断、自动驾驶等高风险场景中的可靠性，相关论文已提供 PDF 和 HTML 版本供开放获取。 #机器学习 #不确定性估计 #方差门控 #arXiv #AI安全 #学术论文

神经方差感知决斗老虎机

研究人员提出了一种新型“决斗老虎机”算法，通过深度神经网络表示偏好关系，并引入方差感知机制，在保持浅层探索的情况下实现高效决策。该方法解决了传统决斗老虎机中样本效率与探索深度之间的权衡问题，在多项基准测试中显著优于现有算法，为在线学习、推荐系统等应用提供了更稳定的优化方案。论文来自Youngmin Oh等学者，已发布在arXiv预印本平台。 #人工智能 #机器学习 #强化学习 #决斗老虎机 #在线学习 #神经网络 #算法 #科研论文

后训练校正提升时间序列预测精度

一篇发表于arXiv的论文提出了一种后训练校正方法，用于改善时间序列预测性能。该方法由Hamza Cherkaoui等7位作者完成，论文通过微调预训练模型的方式，在保持模型泛化能力的同时有效降低预测误差。实验表明，该技术能够显著提升多种时间序列基准数据集的预测准确性，为实际应用中的模型部署提供了低成本优化方案。 #时间序列预测 #后训练校正 #机器学习 #arXiv #深度学习 #模型优化

差分隐私联合独立性检验论文发布

该论文由 Xingwei Liu 等三位作者共同完成，主要研究差分隐私框架下的联合独立性检验问题。传统独立性检验在处理敏感数据时存在隐私泄露风险，而差分隐私技术可在保护数据隐私的同时进行统计推断。论文提出了一种新颖的检验方法，能够在满足差分隐私约束的前提下有效检测多个变量之间的联合独立性。该方法在理论上保证了隐私性和统计有效性，并通过实验验证了其性能。相关论文已在 arXiv 预印本平台公开，并提供了 PDF 及 HTML 版本供研究者参考。 #差分隐私 #独立性检验 #统计推断 #隐私保护 #机器学习 #数据科学 #学术论文 #arXiv

随机探索在线性老虎机中的有效性分析

一项关于线性老虎机（linear bandits）中随机探索策略的研究揭示了其有效性的条件与机制。论文作者Marc Abeille等人从理论层面分析了随机探索何时以及为何能够实现高效学习，并给出了相应的收敛性保证。研究指出，在特定结构下，随机探索不仅能避免过度探索，还能平衡探索与利用，从而在有限样本下达到次线性遗憾界。该工作为强化学习及在线决策中的探索策略提供了理论支撑，对理解随机化方法在复杂决策环境中的优势具有重要意义。 #线性老虎机 #随机探索 #强化学习 #在线学习 #机器学习 #AI研究 #理论基础

分布式优化算法CoCoA与ADMM关系研究获新进展

一篇题为《On the Relationship Between CoCoA and ADMM for Distributed Empirical Risk Minimization》的论文发表于《Transactions on Machine Learning Research》（2026年6月）。该研究由Runxiong Wu和Andi Wang共同完成，深入探讨了两种主流分布式优化算法——CoCoA（通信高效分布式对偶坐标上升法）与ADMM（交替方向乘子法）在分布式经验风险最小化问题中的内在联系。通过理论分析和实验验证，作者揭示了二者在算法结构、收敛性及通信效率上的异同，为分布式机器学习中优化算法的选择与设计提供了新的理论依据。该工作有助于提升大规模数据场景下的模型训练效率，对分布式计算和机器学习领域具有重要参考价值。 #分布式优化 #CoCoA #ADMM #机器学习 #算法 #论文 #TMLR

平移不变性下的近最优且可处理估计研究

一篇题为《Near-Optimal and Tractable Estimation under Shift-Invariance》的学术论文在arXiv平台发布。该论文由Dmitrii M. Ostrovskii撰写，主要探讨在平移不变性约束下实现近最优且可处理的统计估计方法。研究涉及数学和统计学领域，可能对高维数据分析和信号处理有重要应用。论文已更新至第四版，最新版本于2026年6月3日提交。 #数学 #统计学 #平移不变性 #估计理论 #arXiv

马尔可夫链解码器突破Lipschitz生成模型重尾限制

据arXiv预印本显示，一项由Abdelhakim Ziani等人完成的研究提出马尔可夫链解码器，有效解决了Lipschitz生成模型在处理重尾分布时的局限性。该工作已被第22届欧洲性能工程研讨会（EPEW 2026）接收，将于2025年6月在挪威格里姆斯塔召开。研究指出，传统Lipschitz约束生成模型在长尾数据生成中表现不佳，而新提出的马尔可夫链解码器通过改进采样机制，显著提升了模型对重尾特征的捕捉能力，为生成式AI在高维、非均匀数据分布场景下的应用提供了新思路。 #AI #生成模型 #马尔可夫链 #重尾分布 #Lipschitz #深度学习 #机器学习

Path-conditioned training：一种重新缩放ReLU神经网络的原则性方法

该论文提出了一种名为“路径条件训练”的新方法，旨在原则性地重新缩放ReLU神经网络。研究背景在于传统神经网络训练中，权重初始化与梯度缩放常依赖经验，而该方法通过条件化训练路径，实现对网络各层输出的自适应缩放，从而提升训练稳定性和模型性能。论文已被第43届国际机器学习大会（ICML 2026）接收，作者来自法国研究机构。实验表明，该方法在多个基准数据集上有效改善了收敛速度和泛化能力。 #机器学习 #神经网络 #ReLU #论文 #ICML2026 #深度学习 #AI

多个变化点下的学习成本研究

Tomer Gafni等人在arXiv上提交的论文《多个变化点下的学习成本》探讨了在数据分布发生多次未知变化时，学习算法所需的代价。该研究从统计学习理论出发，分析了当环境存在多个变化点（Change Points）时，模型需要多少样本才能有效适应新分布，以及这种适应过程带来的计算与复杂度成本。论文通过理论推导和实验验证，揭示了变化点数量与学习效率之间的权衡关系，为在线学习、自适应系统等领域的算法设计提供了重要理论基础。 #机器学习 #变化点 #学习成本 #算法理论 #AI #arXiv