LiftQuant：通过维度提升和投影实现连续比特宽度的大语言模型

一篇发表于arXiv的论文提出了名为LiftQuant的新方法，旨在通过维度提升与投影技术实现连续比特宽度的大语言模型（LLM）。传统量化方法通常限于固定比特宽度，而LiftQuant通过将模型权重映射到高维空间并进行投影，使得比特宽度可连续调节，从而在模型精度与压缩率之间实现更灵活的权衡。该方法有望降低大模型部署中的内存和计算开销，同时保持较高的推理性能。研究团队在多个基准测试上验证了其有效性，显示该方法在不同比特宽度下均能取得优异表现。该工作为高效大模型部署提供了新思路。 #LiftQuant #大语言模型 #模型量化 #AI #机器学习 #论文 #arXiv

研究论文发布：大规模解锁门控Delta网络中的特征学习

据arXiv预印本平台消息，一项由Yifeng Liu和Quanquan Gu共同完成的研究论文《Unlocking Feature Learning in Gated Delta Networks at Scale》正式发布。该论文聚焦于门控Delta网络（Gated Delta Networks）在大规模场景下的特征学习能力，提出了一种解锁其潜在学习机制的方法。门控Delta网络是一种结合门控机制与残差连接的神经网络结构，在序列建模等领域具有重要应用。此项研究可能推动该网络在大规模数据上的训练效率和表征能力提升，对深度学习领域具有参考价值。 #机器学习 #深度学习 #门控网络 #特征学习 #arXiv #论文

Bayes-Sufficient Representations in Supervised Learning 论文发布

一篇题为《Bayes-Sufficient Representations in Supervised Learning》的学术论文在arXiv平台发布，作者为Vasileios Sevetlidis。该论文聚焦于监督学习中的表示学习问题，提出了一种基于贝叶斯充分性的表示框架，旨在学习能够保留标签全部信息且与输入条件独立的低维表示。研究从理论上分析了这种表示在泛化误差、鲁棒性等方面的优势，并探讨了其与现有方法的关系。该工作为理解监督学习中表示的本质提供了新视角，有望推动相关领域的发展。 #机器学习 #监督学习 #表示学习 #贝叶斯 #arXiv #论文 #AI

Self-Distilled Policy Gradient 论文提交至 arXiv

近日，一篇题为 "Self-Distilled Policy Gradient" 的研究论文在预印本平台 arXiv 上公开。该论文由 Yifeng Liu 等三位作者共同完成，于 2026 年 6 月 2 日首次提交。从标题分析，该工作可能探索了将自蒸馏技术融入策略梯度方法的强化学习框架，旨在改善传统策略梯度算法在样本效率、收敛稳定性等方面的表现。论文的详细内容可通过 arXiv 获取全文（PDF 格式），目前尚未在正式期刊或会议上发表。该研究投稿时间较近，尚处于早期同行评议阶段，但已引起相关领域学者的初步关注。 #论文 #arXiv #SelfDistilledPolicyGradient #强化学习 #策略梯度 #机器学习 #YifengLiu #预印本

Inverse Critical Experiment Design via Gradient Optimization and a Multigroup Attention-Based Neural Network Architecture

Focus to learn more arXiv-issued DOI via DataCite Submission history From: Dean Price [ view email ] [v1] Mon, 1 Jun 2026 21:19:18 UTC (3,057 KB) Full-text links: Access Paper: View a PDF of the paper titled Inverse Critical Experiment Design via Gradient Optimization and a Multigroup Attention-Based Neural Network Architecture, by Will Savage and 2 other authors View PDF HTML (experimental) TeX Source view license Current browse context: < prev | next > new | recent | 2026-06 Change to browse by: cs References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliog

raphic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle ( What is ? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) IArxiv recommender toggle IArxiv Recommender ( What is IArxiv? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs .

研究揭示Transformer中QKV投影并非全部必需

一篇题为"Transformer是否需要三个投影？QKV变体的系统研究"的学术论文近日在arXiv上发布。该研究系统性地探讨了Transformer注意力机制中Query、Key、Value三个线性投影的必要性，通过实验对比多种QKV变体结构，分析了不同投影组合对模型性能与效率的影响。研究结果挑战了标准多头注意力设计，为简化Transformer结构、降低计算开销提供了新思路。 #Transformer #QKV #注意力机制 #深度学习 #AI #论文

部署强化学习应具备持续学习能力，新论文引发关注

一篇题为《Position: Deployed Reinforcement Learning should be Continual》的研究论文在arXiv上发布。该论文由Parnian Behdin等三位学者撰写，主张实际部署的强化学习系统不应是静态的，而必须具备持续学习的能力，以适应不断变化的环境和任务需求。论文指出，传统强化学习在部署后往往停止更新，导致性能下降或无法应对新情况。作者通过分析现有框架的局限性，提出将持续学习机制整合进强化学习流程的必要性，并讨论了相关挑战与潜在解决方案。这一观点对自动驾驶、机器人控制等领域的实际应用具有重要指导意义，引发了学界对强化学习部署范式的重新思考。 #强化学习 #持续学习 #AI #机器学习 #论文 #科技前沿 #arXiv

IEEE SA P3109 机器学习算术格式的新特性

一篇题为《Novel Aspects of IEEE SA P3109 Arithmetic Formats for Machine Learning》的学术论文近日在 arXiv 上发布。该论文由 Andrew Fitzgibbon 等人撰写，深入探讨了 IEEE SA P3109 标准中针对机器学习场景设计的算术格式。研究聚焦于这些格式在数值表示、计算精度和硬件实现方面的创新特性，旨在提升机器学习模型的训练与推理效率。论文分析了 P3109 格式相较于传统浮点格式的优势，并讨论了其在降低能耗、减少内存占用方面的潜在影响。该工作为未来机器学习硬件和算法的协同优化提供了重要参考。 #IEEE #P3109 #机器学习 #算术格式 #论文 #AI #硬件优化

方差门控集成

研究人员H. Martin Gillis、Isaac Xu和Thomas Trappenberg在arXiv预印本平台发表了一篇题为《Variance-Gated Ensembles: An Epistemic-Aware Framework for Uncertainty Estimation》的论文。该工作提出了一种名为“方差门控集成”的新框架，旨在通过认知感知的方式改进机器学习中的不确定性估计。论文于2026年2月8日首次提交，并于同年6月2日更新。目前该研究已提供PDF全文及HTML预览，并附有相关代码和数据链接，供学界进一步探讨与复现。 #机器学习 #不确定性估计 #认知感知 #方差门控 #集成学习 #arXiv #论文

Vision Transformer 微调受益于非平滑组件

一篇来自 arXiv 预印本的新研究指出，在微调 Vision Transformer（ViT）模型时，采用非平滑组件（如 GELU 激活函数）能显著提升性能。该研究由 Ambroise Odonnat 等人完成，通过对比实验发现，传统的平滑组件在微调阶段存在局限性，而非平滑组件能更好地保留预训练知识并适应下游任务。这一发现为 ViT 的迁移学习提供了新思路，有望在图像分类、目标检测等计算机视觉应用中提高模型效率与准确率。 #VisionTransformer #ViT #微调 #非平滑组件 #机器学习 #计算机视觉 #arXiv #论文

Muon in Associative Memory Learning: Training Dynamics and Scaling Laws

Focus to learn more arXiv-issued DOI via DataCite Submission history From: Binghui Li [ view email ] [v1] Thu, 5 Feb 2026 14:49:40 UTC (242 KB) [v2] Mon, 25 May 2026 03:36:38 UTC (668 KB) [v3] Wed, 3 Jun 2026 16:40:26 UTC (669 KB) Full-text links: Access Paper: View a PDF of the paper titled Muon in Associative Memory Learning: Training Dynamics and Scaling Laws, by Binghui Li and 4 other authors View PDF HTML (experimental) TeX Source view license Current browse context: < prev | next > new | recent | 2026-02 Change to browse by: cs math stat References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic

Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle ( What is ? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) IArxiv recommender toggle IArxiv Recommender ( What is IArxiv? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs .

成功条件化作为策略改进

近日，一篇由Daniel Russo撰写的论文《Success Conditioning as Policy Improvement: The Optimization Problem Solved by Imitating Success》在arXiv平台发布。该论文深入探讨了在强化学习中，通过模仿成功经验来改进策略的优化问题。作者从理论层面分析了“成功条件化”方法如何等价于一种策略改进过程，并揭示了其背后隐藏的优化目标。这项研究为理解模仿学习与策略优化之间的关系提供了新的数学视角，可能对机器人学习、游戏AI等领域产生重要影响。论文已提供PDF和HTML版本供公开下载。 #人工智能 #强化学习 #模仿学习 #策略改进 #优化理论 #arXiv论文

半参数偏好优化

一项最新研究指出，在语言模型策略对齐过程中，传统方法通常假定偏好与潜在奖励之间存在已知链接函数（如布拉德利-特里模型/逻辑链接）。然而，这种假设的偏差会导致奖励推断失真和策略学习错位。该论文提出了一种半参数偏好优化方法，在未知且无限制的链接函数下研究策略对齐问题。研究者构建了一个基于f-散度约束的奖励最大化框架，并证明在策略类可实现的前提下，该方法能有效克服链接函数误设带来的影响。这项工作为更鲁棒的偏好学习提供了新思路。 #人工智能 #大语言模型 #偏好优化 #策略对齐 #机器学习 #奖励建模

Telegram必备的搜索引擎，极搜JISOU帮你精准找到，想要的群组、频道、视频、音乐

👉 t.me/jisou2?start=a_8247614025

H. Martin Gillis 等人提出方差门控分布不确定性估计方法

一篇题为《Uncertainty Estimation using Variance-Gated Distributions》的学术论文日前在预印本平台 arXiv 上发布。该研究由 H. Martin Gillis 及其合作者共同完成，针对机器学习模型中的不确定性量化问题，提出了一种基于方差门控分布的新方法。论文详细介绍了该方法如何通过门控机制动态调整输出分布，从而更准确地估计模型预测的不确定性。这一工作有望提升深度学习系统在医疗诊断、自动驾驶等高风险场景中的可靠性，相关论文已提供 PDF 和 HTML 版本供开放获取。 #机器学习 #不确定性估计 #方差门控 #arXiv #AI安全 #学术论文

神经方差感知决斗老虎机

研究人员提出了一种新型“决斗老虎机”算法，通过深度神经网络表示偏好关系，并引入方差感知机制，在保持浅层探索的情况下实现高效决策。该方法解决了传统决斗老虎机中样本效率与探索深度之间的权衡问题，在多项基准测试中显著优于现有算法，为在线学习、推荐系统等应用提供了更稳定的优化方案。论文来自Youngmin Oh等学者，已发布在arXiv预印本平台。 #人工智能 #机器学习 #强化学习 #决斗老虎机 #在线学习 #神经网络 #算法 #科研论文

后训练校正提升时间序列预测精度

一篇发表于arXiv的论文提出了一种后训练校正方法，用于改善时间序列预测性能。该方法由Hamza Cherkaoui等7位作者完成，论文通过微调预训练模型的方式，在保持模型泛化能力的同时有效降低预测误差。实验表明，该技术能够显著提升多种时间序列基准数据集的预测准确性，为实际应用中的模型部署提供了低成本优化方案。 #时间序列预测 #后训练校正 #机器学习 #arXiv #深度学习 #模型优化

差分隐私联合独立性检验论文发布

该论文由 Xingwei Liu 等三位作者共同完成，主要研究差分隐私框架下的联合独立性检验问题。传统独立性检验在处理敏感数据时存在隐私泄露风险，而差分隐私技术可在保护数据隐私的同时进行统计推断。论文提出了一种新颖的检验方法，能够在满足差分隐私约束的前提下有效检测多个变量之间的联合独立性。该方法在理论上保证了隐私性和统计有效性，并通过实验验证了其性能。相关论文已在 arXiv 预印本平台公开，并提供了 PDF 及 HTML 版本供研究者参考。 #差分隐私 #独立性检验 #统计推断 #隐私保护 #机器学习 #数据科学 #学术论文 #arXiv

随机探索在线性老虎机中的有效性分析

一项关于线性老虎机（linear bandits）中随机探索策略的研究揭示了其有效性的条件与机制。论文作者Marc Abeille等人从理论层面分析了随机探索何时以及为何能够实现高效学习，并给出了相应的收敛性保证。研究指出，在特定结构下，随机探索不仅能避免过度探索，还能平衡探索与利用，从而在有限样本下达到次线性遗憾界。该工作为强化学习及在线决策中的探索策略提供了理论支撑，对理解随机化方法在复杂决策环境中的优势具有重要意义。 #线性老虎机 #随机探索 #强化学习 #在线学习 #机器学习 #AI研究 #理论基础