联合优化架构与量化选择的大语言模型压缩方法

一篇发表于arXiv的论文提出了一种新的大语言模型（LLM）压缩方法，通过联合优化模型架构和量化选择来提升压缩效率。传统方法通常分别处理架构剪枝和量化，而该研究将两者视为一个整体优化问题，在保持模型性能的前提下显著减少参数规模和计算开销。实验表明，该方法在多种主流LLM上取得了优于单独优化方案的压缩效果，为在资源受限设备上部署大模型提供了可行路径。该工作由Hoang-Loc La等人完成，相关代码和模型已公开。 #LLM #模型压缩 #量化 #架构优化 #AI #机器学习 #arXiv #深度学习

Telegram必备的搜索引擎，极搜JISOU帮你精准找到，想要的群组、频道、视频、音乐

👉 t.me/jisou2?start=a_8247614025

Muon谱标度律论文提交至arXiv

一篇题为《Spectral Scaling Laws of Muon》的研究论文近日被提交至arXiv预印本平台。该论文由Gagik Magakyan等三位学者共同完成，提交时间为2026年6月2日。论文主要探讨缪子（muon）能谱的标度行为，这对于理解高能粒子物理和宇宙线过程具有潜在意义。目前该论文的PDF、HTML格式及TeX源码均可在arXiv上获取，相关引用和参考链接也已提供。 #物理 #缪子 #标度律 #arXiv #粒子物理 #高能物理 #论文

布尔任务代数中任务组合的目标集刻画论文发布

一篇题为《布尔任务代数中任务组合的目标集刻画》的研究论文在arXiv预印本平台公开。该论文由Eduardo Terrés-Caballero与Herke van Hoof共同完成，主要探索布尔任务代数框架下任务组合的形式化描述，提出基于目标集的理论分析方法。该工作有望为机器人任务规划、多智能体系统等领域提供新的建模工具。论文附有PDF、HTML及TeX源码，并整合了参考文献引用、相关论文推荐及代码搜索等科研工具链接。当前论文归类于计算机科学领域，提交日期为2026年6月。 #论文 #布尔任务代数 #任务组合 #目标集 #人工智能 #机器人 #预印本

RUBAS

一篇发表于arXiv的论文提出了一种名为RUBAS（Rubric-Based Reinforcement Learning for Agent Safety）的新方法，旨在通过基于规则的强化学习提升智能体的安全性。该方法利用细粒度的评估规则作为奖励信号，引导智能体学习安全行为，避免在复杂环境中产生有害后果。实验表明，RUBAS在多个安全关键任务中显著降低了违规率，同时保持了任务性能。该研究为构建可靠、可控的自主系统提供了新的思路。 #安全AI #强化学习 #智能体安全 #规则基学习 #arXiv #论文 #AI安全 #机器学习

LiftQuant：通过维度提升和投影实现连续比特宽度的大语言模型

一篇发表于arXiv的论文提出了名为LiftQuant的新方法，旨在通过维度提升与投影技术实现连续比特宽度的大语言模型（LLM）。传统量化方法通常限于固定比特宽度，而LiftQuant通过将模型权重映射到高维空间并进行投影，使得比特宽度可连续调节，从而在模型精度与压缩率之间实现更灵活的权衡。该方法有望降低大模型部署中的内存和计算开销，同时保持较高的推理性能。研究团队在多个基准测试上验证了其有效性，显示该方法在不同比特宽度下均能取得优异表现。该工作为高效大模型部署提供了新思路。 #LiftQuant #大语言模型 #模型量化 #AI #机器学习 #论文 #arXiv

研究论文发布：大规模解锁门控Delta网络中的特征学习

据arXiv预印本平台消息，一项由Yifeng Liu和Quanquan Gu共同完成的研究论文《Unlocking Feature Learning in Gated Delta Networks at Scale》正式发布。该论文聚焦于门控Delta网络（Gated Delta Networks）在大规模场景下的特征学习能力，提出了一种解锁其潜在学习机制的方法。门控Delta网络是一种结合门控机制与残差连接的神经网络结构，在序列建模等领域具有重要应用。此项研究可能推动该网络在大规模数据上的训练效率和表征能力提升，对深度学习领域具有参考价值。 #机器学习 #深度学习 #门控网络 #特征学习 #arXiv #论文

Bayes-Sufficient Representations in Supervised Learning 论文发布

一篇题为《Bayes-Sufficient Representations in Supervised Learning》的学术论文在arXiv平台发布，作者为Vasileios Sevetlidis。该论文聚焦于监督学习中的表示学习问题，提出了一种基于贝叶斯充分性的表示框架，旨在学习能够保留标签全部信息且与输入条件独立的低维表示。研究从理论上分析了这种表示在泛化误差、鲁棒性等方面的优势，并探讨了其与现有方法的关系。该工作为理解监督学习中表示的本质提供了新视角，有望推动相关领域的发展。 #机器学习 #监督学习 #表示学习 #贝叶斯 #arXiv #论文 #AI

Self-Distilled Policy Gradient 论文提交至 arXiv

近日，一篇题为 "Self-Distilled Policy Gradient" 的研究论文在预印本平台 arXiv 上公开。该论文由 Yifeng Liu 等三位作者共同完成，于 2026 年 6 月 2 日首次提交。从标题分析，该工作可能探索了将自蒸馏技术融入策略梯度方法的强化学习框架，旨在改善传统策略梯度算法在样本效率、收敛稳定性等方面的表现。论文的详细内容可通过 arXiv 获取全文（PDF 格式），目前尚未在正式期刊或会议上发表。该研究投稿时间较近，尚处于早期同行评议阶段，但已引起相关领域学者的初步关注。 #论文 #arXiv #SelfDistilledPolicyGradient #强化学习 #策略梯度 #机器学习 #YifengLiu #预印本

Inverse Critical Experiment Design via Gradient Optimization and a Multigroup Attention-Based Neural Network Architecture

Focus to learn more arXiv-issued DOI via DataCite Submission history From: Dean Price [ view email ] [v1] Mon, 1 Jun 2026 21:19:18 UTC (3,057 KB) Full-text links: Access Paper: View a PDF of the paper titled Inverse Critical Experiment Design via Gradient Optimization and a Multigroup Attention-Based Neural Network Architecture, by Will Savage and 2 other authors View PDF HTML (experimental) TeX Source view license Current browse context: < prev | next > new | recent | 2026-06 Change to browse by: cs References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliog

raphic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle ( What is ? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) IArxiv recommender toggle IArxiv Recommender ( What is IArxiv? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs .

研究揭示Transformer中QKV投影并非全部必需

一篇题为"Transformer是否需要三个投影？QKV变体的系统研究"的学术论文近日在arXiv上发布。该研究系统性地探讨了Transformer注意力机制中Query、Key、Value三个线性投影的必要性，通过实验对比多种QKV变体结构，分析了不同投影组合对模型性能与效率的影响。研究结果挑战了标准多头注意力设计，为简化Transformer结构、降低计算开销提供了新思路。 #Transformer #QKV #注意力机制 #深度学习 #AI #论文