可训练平滑旋转变换与学习通道缩放技术助力大模型量化
arXiv上发布了一篇题为《Trainable Smooth-Rotation Transforms with Learned Channel Scales for LLM Quantization》的论文。该研究提出了一种针对大语言模型(LLM)量化的新型可训练平滑旋转变换方法,并引入了学习通道缩放技术。该方法旨在解决LLM在量化过程中常见的精度损失问题,通过优化变换和缩放参数,在保持模型性能的同时显著降低计算和存储开销。论文作者为Patrik Czakó等人,目前该论文已通过arXiv平台公开,并提供了PDF、HTML及TeX源码等访问方式,相关代码和数据链接也已开放。 #大模型 #量化 #AI #机器学习 #论文 #arXiv
arXiv上发布了一篇题为《Trainable Smooth-Rotation Transforms with Learned Channel Scales for LLM Quantization》的论文。该研究提出了一种针对大语言模型(LLM)量化的新型可训练平滑旋转变换方法,并引入了学习通道缩放技术。该方法旨在解决LLM在量化过程中常见的精度损失问题,通过优化变换和缩放参数,在保持模型性能的同时显著降低计算和存储开销。论文作者为Patrik Czakó等人,目前该论文已通过arXiv平台公开,并提供了PDF、HTML及TeX源码等访问方式,相关代码和数据链接也已开放。 #大模型 #量化 #AI #机器学习 #论文 #arXiv
LongMoE:轨迹感知混合专家模型实现纵向多模态学习
arXiv上发布了一篇题为《LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts》的研究论文。该论文由Maxx Richard Rahman等人撰写,提出了一种名为LongMoE的新型纵向多模态学习方法。该方法通过轨迹感知的混合专家模型,旨在处理随时间变化的多模态数据,提升模型在动态序列中的学习与推理能力。论文提供了PDF、HTML及TeX源码等全文链接,并支持BibTeX引用导出。研究涉及计算机科学领域,相关工具如Bibliographic Explorer、Connected Papers、Litmaps等可辅助文献探索与引用分析。arXivLabs框架也鼓励社区合作开发新功能,强调开放、社区、卓越与用户数据隐私的价值观。 #arXiv #LongMoE #多模态学习 #混合专家模型 #计算机科学 #AI #论文
arXiv上发布了一篇题为《LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts》的研究论文。该论文由Maxx Richard Rahman等人撰写,提出了一种名为LongMoE的新型纵向多模态学习方法。该方法通过轨迹感知的混合专家模型,旨在处理随时间变化的多模态数据,提升模型在动态序列中的学习与推理能力。论文提供了PDF、HTML及TeX源码等全文链接,并支持BibTeX引用导出。研究涉及计算机科学领域,相关工具如Bibliographic Explorer、Connected Papers、Litmaps等可辅助文献探索与引用分析。arXivLabs框架也鼓励社区合作开发新功能,强调开放、社区、卓越与用户数据隐私的价值观。 #arXiv #LongMoE #多模态学习 #混合专家模型 #计算机科学 #AI #论文
PreAct-Bench
来自 arXiv 的最新论文显示,研究团队正式发布了 PreAct-Bench,这是一个专门用于评估大语言模型(LLM)预测性监控能力的基准测试。该基准由 Hainiu Xu 等十位作者共同提出,旨在系统性地衡量 LLM 在运行过程中对潜在风险或异常行为的预测与监控性能。论文提供了完整的 PDF 版本及 HTML 预览,并附带了 TeX 源码。该工作已获得 NASA ADS、Google Scholar 等学术平台的引用与关注,同时提供了代码、数据及多种实验工具链接,如 Hugging Face Spaces 和 Replicate 演示平台。PreAct-Bench 的发布为 LLM 安全性与可靠性研究提供了重要的评估标准,有助于推动模型在实际部署中的风险预警能力提升。 #大语言模型 #基准测试 #预测监控 #AI安全 #arXiv #学术论文
来自 arXiv 的最新论文显示,研究团队正式发布了 PreAct-Bench,这是一个专门用于评估大语言模型(LLM)预测性监控能力的基准测试。该基准由 Hainiu Xu 等十位作者共同提出,旨在系统性地衡量 LLM 在运行过程中对潜在风险或异常行为的预测与监控性能。论文提供了完整的 PDF 版本及 HTML 预览,并附带了 TeX 源码。该工作已获得 NASA ADS、Google Scholar 等学术平台的引用与关注,同时提供了代码、数据及多种实验工具链接,如 Hugging Face Spaces 和 Replicate 演示平台。PreAct-Bench 的发布为 LLM 安全性与可靠性研究提供了重要的评估标准,有助于推动模型在实际部署中的风险预警能力提升。 #大语言模型 #基准测试 #预测监控 #AI安全 #arXiv #学术论文
SocraticPO
一篇题为《SocraticPO: Policy Optimization via Interactive Guidance》的学术论文在arXiv上发布。该研究提出了一种名为SocraticPO的新方法,旨在通过交互式指导来优化策略。论文作者包括Zirui Liu等十一位研究者,提交日期为2026年6月3日。该方法可能借鉴了苏格拉底式问答的交互理念,通过引导式反馈提升强化学习或机器学习中的策略学习效率。论文提供了PDF、HTML及TeX源码等多种格式,并附带了BibTeX引用数据。目前该论文已被收录于计算机科学(cs)领域的浏览上下文中,并可通过Google Scholar、Semantic Scholar等学术平台检索。arXiv平台还提供了相关论文推荐、代码链接(如CatalyzeX、DagsHub)以及演示功能(如Replicate、Hugging Face Spaces),方便研究者进一步探索和复现该工作。 #SocraticPO #策略优化 #交互式指导 #arXiv #机器学习 #强化学习 #学术论文
一篇题为《SocraticPO: Policy Optimization via Interactive Guidance》的学术论文在arXiv上发布。该研究提出了一种名为SocraticPO的新方法,旨在通过交互式指导来优化策略。论文作者包括Zirui Liu等十一位研究者,提交日期为2026年6月3日。该方法可能借鉴了苏格拉底式问答的交互理念,通过引导式反馈提升强化学习或机器学习中的策略学习效率。论文提供了PDF、HTML及TeX源码等多种格式,并附带了BibTeX引用数据。目前该论文已被收录于计算机科学(cs)领域的浏览上下文中,并可通过Google Scholar、Semantic Scholar等学术平台检索。arXiv平台还提供了相关论文推荐、代码链接(如CatalyzeX、DagsHub)以及演示功能(如Replicate、Hugging Face Spaces),方便研究者进一步探索和复现该工作。 #SocraticPO #策略优化 #交互式指导 #arXiv #机器学习 #强化学习 #学术论文
SHAPE 论文提出专家剪枝新方法,优化稀疏混合专家大模型
一篇题为《SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs》的学术论文近日在arXiv上发布。该研究提出了一种名为SHAPE的联盟感知专家剪枝方法,旨在优化稀疏混合专家大语言模型。传统MoE模型包含大量专家模块,计算成本高昂。SHAPE通过识别专家间的协同关系(即“联盟”),在保持模型性能的前提下,剪除冗余或低效的专家,从而显著降低推理时的计算开销和内存占用。实验表明,该方法能在不显著影响模型准确率的情况下,实现高效的模型压缩,为部署大规模MoE模型提供了新的技术路径。 #AI #大模型 #MoE #专家剪枝 #模型压缩 #arXiv #论文
一篇题为《SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs》的学术论文近日在arXiv上发布。该研究提出了一种名为SHAPE的联盟感知专家剪枝方法,旨在优化稀疏混合专家大语言模型。传统MoE模型包含大量专家模块,计算成本高昂。SHAPE通过识别专家间的协同关系(即“联盟”),在保持模型性能的前提下,剪除冗余或低效的专家,从而显著降低推理时的计算开销和内存占用。实验表明,该方法能在不显著影响模型准确率的情况下,实现高效的模型压缩,为部署大规模MoE模型提供了新的技术路径。 #AI #大模型 #MoE #专家剪枝 #模型压缩 #arXiv #论文