Let the Data Decide:离线策略蒸馏助力大模型持续预训练自适应路由
最新arXiv论文《Let the Data Decide: Supervision Analysis, Capability Trade-offs, and Adaptive Objective Routing in Continued Pre-Training via Off-Policy Distillation》提出一种基于离线策略蒸馏的持续预训练方法。该研究聚焦于如何让数据本身决定监督信号,通过分析不同监督方式的能力权衡,实现自适应目标路由。论文由Jiangan Yuan等作者共同完成,旨在解决大模型在持续预训练过程中面临的监督信号选择与能力平衡问题。方法通过离线策略蒸馏技术,使模型能够根据数据特征自动切换训练目标,从而在保持原有能力的同时高效获取新知识。这一工作为提升大模型持续学习效率和泛化能力提供了新思路。 #大模型 #持续预训练 #离线策略蒸馏 #自适应路由 #监督学习 #AI前沿 #arXiv
最新arXiv论文《Let the Data Decide: Supervision Analysis, Capability Trade-offs, and Adaptive Objective Routing in Continued Pre-Training via Off-Policy Distillation》提出一种基于离线策略蒸馏的持续预训练方法。该研究聚焦于如何让数据本身决定监督信号,通过分析不同监督方式的能力权衡,实现自适应目标路由。论文由Jiangan Yuan等作者共同完成,旨在解决大模型在持续预训练过程中面临的监督信号选择与能力平衡问题。方法通过离线策略蒸馏技术,使模型能够根据数据特征自动切换训练目标,从而在保持原有能力的同时高效获取新知识。这一工作为提升大模型持续学习效率和泛化能力提供了新思路。 #大模型 #持续预训练 #离线策略蒸馏 #自适应路由 #监督学习 #AI前沿 #arXiv
Self-Evolving Just-In-Time Memory for Proactive Embodied Safety
一篇题为《Self-Evolving Just-In-Time Memory for Proactive Embodied Safety》的研究论文在 arXiv 预印本平台发布。该论文由 Bingrui Sima 等五位作者共同撰写,提交日期为 2026 年 6 月 26 日。论文聚焦于具身智能体的主动安全问题,提出了一种自进化的即时记忆机制,旨在让机器人在动态环境中能够预判风险并做出实时响应。这一方法有望提升未来自主系统在复杂场景中的安全性和适应性。论文目前以 PDF 和 HTML 形式开放获取,并提供了 BibTeX 引用数据及相关工具链接。 #arXiv #论文 #AI安全 #具身智能 #记忆机制 #机器人 #预印本 #学术研究
一篇题为《Self-Evolving Just-In-Time Memory for Proactive Embodied Safety》的研究论文在 arXiv 预印本平台发布。该论文由 Bingrui Sima 等五位作者共同撰写,提交日期为 2026 年 6 月 26 日。论文聚焦于具身智能体的主动安全问题,提出了一种自进化的即时记忆机制,旨在让机器人在动态环境中能够预判风险并做出实时响应。这一方法有望提升未来自主系统在复杂场景中的安全性和适应性。论文目前以 PDF 和 HTML 形式开放获取,并提供了 BibTeX 引用数据及相关工具链接。 #arXiv #论文 #AI安全 #具身智能 #记忆机制 #机器人 #预印本 #学术研究
高精度低位KV缓存量化新方法
在大型语言模型推理中,KV缓存是加速生成的关键,但其显存占用巨大。为降低部署成本,低位量化(如2-4比特)成为热门方向,但现有方法因量化误差导致模型精度下降。近期一篇arXiv论文提出一种基于局部分布恢复的KV缓存量化技术,在极低位宽下实现了高精度压缩。该方法通过动态调整量化参数,恢复每个量化块的局部数值分布,有效减少了异常值带来的失真。实验表明,该方案在LLaMA、OPT等主流模型上,2比特量化精度损失可控制在1%以内,显著优于传统均匀量化与分组量化。这项研究有望推动大模型在边缘设备上的高效部署,降低推理时的显存瓶颈。 #AI #大模型 #KV缓存 #量化 #学术论文 #算法 #效率优化
在大型语言模型推理中,KV缓存是加速生成的关键,但其显存占用巨大。为降低部署成本,低位量化(如2-4比特)成为热门方向,但现有方法因量化误差导致模型精度下降。近期一篇arXiv论文提出一种基于局部分布恢复的KV缓存量化技术,在极低位宽下实现了高精度压缩。该方法通过动态调整量化参数,恢复每个量化块的局部数值分布,有效减少了异常值带来的失真。实验表明,该方案在LLaMA、OPT等主流模型上,2比特量化精度损失可控制在1%以内,显著优于传统均匀量化与分组量化。这项研究有望推动大模型在边缘设备上的高效部署,降低推理时的显存瓶颈。 #AI #大模型 #KV缓存 #量化 #学术论文 #算法 #效率优化
Benchmarking Machine Learning Models for Multi-Omics-Based Breast Cancer Prediction
该研究聚焦于基于多组学数据的乳腺癌预测任务,系统评估了多种机器学习模型的性能。研究团队通过整合基因组、转录组、蛋白质组等多组学数据,比较了传统统计模型与深度学习模型在乳腺癌风险预测和亚型分类上的效果。实验结果表明,集成学习方法在多组学数据融合中表现最优,而特征工程和降维技术对模型精度有显著影响。该基准测试为多组学癌症预测提供了标准化的评估框架,有助于推动精准医疗中机器学习模型的可重复性研究。 #机器学习 #乳腺癌 #多组学 #基准测试 #生物信息学 #AI医疗 #精准医疗
该研究聚焦于基于多组学数据的乳腺癌预测任务,系统评估了多种机器学习模型的性能。研究团队通过整合基因组、转录组、蛋白质组等多组学数据,比较了传统统计模型与深度学习模型在乳腺癌风险预测和亚型分类上的效果。实验结果表明,集成学习方法在多组学数据融合中表现最优,而特征工程和降维技术对模型精度有显著影响。该基准测试为多组学癌症预测提供了标准化的评估框架,有助于推动精准医疗中机器学习模型的可重复性研究。 #机器学习 #乳腺癌 #多组学 #基准测试 #生物信息学 #AI医疗 #精准医疗
SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi
Yupeng Chang 等研究者在 arXiv 上提交了一篇名为《SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling》的论文。该方法针对大规模预训练模型微调中参数效率低的问题,提出一种新的低秩适应技术。SOS-LoRA 通过引入静态正交子空间,将可学习参数限制在固定且正交的低秩子空间内,同时采用固定多尺度缩放策略来保持不同尺度下的表达能力。这种设计减少了可训练参数数量,避免了传统 LoRA 方法中因秩选择不当导致的性能退化,并在多种自然语言处理任务上展现出与全参数微调相当或更优的效果。论文还讨论了该方法在计算效率和内存占用方面的优势,为资源受限场景下的大模型适配提供了新思路。 #SOSLoRA #低秩适应 #大模型微调 #正交子空间 #参数效率 #机器学习 #AI论文 #arXiv
Yupeng Chang 等研究者在 arXiv 上提交了一篇名为《SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling》的论文。该方法针对大规模预训练模型微调中参数效率低的问题,提出一种新的低秩适应技术。SOS-LoRA 通过引入静态正交子空间,将可学习参数限制在固定且正交的低秩子空间内,同时采用固定多尺度缩放策略来保持不同尺度下的表达能力。这种设计减少了可训练参数数量,避免了传统 LoRA 方法中因秩选择不当导致的性能退化,并在多种自然语言处理任务上展现出与全参数微调相当或更优的效果。论文还讨论了该方法在计算效率和内存占用方面的优势,为资源受限场景下的大模型适配提供了新思路。 #SOSLoRA #低秩适应 #大模型微调 #正交子空间 #参数效率 #机器学习 #AI论文 #arXiv
arXiv新论文:长上下文检索中的任务条件符号化FFN写入方法
这篇题为《More Than Memory: Task-Conditioned Signed FFN Writes in Long-Context Retrieval》的论文由Zhibo Yang撰写,于2026年6月27日提交至arXiv预印本平台。研究聚焦于长上下文检索任务中前馈神经网络(FFN)的改进,提出一种任务条件符号化写入机制。传统FFN在长文本场景下容易遗忘早期信息,而该方法通过引入符号化权重和任务条件控制,使模型在检索时能够选择性增强或抑制特定记忆,从而提升对超长上下文的利用效率。论文探索了记忆与推理的边界,为下一代长上下文语言模型设计提供了新思路。 #arXiv #论文 #长上下文 #检索 #机器学习 #自然语言处理 #前馈神经网络
这篇题为《More Than Memory: Task-Conditioned Signed FFN Writes in Long-Context Retrieval》的论文由Zhibo Yang撰写,于2026年6月27日提交至arXiv预印本平台。研究聚焦于长上下文检索任务中前馈神经网络(FFN)的改进,提出一种任务条件符号化写入机制。传统FFN在长文本场景下容易遗忘早期信息,而该方法通过引入符号化权重和任务条件控制,使模型在检索时能够选择性增强或抑制特定记忆,从而提升对超长上下文的利用效率。论文探索了记忆与推理的边界,为下一代长上下文语言模型设计提供了新思路。 #arXiv #论文 #长上下文 #检索 #机器学习 #自然语言处理 #前馈神经网络
使用大语言模型进行特征生成
据arXiv预印本平台显示,一篇题为《使用大语言模型进行特征生成:一种进化算法方法》的论文已被《通信、计算与信息科学》期刊收录(2025年,卷2471,48-64页)。该研究由Aria Nourbakhsh等人完成,提出将大语言模型与进化算法相结合,用于自动生成机器学习中的有效特征。该方法利用LLM的语义理解和生成能力产生候选特征,再通过进化算法进行优化筛选,旨在提升模型在分类、回归等任务上的表现。论文还提供了完整代码和数据链接。这一交叉方向有望降低特征工程的人工成本,为自动化机器学习提供新思路。 #LLM #进化算法 #特征工程 #机器学习 #arXiv #学术论文 #自动机器学习
据arXiv预印本平台显示,一篇题为《使用大语言模型进行特征生成:一种进化算法方法》的论文已被《通信、计算与信息科学》期刊收录(2025年,卷2471,48-64页)。该研究由Aria Nourbakhsh等人完成,提出将大语言模型与进化算法相结合,用于自动生成机器学习中的有效特征。该方法利用LLM的语义理解和生成能力产生候选特征,再通过进化算法进行优化筛选,旨在提升模型在分类、回归等任务上的表现。论文还提供了完整代码和数据链接。这一交叉方向有望降低特征工程的人工成本,为自动化机器学习提供新思路。 #LLM #进化算法 #特征工程 #机器学习 #arXiv #学术论文 #自动机器学习
新研究提出RLHF偏好数据中评估者状态偏差的审计框架
一项发表于arXiv的论文提出了针对RLHF(基于人类反馈的强化学习)偏好数据中“评估者状态偏差”的审计框架。研究指出,在收集人类偏好数据时,评估者的暂时性状态(如疲劳、情绪、注意力分散等)可能对标注质量产生系统性影响,从而引入偏差。该框架通过建模和统计检验,旨在检测并量化这些偏差的来源与影响,为提升RLHF数据质量和模型对齐安全性提供可操作的工具。论文由Elena Kopteva和Vitaliy Hlynianyi-Zhuk共同撰写,目前已在arXiv平台公开,可获取全文。 #RLHF #偏好数据 #评估者偏差 #AI安全 #机器学习 #arXiv #论文新闻
一项发表于arXiv的论文提出了针对RLHF(基于人类反馈的强化学习)偏好数据中“评估者状态偏差”的审计框架。研究指出,在收集人类偏好数据时,评估者的暂时性状态(如疲劳、情绪、注意力分散等)可能对标注质量产生系统性影响,从而引入偏差。该框架通过建模和统计检验,旨在检测并量化这些偏差的来源与影响,为提升RLHF数据质量和模型对齐安全性提供可操作的工具。论文由Elena Kopteva和Vitaliy Hlynianyi-Zhuk共同撰写,目前已在arXiv平台公开,可获取全文。 #RLHF #偏好数据 #评估者偏差 #AI安全 #机器学习 #arXiv #论文新闻
轻量级1D CNN用于软毛绒伙伴情感触觉分类的设计与验证
这篇由Aleksandrs Vališevskis等10位作者提交至arXiv的论文,提出并验证了一种轻量级一维卷积神经网络(1D CNN),用于对软毛绒玩具中的情感触觉进行分类。研究旨在为智能玩具或机器人提供低成本、高效的触觉情感识别方案,通过在嵌入式设备上运行来实现实时交互。论文详细介绍了网络架构设计,采用深度可分离卷积和参数优化策略,在保持高分类准确率的同时大幅降低模型参数量和计算开销。实验基于自建的情感触觉数据集,验证了模型在多种触摸模式(如抚摸、拍打等)上的有效性。结果显示,该轻量级CNN在准确率上接近复杂模型,但推理速度提升数倍,适合部署于资源受限的软体平台。该工作为人机交互、情感计算和可穿戴触觉传感领域提供了新的技术路径。 #arXiv #深度学习 #情感计算 #人机交互 #触觉分类 #轻量级CNN #软机器人 #论文
这篇由Aleksandrs Vališevskis等10位作者提交至arXiv的论文,提出并验证了一种轻量级一维卷积神经网络(1D CNN),用于对软毛绒玩具中的情感触觉进行分类。研究旨在为智能玩具或机器人提供低成本、高效的触觉情感识别方案,通过在嵌入式设备上运行来实现实时交互。论文详细介绍了网络架构设计,采用深度可分离卷积和参数优化策略,在保持高分类准确率的同时大幅降低模型参数量和计算开销。实验基于自建的情感触觉数据集,验证了模型在多种触摸模式(如抚摸、拍打等)上的有效性。结果显示,该轻量级CNN在准确率上接近复杂模型,但推理速度提升数倍,适合部署于资源受限的软体平台。该工作为人机交互、情感计算和可穿戴触觉传感领域提供了新的技术路径。 #arXiv #深度学习 #情感计算 #人机交互 #触觉分类 #轻量级CNN #软机器人 #论文
PlanFlip:通过规划阶段提示注入攻击多智能体大语言模型系统
近日,一篇题为《PlanFlip:通过规划阶段提示注入攻击多智能体大语言模型系统》的学术论文在arXiv上发布。该研究由Yuhang Wang等人完成,聚焦于多智能体LLM系统面临的新型安全威胁。论文指出,现有大语言模型易受提示注入攻击,而在多智能体协作系统中,攻击者可以在规划阶段注入恶意指令,从而操纵整体行为。PlanFlip攻击利用多智能体系统在任务分解与规划阶段的脆弱性,通过精心构造的输入,使多个智能体执行非预期动作,甚至破坏系统完整性。实验表明,该方法对当前主流多智能体框架具有较高成功率,凸显了加强系统安全设计的紧迫性。该研究为LLM安全性领域提供了新的视角和防御方向。 #多智能体 #大语言模型 #提示注入 #安全 #攻击 #PlanFlip #AI安全 #学术论文
近日,一篇题为《PlanFlip:通过规划阶段提示注入攻击多智能体大语言模型系统》的学术论文在arXiv上发布。该研究由Yuhang Wang等人完成,聚焦于多智能体LLM系统面临的新型安全威胁。论文指出,现有大语言模型易受提示注入攻击,而在多智能体协作系统中,攻击者可以在规划阶段注入恶意指令,从而操纵整体行为。PlanFlip攻击利用多智能体系统在任务分解与规划阶段的脆弱性,通过精心构造的输入,使多个智能体执行非预期动作,甚至破坏系统完整性。实验表明,该方法对当前主流多智能体框架具有较高成功率,凸显了加强系统安全设计的紧迫性。该研究为LLM安全性领域提供了新的视角和防御方向。 #多智能体 #大语言模型 #提示注入 #安全 #攻击 #PlanFlip #AI安全 #学术论文
AI Agent 系统确定性重放研究论文被收录于 arXiv
近日,一篇题为《Deterministic Replay for AI Agent Systems》的研究论文被提交至 arXiv 预印本平台。该论文由研究人员 Rasheed Mudasiru 撰写,核心关注在 AI 智能体系统中实现确定性重放的技术方法。通过确定性重放,开发人员可以精确复现智能体的行为轨迹,从而有效调试和验证系统在复杂环境中的表现。该研究对于提升 AI Agent 系统的可靠性和可追溯性具有重要意义,为多智能体协同、强化学习等场景提供了新的技术路径。论文目前已开放 PDF 全文供学术社区下载,并获得了相关文献引用工具的索引。 #arXiv #AI #Agent #确定性重放 #论文 #智能体系统 #可靠性 #技术前沿
近日,一篇题为《Deterministic Replay for AI Agent Systems》的研究论文被提交至 arXiv 预印本平台。该论文由研究人员 Rasheed Mudasiru 撰写,核心关注在 AI 智能体系统中实现确定性重放的技术方法。通过确定性重放,开发人员可以精确复现智能体的行为轨迹,从而有效调试和验证系统在复杂环境中的表现。该研究对于提升 AI Agent 系统的可靠性和可追溯性具有重要意义,为多智能体协同、强化学习等场景提供了新的技术路径。论文目前已开放 PDF 全文供学术社区下载,并获得了相关文献引用工具的索引。 #arXiv #AI #Agent #确定性重放 #论文 #智能体系统 #可靠性 #技术前沿
用小型语言模型实现AI民主化
近日,一篇题为《用小型语言模型实现AI民主化:面向本地部署的结构化评估与参数高效微调》的论文在arXiv上发布。作者Daniel Cersosimo指出,大型语言模型的训练和部署成本高昂,限制了AI的普及。该研究聚焦于小型语言模型(SLM),通过结构化基准测试方法,系统评估了多种SLM在本地环境下的性能,并采用参数高效微调(PEFT)技术,以极少的计算资源对模型进行领域适配。实验结果表明,经过精细调优的小型模型在多项任务上可达到接近大模型的水平,为资源受限场景下的AI应用提供了可行路径。这一工作有望推动AI技术在边缘设备、中小企业等领域的广泛落地。 #AI民主化 #小型语言模型 #参数高效微调 #本地部署 #arXiv #AI研究 #科技新闻
近日,一篇题为《用小型语言模型实现AI民主化:面向本地部署的结构化评估与参数高效微调》的论文在arXiv上发布。作者Daniel Cersosimo指出,大型语言模型的训练和部署成本高昂,限制了AI的普及。该研究聚焦于小型语言模型(SLM),通过结构化基准测试方法,系统评估了多种SLM在本地环境下的性能,并采用参数高效微调(PEFT)技术,以极少的计算资源对模型进行领域适配。实验结果表明,经过精细调优的小型模型在多项任务上可达到接近大模型的水平,为资源受限场景下的AI应用提供了可行路径。这一工作有望推动AI技术在边缘设备、中小企业等领域的广泛落地。 #AI民主化 #小型语言模型 #参数高效微调 #本地部署 #arXiv #AI研究 #科技新闻