GNMR: 低精度大语言模型训练的运行时稳定性控制新方法

一篇来自arXiv的论文《GNMR: Runtime Stability Control for Low-Precision Large Language Model Training》由Boao Kong等研究者提出，针对大语言模型在低精度（如FP16、INT8）训练中常见的数值不稳定问题，设计了一种名为GNMR的运行时稳定性控制方案。该方案在训练过程中动态调整梯度缩放和权重更新策略，有效抑制了训练发散和精度损失，尤其适用于超大规模模型的低精度训练场景。实验表明，GNMR能够在不显著增加计算开销的前提下，维持模型收敛性能，为低成本、高效率的大模型训练提供了新的技术路径。 #LLM #低精度训练 #稳定性控制 #GNMR #AI #论文 #机器学习 #大模型

重尾噪声下随机梯度方法期望收敛性研究获新进展

Zijian Liu 在 arXiv 上提交了一篇题为《重尾噪声下随机梯度方法的期望收敛性》的论文。该研究聚焦于机器学习中常见的重尾噪声环境，针对随机梯度下降（SGD）及其变体，分析了它们在期望意义下的收敛行为。重尾噪声在现实数据中普遍存在，但以往的收敛理论多假设噪声具有有限方差。该工作打破了这一限制，提出了新的理论框架，证明即使在方差无限的情况下，某些随机梯度方法仍能达到期望收敛率。这项成果对于理解深度学习训练过程的稳定性、设计更鲁棒的优化算法具有重要意义，为在极端噪声环境下保证模型收敛提供了理论支撑。 #机器学习 #随机梯度下降 #重尾噪声 #收敛性 #优化算法 #深度学习 #学术论文

半监督学习新研究

一篇题为《Semi-Supervised Learning with Noisy Proxy Covariates: Generalization Bounds and Distribution Regression》的论文被第43届国际机器学习大会（ICML 2026）接收。该研究由Kwangho Kim和Jisu Kim完成，聚焦于半监督学习中当协变量存在噪声代理时的泛化理论问题。作者推导了新的泛化界，并提出了分布回归方法，为处理实际数据中常见的测量误差和代理变量噪声提供了理论支撑。该工作有望提升半监督学习在医疗、经济等领域的鲁棒性。 #半监督学习 #噪声代理 #泛化界 #分布回归 #ICML2026 #机器学习 #理论

针对植入尖峰模型的简易、鲁棒近似消息传递

近日，一篇题为《Easy, robust approximate message passing for planted spike models》的学术论文在arXiv预印本平台发布。该论文由Misha Ivkov等人撰写，针对植入尖峰模型提出了一种简易且鲁棒的近似消息传递算法。论文提供了完整的PDF及HTML版本，并附有相关工具链接与引用数据。此类算法在统计推断、信号处理等领域具有潜在应用价值，旨在提升模型在复杂场景下的推断效率与稳定性。目前该研究已引起相关领域学者的关注。 #机器学习 #统计推断 #信号处理 #近似消息传递 #arXiv #论文 #算法 #学术前沿

连续数据同化与学习代理动力学

近日，一篇题为《Continuous Data Assimilation with Learned Surrogate Dynamics》的论文在预印本平台arXiv上提交。该论文由Wenwen Li和Daniel Sanz-Alonso撰写，提交历史显示于2026年5月30日完成首次上传。论文聚焦于结合机器学习中的代理动力学模型，实现连续数据同化，旨在提升复杂系统状态估计的效率与准确性。目前该论文尚处于提交阶段，等待DOI注册及相关文献索引收录。相关数据已由NASA ADS、Google Scholar等学术工具提供引用支持，但论文内容仍需等最终发布后全文查阅。 #arXiv #数据同化 #机器学习 #代理模型 #连续数据同化 #科学计算 #论文发布

神经ODE的构造性插值与泛化率

近日，一项题为“Constructive interpolation and generalization rates for neural ODEs: a control perspective”的研究在学术平台arXiv上发布。该研究由Antonio Álvarez-López等人完成，从控制理论的角度探讨神经常微分方程（Neural ODEs）的构造性插值方法及其泛化率。传统上，神经ODE的训练与分析多依赖微分方程数值求解和梯度下降，而该工作引入控制视角，将模型视为一个动态系统，通过构造性方式实现数据点的精确插值，并推导出在特定假设下的泛化误差上界。这一思路为理解神经ODE的表示能力与学习动力提供了新的理论工具，有望提升模型在时序建模、物理仿真等领域的鲁棒性与可解释性。论文预印本已在线公开，相关代码和数据尚未发布，但研究已引起机器学习与控制理论交叉领域的关注。 #神经网络 #神经ODE #控制理论 #泛化率 #插值 #机器学习 #深度学习 #AI理论 #arXiv #学术研究

LLM适应性存在上限

一项发表于arXiv的预印本研究揭示，大语言模型（LLM）在标注任务中的适应性存在根本性限制。研究人员通过系统实验发现，模型在预训练阶段内化的先验知识（如语言统计规律、常见偏见等）会深度影响其在新标注任务上的表现，即使在接受针对性微调后，这些内化先验仍难以被覆盖。实验表明，当标注任务目标与模型先验产生冲突时，LLM的准确率与一致性均出现显著下降，且这种影响随任务复杂度递增。该发现对依赖LLM进行数据标注的AI开发实践提出警示，提示开发者需警惕模型固有偏好对下游任务结果的隐性扭曲，并可能需要设计特殊机制来抑制或抵消内化先验的影响。 #LLM #大模型 #人工智能 #机器学习 #数据标注 #预训练 #神经网络 #AI研究 #arXiv

利用权空间对称性近似曲率的新方法研究

一篇题为《Exploiting weight-space symmetries for approximating curvature》的学术论文近日提交至arXiv。该研究由Artem Artemev等七位作者完成，主要探讨如何利用神经网络权重的对称性来更高效地近似损失曲率。通过对权值空间对称结构的系统性分析，作者提出了一种新的曲率近似技术，有望在深度学习优化和贝叶斯推断中提升计算效率与模型性能。论文已被arXiv收录，并提供PDF和HTML版本供查阅。 #机器学习 #神经网络 #曲率近似 #权空间对称 #arXiv #AI研究

加权共形聚类

近日，一篇题为《Weighted Conformal Clustering》的学术论文在arXiv预印本平台上发布。该论文由Anirban Nath等三位作者共同完成，提交时间为2026年5月29日。论文聚焦于共形聚类这一无监督学习范式，创新性地引入权重机制，以改进传统共形聚类在处理数据分布不均和异常值时的鲁棒性。相关工作隶属于数学与统计学范畴，目前可通过arXiv获取PDF全文及HTML预览。该研究有望为聚类分析提供更灵活的理论框架，并为高维数据、复杂结构数据的聚类问题开辟新思路。 #机器学习 #聚类算法 #共形预测 #统计学 #arXiv #学术论文

生成式AI赋能经验似然方法

近日，一篇题为《Empirical Likelihood with Generative AI》的论文在arXiv预印本平台发布。该研究由Jiguang Li等人完成，旨在将生成式人工智能技术引入经典的经验似然统计推断框架。论文提出了一种结合生成模型与经验似然的新方法，有望在复杂数据分布下实现更高效、更稳健的参数估计与假设检验。这一交叉方向为统计学习与AI的融合提供了新视角，可能对生物统计、计量经济学等领域产生重要影响。论文目前以PDF和HTML格式公开，并附有相关代码与数据链接。 #生成式AI #经验似然 #统计推断 #arXiv #机器学习 #论文 #AI #统计学习

重尾数据新分析工具：极坐标深度（Polar Depth）方法提出

arXiv平台预印本显示，统计学家Stephan Clemençon等学者提出一种名为“极坐标深度”（Polar Depth）的新型非参数数据深度概念，专门针对可能存在重尾分布的数据集。传统数据深度方法对极端值敏感，而新方法通过极坐标变换与深度函数的结合，有效降低了重尾数据中极端观测对分析结果的影响，增强了鲁棒性。该方法适用于高维数据与复杂分布场景，有望在金融风险建模、极端气候分析等领域提供更稳定的统计分析基础。论文以PDF及HTML形式公开，并附有相关资源链接。 #重尾数据 #极坐标深度 #统计分析 #鲁棒方法 #arXiv #数据科学 #极端值

递归崩溃警告声明的基准测试研究

一篇由David Mullett提交至arXiv的论文《Benchmarking Recursive-Collapse Warning Claims Under Matched False-Positive Control》，系统研究了AI模型递归崩溃（即模型在自身生成数据上训练导致性能退化）相关警告声明的可靠性。论文提出了一种基于匹配假阳性控制的方法，对已有的递归崩溃警告进行基准测试，以区分真实风险与误报。这一方法通过统计控制手段，确保在相同假阳性率下比较不同警告的准确性。研究指出，当前许多关于递归崩溃的警告可能被夸大，而该基准测试框架有助于更严谨地评估模型退化风险。该工作对AI生成内容循环训练的安全评估具有重要意义，为后续研究提供了可复现的验证工具。 #AI #递归崩溃 #基准测试 #假阳性控制 #arXiv #大模型安全

Telegram必备的搜索引擎，极搜JISOU帮你精准找到，想要的群组、频道、视频、音乐

👉 t.me/jisou2?start=a_8247614025