Transformer 如何编码电子健康记录中的数值
一篇题为《How Should Transformers Encode Numeric Values in Electronic Health Records?》的学术论文在 arXiv 上发布。该研究聚焦于 Transformer 模型在处理电子健康记录（EHR）时，如何有效编码其中的数值型数据。数值编码方式直接影响模型对患者生命体征、实验室检查结果等关键信息的理解与预测能力。论文系统比较了多种编码策略（如直接输入、分箱、归一化、位置编码等），并评估了不同方法在临床预测任务中的表现。研究旨在为医疗 AI 领域提供数值编码的最佳实践，提升 Transformer 在 EHR 数据上的建模效果与可解释性。 #Transformer #电子健康记录 #数值编码 #AI #医疗 #论文 #arXiv #深度学习
一篇题为《How Should Transformers Encode Numeric Values in Electronic Health Records?》的学术论文在 arXiv 上发布。该研究聚焦于 Transformer 模型在处理电子健康记录（EHR）时，如何有效编码其中的数值型数据。数值编码方式直接影响模型对患者生命体征、实验室检查结果等关键信息的理解与预测能力。论文系统比较了多种编码策略（如直接输入、分箱、归一化、位置编码等），并评估了不同方法在临床预测任务中的表现。研究旨在为医疗 AI 领域提供数值编码的最佳实践，提升 Transformer 在 EHR 数据上的建模效果与可解释性。 #Transformer #电子健康记录 #数值编码 #AI #医疗 #论文 #arXiv #深度学习
NeuroBridge：融合多任务MRI知识诊断神经退行性疾病
近日，一篇题为《NeuroBridge: Bridging Multi-Task MRI Knowledge for Neurodegenerative Disease Diagnosis》的论文由Mengyu Li等人提交至arXiv预印本平台。该研究提出了一种名为NeuroBridge的框架，旨在通过多任务磁共振成像（MRI）知识融合，提升对阿尔茨海默病等神经退行性疾病的诊断准确性。传统单一模态MRI难以全面捕捉病变特征，而NeuroBridge通过多任务学习整合不同MRI序列的互补信息，增强了模型对脑结构异常的表征能力。实验结果显示，该方法在多个公开数据集上取得了更优的诊断性能，有望为临床早期筛查和精准诊断提供新的辅助工具。 #NeuroBridge #多任务学习 #MRI #神经退行性疾病 #医学影像 #人工智能 #arXiv #诊断 #深度学习
近日，一篇题为《NeuroBridge: Bridging Multi-Task MRI Knowledge for Neurodegenerative Disease Diagnosis》的论文由Mengyu Li等人提交至arXiv预印本平台。该研究提出了一种名为NeuroBridge的框架，旨在通过多任务磁共振成像（MRI）知识融合，提升对阿尔茨海默病等神经退行性疾病的诊断准确性。传统单一模态MRI难以全面捕捉病变特征，而NeuroBridge通过多任务学习整合不同MRI序列的互补信息，增强了模型对脑结构异常的表征能力。实验结果显示，该方法在多个公开数据集上取得了更优的诊断性能，有望为临床早期筛查和精准诊断提供新的辅助工具。 #NeuroBridge #多任务学习 #MRI #神经退行性疾病 #医学影像 #人工智能 #arXiv #诊断 #深度学习
编码智能体强化学习中的推出基础设施税
一篇题为《The Rollout Infrastructure Tax in Coding-Agent Reinforcement Learning》的学术论文近日在arXiv上发布。该论文由Daniel Graviet等四位作者共同撰写，提交于2026年7月1日。研究聚焦于编码智能体在强化学习训练过程中，因频繁执行“推出”（rollout）策略而产生的隐性计算与基础设施成本，作者将其定义为“推出基础设施税”。论文通过理论分析与实验验证，揭示了这一成本对训练效率、资源分配及模型收敛速度的显著影响，并提出了相应的优化方向。该工作为理解编码智能体强化学习的实际部署瓶颈提供了新视角，有助于推动更高效的训练框架设计。 #强化学习 #编码智能体 #AI #机器学习 #论文 #arXiv #基础设施税 #计算成本 #算法优化
一篇题为《The Rollout Infrastructure Tax in Coding-Agent Reinforcement Learning》的学术论文近日在arXiv上发布。该论文由Daniel Graviet等四位作者共同撰写，提交于2026年7月1日。研究聚焦于编码智能体在强化学习训练过程中，因频繁执行“推出”（rollout）策略而产生的隐性计算与基础设施成本，作者将其定义为“推出基础设施税”。论文通过理论分析与实验验证，揭示了这一成本对训练效率、资源分配及模型收敛速度的显著影响，并提出了相应的优化方向。该工作为理解编码智能体强化学习的实际部署瓶颈提供了新视角，有助于推动更高效的训练框架设计。 #强化学习 #编码智能体 #AI #机器学习 #论文 #arXiv #基础设施税 #计算成本 #算法优化
剪枝混合专家模型在生物医学领域的实用性与事实可靠性研究
来自arXiv的一篇论文由Atsuki Yamaguchi等四位作者撰写，系统评估了剪枝后的混合专家模型（MoE）在生物医学领域的实用性和事实可靠性。研究指出，虽然MoE模型通过稀疏激活显著降低了推理成本，但剪枝操作可能破坏专家网络的协同能力，尤其在涉及专业医学知识的事实性问答和证据检索时，出现事实错误的风险上升。实验基于多个生物医学基准数据集，对比了不同剪枝率下模型的准确率、推理速度和事实一致性。结果表明，适度剪枝可在保持大部分性能的同时提升效率，但过度剪枝会导致可靠性显著下降。该研究为在计算资源受限环境下部署可信赖的医学领域大模型提供了重要指导。 #AI #混合专家模型 #生物医学 #模型剪枝 #事实可靠性 #arXiv #大模型
来自arXiv的一篇论文由Atsuki Yamaguchi等四位作者撰写，系统评估了剪枝后的混合专家模型（MoE）在生物医学领域的实用性和事实可靠性。研究指出，虽然MoE模型通过稀疏激活显著降低了推理成本，但剪枝操作可能破坏专家网络的协同能力，尤其在涉及专业医学知识的事实性问答和证据检索时，出现事实错误的风险上升。实验基于多个生物医学基准数据集，对比了不同剪枝率下模型的准确率、推理速度和事实一致性。结果表明，适度剪枝可在保持大部分性能的同时提升效率，但过度剪枝会导致可靠性显著下降。该研究为在计算资源受限环境下部署可信赖的医学领域大模型提供了重要指导。 #AI #混合专家模型 #生物医学 #模型剪枝 #事实可靠性 #arXiv #大模型
模型合并作为微调参数空间中的概率推断
一篇题为《Model Merging as Probabilistic Inference in Fine-Tuning Parameter Space》的学术论文近日在arXiv预印本平台发布。该研究由Long Minh Bui等六位作者共同完成，提出将模型合并问题重新定义为微调参数空间中的概率推断过程。传统模型合并通常依赖加权平均或线性插值，而该工作引入概率框架，通过建模参数分布的不确定性来更有效地融合多个微调模型的知识。实验表明，该方法在多个自然语言处理任务上优于现有合并策略，为多任务学习与模型集成提供了新的理论视角。论文已提供HTML和TeX源码供研究者复现。 #模型合并 #概率推断 #微调 #机器学习 #AI #arXiv #自然语言处理 #多任务学习
一篇题为《Model Merging as Probabilistic Inference in Fine-Tuning Parameter Space》的学术论文近日在arXiv预印本平台发布。该研究由Long Minh Bui等六位作者共同完成，提出将模型合并问题重新定义为微调参数空间中的概率推断过程。传统模型合并通常依赖加权平均或线性插值，而该工作引入概率框架，通过建模参数分布的不确定性来更有效地融合多个微调模型的知识。实验表明，该方法在多个自然语言处理任务上优于现有合并策略，为多任务学习与模型集成提供了新的理论视角。论文已提供HTML和TeX源码供研究者复现。 #模型合并 #概率推断 #微调 #机器学习 #AI #arXiv #自然语言处理 #多任务学习
Geometry-Aware R-Structured Kolmogorov-Arnold Networks 论文提交至 arXiv
一篇题为《Geometry-Aware R-Structured Kolmogorov-Arnold Networks》的研究论文于2026年7月1日提交至arXiv预印本平台。作者Sergei Kucherenko等人提出了一种新型神经网络架构，将几何感知与R结构引入Kolmogorov-Arnold网络（KAN），旨在提升模型对几何结构数据的处理能力。该研究可能对几何深度学习、流形学习等领域产生积极影响，目前论文全文已开放访问。 #论文 #arXiv #KAN #神经网络 #几何深度学习 #AI #机器学习 #2026
一篇题为《Geometry-Aware R-Structured Kolmogorov-Arnold Networks》的研究论文于2026年7月1日提交至arXiv预印本平台。作者Sergei Kucherenko等人提出了一种新型神经网络架构，将几何感知与R结构引入Kolmogorov-Arnold网络（KAN），旨在提升模型对几何结构数据的处理能力。该研究可能对几何深度学习、流形学习等领域产生积极影响，目前论文全文已开放访问。 #论文 #arXiv #KAN #神经网络 #几何深度学习 #AI #机器学习 #2026
WARP
一篇题为《WARP: Weight-Space Analysis for Recovering Training Data Portfolios》的学术论文近日在arXiv上发布。该研究由Tzu-Heng Huang、Aditya Goyal、John Cooper和Frederic Sala共同完成，提出了一种名为WARP的新方法，旨在从训练好的模型权重中逆向分析并恢复其训练数据的组成结构。该方法通过分析权重空间中的特征，能够推断出模型在训练过程中使用了哪些数据子集及其比例，对于理解模型行为、检测数据泄露以及评估训练数据合规性具有重要意义。论文目前以PDF和HTML格式开放获取，并提供了相关代码和数据链接。 #机器学习 #权重空间分析 #训练数据恢复 #arXiv #论文 #AI安全 #数据合规
一篇题为《WARP: Weight-Space Analysis for Recovering Training Data Portfolios》的学术论文近日在arXiv上发布。该研究由Tzu-Heng Huang、Aditya Goyal、John Cooper和Frederic Sala共同完成，提出了一种名为WARP的新方法，旨在从训练好的模型权重中逆向分析并恢复其训练数据的组成结构。该方法通过分析权重空间中的特征，能够推断出模型在训练过程中使用了哪些数据子集及其比例，对于理解模型行为、检测数据泄露以及评估训练数据合规性具有重要意义。论文目前以PDF和HTML格式开放获取，并提供了相关代码和数据链接。 #机器学习 #权重空间分析 #训练数据恢复 #arXiv #论文 #AI安全 #数据合规
Token Geometry 论文在 arXiv 预印本平台提交
近日，一篇题为 "Token Geometry" 的学术论文在 arXiv 预印本平台提交。该论文由研究人员 Kathan Shah 撰写，提交时间为 2026 年 7 月 1 日。论文目前以 PDF 格式公开，并提供了 HTML 版本及 TeX 源码。arXiv 作为重要的学术预印本平台，该论文的发布可能涉及自然语言处理或机器学习领域中 token 表示与几何结构的研究，但具体内容尚未披露。论文当前浏览上下文为计算机科学（cs）领域，并已关联 Google Scholar、Semantic Scholar 等学术检索工具。arXivLabs 项目也对该论文提供了社区协作支持。 #arXiv #TokenGeometry #KathanShah #预印本 #学术论文 #自然语言处理 #机器学习
近日，一篇题为 "Token Geometry" 的学术论文在 arXiv 预印本平台提交。该论文由研究人员 Kathan Shah 撰写，提交时间为 2026 年 7 月 1 日。论文目前以 PDF 格式公开，并提供了 HTML 版本及 TeX 源码。arXiv 作为重要的学术预印本平台，该论文的发布可能涉及自然语言处理或机器学习领域中 token 表示与几何结构的研究，但具体内容尚未披露。论文当前浏览上下文为计算机科学（cs）领域，并已关联 Google Scholar、Semantic Scholar 等学术检索工具。arXivLabs 项目也对该论文提供了社区协作支持。 #arXiv #TokenGeometry #KathanShah #预印本 #学术论文 #自然语言处理 #机器学习
SCAPE：通过极端稀疏通信实现准确高效的LLM训练
一篇名为《SCAPE: Accurate and Efficient LLM Training with Extreme Sparse Communication》的研究论文近日在arXiv上发布。该论文由Mingkai Zheng等四位作者共同完成，提出了一种名为SCAPE的新方法，旨在通过极端稀疏通信技术降低大语言模型（LLM）训练过程中的通信开销。传统分布式训练中，梯度同步带来的通信瓶颈严重限制了训练效率，而SCAPE通过设计稀疏化策略，在保证模型准确性的前提下，显著减少了通信数据量。该方法对提升大规模AI模型的训练速度和可扩展性具有重要意义，有望推动LLM在资源受限环境下的高效部署。 #SCAPE #LLM #AI训练 #稀疏通信 #分布式训练 #机器学习 #论文
一篇名为《SCAPE: Accurate and Efficient LLM Training with Extreme Sparse Communication》的研究论文近日在arXiv上发布。该论文由Mingkai Zheng等四位作者共同完成，提出了一种名为SCAPE的新方法，旨在通过极端稀疏通信技术降低大语言模型（LLM）训练过程中的通信开销。传统分布式训练中，梯度同步带来的通信瓶颈严重限制了训练效率，而SCAPE通过设计稀疏化策略，在保证模型准确性的前提下，显著减少了通信数据量。该方法对提升大规模AI模型的训练速度和可扩展性具有重要意义，有望推动LLM在资源受限环境下的高效部署。 #SCAPE #LLM #AI训练 #稀疏通信 #分布式训练 #机器学习 #论文
如何分配你的Token？训练步骤与批次大小的缩放定律
一篇题为《如何分配你的Token？训练步骤与批次大小的缩放定律》的预印本论文在arXiv平台发布。该研究聚焦大语言模型训练中的关键资源分配问题，提出了一种新的缩放定律，用于指导在给定计算预算下如何最优地分配Token数量与训练步骤、批次大小之间的关系。传统缩放定律多关注模型参数与数据量，而本文深入探讨了训练动态中的批次大小选择对模型性能的影响。通过系统的实验分析，作者给出了在不同计算约束下的最优分配策略，为从业者在有限资源下最大化模型性能提供了理论依据与实践指导。这一发现对降低大模型训练成本、提升训练效率具有重要参考价值。 #论文 #arXiv #AI #大模型 #缩放定律 #Token分配 #训练优化 #深度学习
一篇题为《如何分配你的Token？训练步骤与批次大小的缩放定律》的预印本论文在arXiv平台发布。该研究聚焦大语言模型训练中的关键资源分配问题，提出了一种新的缩放定律，用于指导在给定计算预算下如何最优地分配Token数量与训练步骤、批次大小之间的关系。传统缩放定律多关注模型参数与数据量，而本文深入探讨了训练动态中的批次大小选择对模型性能的影响。通过系统的实验分析，作者给出了在不同计算约束下的最优分配策略，为从业者在有限资源下最大化模型性能提供了理论依据与实践指导。这一发现对降低大模型训练成本、提升训练效率具有重要参考价值。 #论文 #arXiv #AI #大模型 #缩放定律 #Token分配 #训练优化 #深度学习
强化学习新研究
一篇题为《Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL》的论文近日在arXiv上发布。该研究由Juliette Decugis等五位学者完成，深入分析了强化学习中策略梯度算法的权重机制，揭示了收益衰减（FADE）现象背后的原因。研究团队通过分解策略梯度权重，提出了新的理论框架，旨在提升强化学习模型的训练稳定性和长期收益。该工作为理解策略梯度方法的内部运作提供了新视角，有望推动强化学习在机器人控制、游戏AI等领域的应用优化。 #强化学习 #策略梯度 #AI #机器学习 #arXiv #论文 #收益衰减
一篇题为《Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL》的论文近日在arXiv上发布。该研究由Juliette Decugis等五位学者完成，深入分析了强化学习中策略梯度算法的权重机制，揭示了收益衰减（FADE）现象背后的原因。研究团队通过分解策略梯度权重，提出了新的理论框架，旨在提升强化学习模型的训练稳定性和长期收益。该工作为理解策略梯度方法的内部运作提供了新视角，有望推动强化学习在机器人控制、游戏AI等领域的应用优化。 #强化学习 #策略梯度 #AI #机器学习 #arXiv #论文 #收益衰减
揭示拜占庭鲁棒性下隐私对泛化的非单调影响
一项最新研究发表论文《揭示拜占庭鲁棒性下隐私对泛化的非单调影响》，由Thomas Boudou等学者完成。该研究聚焦于分布式学习场景中，隐私保护机制（如差分隐私）与拜占庭鲁棒性（抵御恶意节点攻击）对模型泛化性能的复杂交互作用。传统观点认为隐私越强，泛化越差，但该工作发现二者呈现非单调关系：在一定范围内适度增强隐私反而可能提升泛化能力，而过度保护则导致性能下降。这一发现为联邦学习等隐私敏感系统的设计提供了新理论依据，有助于平衡数据隐私与模型质量。论文已在arXiv预印本平台发布，尚待正式期刊收录。 #隐私保护 #拜占庭鲁棒性 #泛化能力 #机器学习 #差分隐私 #联邦学习 #arXiv #学术研究
一项最新研究发表论文《揭示拜占庭鲁棒性下隐私对泛化的非单调影响》，由Thomas Boudou等学者完成。该研究聚焦于分布式学习场景中，隐私保护机制（如差分隐私）与拜占庭鲁棒性（抵御恶意节点攻击）对模型泛化性能的复杂交互作用。传统观点认为隐私越强，泛化越差，但该工作发现二者呈现非单调关系：在一定范围内适度增强隐私反而可能提升泛化能力，而过度保护则导致性能下降。这一发现为联邦学习等隐私敏感系统的设计提供了新理论依据，有助于平衡数据隐私与模型质量。论文已在arXiv预印本平台发布，尚待正式期刊收录。 #隐私保护 #拜占庭鲁棒性 #泛化能力 #机器学习 #差分隐私 #联邦学习 #arXiv #学术研究
重新审视带压缩通信的分布式在线凸优化
近日，一篇题为《Revisiting Decentralized Online Convex Optimization with Compressed Communication》的论文在arXiv上发布。该研究由Hao Zhou等五位学者完成，聚焦于分布式在线凸优化中的通信压缩问题。在分布式学习场景中，节点间频繁交换梯度或模型参数会产生巨大通信开销，而压缩通信技术能有效降低带宽需求。论文重新审视了现有方法，提出新的理论分析框架，旨在平衡压缩误差与优化收敛速度。研究结果有望提升大规模分布式系统的训练效率，对联邦学习、物联网等资源受限场景具有重要参考价值。 #论文 #分布式优化 #在线凸优化 #压缩通信 #机器学习 #算法 #arXiv
近日，一篇题为《Revisiting Decentralized Online Convex Optimization with Compressed Communication》的论文在arXiv上发布。该研究由Hao Zhou等五位学者完成，聚焦于分布式在线凸优化中的通信压缩问题。在分布式学习场景中，节点间频繁交换梯度或模型参数会产生巨大通信开销，而压缩通信技术能有效降低带宽需求。论文重新审视了现有方法，提出新的理论分析框架，旨在平衡压缩误差与优化收敛速度。研究结果有望提升大规模分布式系统的训练效率，对联邦学习、物联网等资源受限场景具有重要参考价值。 #论文 #分布式优化 #在线凸优化 #压缩通信 #机器学习 #算法 #arXiv
双人零和不完美信息博弈中的策略表征学习研究
一篇题为《Towards Learning Representations of Policies in Two-Player Zero-Sum Imperfect-Information Games》的学术论文近日在arXiv平台发布。该研究由Kevin Wang等四位作者共同完成，聚焦于双人零和不完美信息博弈场景下的策略表征学习问题。论文提出了一种新的方法，旨在通过学习策略的向量表示来提升博弈中决策的泛化能力与效率。研究团队在多个经典博弈任务上进行了实验验证，结果表明该方法能够有效捕捉策略间的相似性与差异性，为复杂博弈环境下的智能体训练提供了新的理论支撑。该工作有望推动人工智能在扑克、战略游戏等不完全信息对抗领域的应用进展。 #人工智能 #博弈论 #策略学习 #表征学习 #arXiv #学术论文 #AI研究
一篇题为《Towards Learning Representations of Policies in Two-Player Zero-Sum Imperfect-Information Games》的学术论文近日在arXiv平台发布。该研究由Kevin Wang等四位作者共同完成，聚焦于双人零和不完美信息博弈场景下的策略表征学习问题。论文提出了一种新的方法，旨在通过学习策略的向量表示来提升博弈中决策的泛化能力与效率。研究团队在多个经典博弈任务上进行了实验验证，结果表明该方法能够有效捕捉策略间的相似性与差异性，为复杂博弈环境下的智能体训练提供了新的理论支撑。该工作有望推动人工智能在扑克、战略游戏等不完全信息对抗领域的应用进展。 #人工智能 #博弈论 #策略学习 #表征学习 #arXiv #学术论文 #AI研究