如何分配你的Token？训练步骤与批次大小的缩放定律

一篇题为《如何分配你的Token？训练步骤与批次大小的缩放定律》的预印本论文在arXiv平台发布。该研究聚焦大语言模型训练中的关键资源分配问题，提出了一种新的缩放定律，用于指导在给定计算预算下如何最优地分配Token数量与训练步骤、批次大小之间的关系。传统缩放定律多关注模型参数与数据量，而本文深入探讨了训练动态中的批次大小选择对模型性能的影响。通过系统的实验分析，作者给出了在不同计算约束下的最优分配策略，为从业者在有限资源下最大化模型性能提供了理论依据与实践指导。这一发现对降低大模型训练成本、提升训练效率具有重要参考价值。 #论文 #arXiv #AI #大模型 #缩放定律 #Token分配 #训练优化 #深度学习

UniWind

研究人员提出了一种名为UniWind的新型风电预测方法，旨在通过物理信息状态路由技术，统一日前风电功率预测。该方法融合了物理模型与深度学习，能够有效提升预测准确性和鲁棒性。论文由Ronghui Xu等人撰写，目前已提交至arXiv预印本平台。UniWind通过路由机制整合气象数据与历史发电数据，在多个实际风电场数据集上表现出优于传统方法的性能，为可再生能源并网和电力调度提供了更可靠的预测工具。 #风电预测 #物理信息 #深度学习 #可再生能源 #电力系统 #AI #arXiv #能源 #预测模型

强化学习新研究

一篇题为《Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL》的论文近日在arXiv上发布。该研究由Juliette Decugis等五位学者完成，深入分析了强化学习中策略梯度算法的权重机制，揭示了收益衰减（FADE）现象背后的原因。研究团队通过分解策略梯度权重，提出了新的理论框架，旨在提升强化学习模型的训练稳定性和长期收益。该工作为理解策略梯度方法的内部运作提供了新视角，有望推动强化学习在机器人控制、游戏AI等领域的应用优化。 #强化学习 #策略梯度 #AI #机器学习 #arXiv #论文 #收益衰减

揭示拜占庭鲁棒性下隐私对泛化的非单调影响

一项最新研究发表论文《揭示拜占庭鲁棒性下隐私对泛化的非单调影响》，由Thomas Boudou等学者完成。该研究聚焦于分布式学习场景中，隐私保护机制（如差分隐私）与拜占庭鲁棒性（抵御恶意节点攻击）对模型泛化性能的复杂交互作用。传统观点认为隐私越强，泛化越差，但该工作发现二者呈现非单调关系：在一定范围内适度增强隐私反而可能提升泛化能力，而过度保护则导致性能下降。这一发现为联邦学习等隐私敏感系统的设计提供了新理论依据，有助于平衡数据隐私与模型质量。论文已在arXiv预印本平台发布，尚待正式期刊收录。 #隐私保护 #拜占庭鲁棒性 #泛化能力 #机器学习 #差分隐私 #联邦学习 #arXiv #学术研究

重新审视带压缩通信的分布式在线凸优化

近日，一篇题为《Revisiting Decentralized Online Convex Optimization with Compressed Communication》的论文在arXiv上发布。该研究由Hao Zhou等五位学者完成，聚焦于分布式在线凸优化中的通信压缩问题。在分布式学习场景中，节点间频繁交换梯度或模型参数会产生巨大通信开销，而压缩通信技术能有效降低带宽需求。论文重新审视了现有方法，提出新的理论分析框架，旨在平衡压缩误差与优化收敛速度。研究结果有望提升大规模分布式系统的训练效率，对联邦学习、物联网等资源受限场景具有重要参考价值。 #论文 #分布式优化 #在线凸优化 #压缩通信 #机器学习 #算法 #arXiv

双人零和不完美信息博弈中的策略表征学习研究

一篇题为《Towards Learning Representations of Policies in Two-Player Zero-Sum Imperfect-Information Games》的学术论文近日在arXiv平台发布。该研究由Kevin Wang等四位作者共同完成，聚焦于双人零和不完美信息博弈场景下的策略表征学习问题。论文提出了一种新的方法，旨在通过学习策略的向量表示来提升博弈中决策的泛化能力与效率。研究团队在多个经典博弈任务上进行了实验验证，结果表明该方法能够有效捕捉策略间的相似性与差异性，为复杂博弈环境下的智能体训练提供了新的理论支撑。该工作有望推动人工智能在扑克、战略游戏等不完全信息对抗领域的应用进展。 #人工智能 #博弈论 #策略学习 #表征学习 #arXiv #学术论文 #AI研究

基于消息传递的双时间尺度贝叶斯学习实现信道与记忆硬件损伤联合跟踪

该研究针对无线通信系统中信道状态信息获取与硬件损伤（如记忆非线性效应）的联合估计问题，提出了一种基于消息传递的双时间尺度贝叶斯学习框架。该方法利用双时间尺度特性，将缓慢变化的硬件损伤参数和快速变化的信道实现分别建模，并通过因子图上的消息传递算法实现高效迭代推断。实验结果表明，该算法在低信噪比和强硬件损伤场景下仍能保持较高的估计精度，为未来智能通信系统提供了鲁棒的信号处理方案。 #通信 #贝叶斯学习 #消息传递 #硬件损伤 #信道估计 #双时间尺度 #信号处理 #论文

CALM：可解释跨模态对齐方法助力非配对数据生物标志物发现

来自arXiv的一篇预印本论文提出了名为CALM的可解释跨模态对齐框架，专门用于从非配对数据中发现生物标志物。该方法由Jueqi Wang等研究者共同开发，旨在解决生物医学研究中不同类型数据（如成像与基因组数据）难以直接对比的难题。CALM通过引入可解释的对齐机制，在无需样本一一配对的情况下，有效挖掘跨模态数据中的共同特征，从而识别出具有诊断或预后价值的生物标志物。该研究为缺乏配对样本的临床数据分析提供了新思路，有望推动神经发育障碍等复杂疾病的早期检测与精准治疗。 #人工智能 #跨模态对齐 #生物标志物 #可解释性 #医学影像 #基因组学 #非配对数据 #arXiv

KV缓存压缩技术潜在风险引发关注

一篇题为“The risk of KV cache compression”的论文近日在arXiv上发布。该论文由Lukas Haverbeck等四位学者撰写，聚焦于大语言模型推理中KV缓存压缩技术可能带来的隐患。KV缓存压缩是提升模型长上下文处理效率的重要方法，但论文指出，过度或不当的压缩可能导致模型输出质量下降、推理准确性受损，甚至引发安全与可靠性风险。研究呼吁社区在追求效率的同时，重视压缩策略的鲁棒性与副作用。该工作为AI基础设施领域提供了关键警示，对模型部署与优化具有重要参考意义。 #KV缓存压缩 #大模型 #AI风险 #人工智能 #论文 #arXiv #技术安全 #推理优化 #机器学习

DeadPool：通过零开销检查点实现热替换的弹性LLM训练

来自arXiv的一篇新论文提出了DeadPool方法，旨在解决大语言模型（LLM）训练中的容错问题。传统训练过程中，节点故障常导致长时间停机与昂贵的检查点开销。DeadPool通过零开销检查点机制，允许在训练中实时热替换故障节点，而无需中断训练或额外存储开销。该方法利用模型并行与数据并行的冗余特性，在正常训练流程中同步维护备份状态，从而实现故障发生时的无缝切换。实验表明，DeadPool在保持训练效率的同时，显著提升了系统对硬件故障的弹性，尤其适用于大规模分布式训练集群。这一工作为构建更健壮的LLM训练基础设施提供了新思路。 #LLM #大模型训练 #容错 #检查点 #弹性计算 #arXiv #分布式系统 #机器学习

基于学习机载风估计的小型四旋翼无人机风感知强化学习控制

该论文提出了一种风感知的强化学习控制方法，用于小型四旋翼无人机在模拟大气湍流环境中的稳定飞行。研究团队通过让无人机在飞行中实时学习风场估计，将风信息融入强化学习控制策略，从而提升无人机在复杂气流条件下的抗干扰能力和轨迹跟踪精度。实验在仿真环境中进行，验证了该方法相比传统控制算法具有更好的鲁棒性和适应性。该研究为小型无人机在真实恶劣天气下的自主飞行提供了新的技术路径。 #无人机 #强化学习 #风估计 #四旋翼 #控制 #AI #大气湍流 #arXiv

MKGR：多模态知识图谱助力冷启动蛋白质相互作用预测

该研究提出了一种名为MKGR的多模态知识图谱表示学习方法，专门用于解决蛋白质-蛋白质相互作用（PPI）预测中的冷启动问题。传统方法在面对缺乏已知相互作用的新蛋白质时性能急剧下降，而MKGR通过整合蛋白质的序列、结构、功能注释以及文献等多模态信息，构建丰富的知识图谱，并利用图神经网络学习其表示。实验表明，该方法在冷启动场景下显著优于现有基线，为药物靶点发现、疾病机制研究等领域提供了新的技术路径。相关论文已提交至arXiv预印本平台。 #AI #蛋白质相互作用 #知识图谱 #冷启动 #多模态 #生物信息学 #图神经网络 #论文 #arXiv

认证世界模型作为感知时钟

该论文由Hongbo Wang提出，旨在解决主动感知系统中因时间漂移导致的时序可靠性问题。作者创新性地将世界模型认证为“感知时钟”，通过引入漂移感知的软实时截止时间，使感知系统能够动态调整感知任务的执行时限。该方法利用世界模型对环境的预测能力，为主动感知决策提供安全边界，确保在传感器噪声和计算延迟下仍能完成关键感知任务。论文给出了理论上的认证框架和算法实现，证明了其在机器人、自动驾驶等实时场景中的有效性。这一工作为世界模型的实用性提供了新思路，将形式化方法与感知控制结合，有望提升自主系统的鲁棒性。 #世界模型 #主动感知 #时间漂移 #认证 #截止时间 #感知时钟 #机器人 #自动驾驶 #实时系统 #安全

进化特征工程

一篇题为《Evolutionary Feature Engineering for Structured Data》的论文于2026年7月2日在arXiv上提交。该研究由Ege Onur Taga等七位作者共同完成，主要探讨如何利用进化算法自动为结构化数据设计特征，以提升机器学习模型的性能。论文提供了完整的代码、数据及实验环境，并附带HTML预览和TeX源码，支持多种引用与分享工具。该工作有望简化特征工程流程，降低人工调参成本，推动自动机器学习领域发展。 #机器学习 #特征工程 #进化算法 #结构化数据 #arXiv #论文 #自动机器学习 #AI

X-LogSMask论文提出扩展Transformer处理图结构数据

据arXiv预印本信息，由Leyan Li等研究者提交的论文《X-LogSMask: Expand Transformer for Graph-Structured Data》正式发布。该研究聚焦于将Transformer架构扩展至图结构数据，提出了一种名为X-LogSMask的新型掩码机制，旨在更高效地捕获图数据中的长距离依赖与复杂拓扑关系。传统Transformer在处理非欧几里得结构时面临挑战，而X-LogSMask通过引入对数尺度的稀疏注意力，显著降低了计算复杂度，同时保留了对图全局信息的建模能力。实验表明，该方法在多个图学习基准任务上达到了领先水平，为社交网络、分子图及知识图谱等应用提供了新的技术路径。目前论文已公开PDF全文及HTML版本，供学界进一步验证与探讨。 #X-LogSMask #Transformer #图结构数据 #图神经网络 #AI #论文 #arXiv #深度学习 #稀疏注意力

推理任务几何签名

一篇发表于arXiv的论文提出了一种基于谱分析的新方法，用于量化推理任务的难度。研究团队通过分析推理过程中几何结构的谱特征，发现不同难度的任务在谱空间中呈现出可区分的签名。该方法不仅能够预测任务的计算复杂度，还能揭示推理模型在不同阶段的行为模式。实验表明，谱特征与任务的实际难度高度相关，为理解人工智能推理机制提供了新的视角。该工作有望推动更高效推理算法的设计，并帮助评估模型在复杂任务上的表现。 #arXiv #论文 #推理 #谱分析 #任务难度 #人工智能 #机器学习 #几何签名

BOUNDARY_SYNC：一种量化多智能体LLM通信中表征耦合的新方法

来自arXiv的一篇预印本论文提出了一种名为BOUNDARY_SYNC的新颖评估方法，旨在测量多智能体大语言模型（LLM）系统中由通信引起的表征耦合。随着多智能体系统在协作任务中的广泛应用，智能体之间的信息交换会导致其内部表征逐渐趋同，这种现象被称为表征耦合。BOUNDARY_SYNC通过分析智能体在通信前后隐层表示的相似性变化，量化耦合程度。该方法可帮助研究者理解通信如何影响智能体的独立决策能力与协同效率，为设计更鲁棒的多智能体LLM系统提供理论依据。论文由Zewen Liu等人撰写，已提交至arXiv平台，目前等待DOI注册。 #arXiv #多智能体系统 #大语言模型 #表征耦合 #BOUNDARY_SYNC #AI协作 #机器学习

AI 助原理图转网表

一项来自 arXiv 的新研究提出名为 SINA 的全自动工具，利用人工智能将电路原理图图像直接转换为网表。传统电路设计依赖人工提取或复杂软件，SINA 通过深度学习模型自动识别图像中的元件与连接，生成标准网表格式。该方法有望大幅提升电子设计自动化效率，减少人为错误，尤其适用于逆向工程与旧式电路复原。该论文由 Saoud Aldowaish 等六位作者共同完成，研究展示了 AI 在硬件设计流程中的新应用方向。 #人工智能 #电路设计 #网表生成 #论文 #SINA #自动化 #电子工程 #arXiv

Telegram必备的搜索引擎，极搜JISOU帮你精准找到，想要的群组、频道、视频、音乐

👉 t.me/jisou2?start=a_8247614025

四大趋势齐发酵，大马科技业迎最强上升周期

全球AI热潮进入第二阶段，从图形处理器扩散至整个半导体产业链，马来西亚凭借在先进封装、光通讯、中央处理器等领域的布局，正站上全球AI供应链升级的关键风口。丰隆投行报告指出，四大趋势——全球晶圆厂疯狂扩产、光通讯成新金矿、中央处理器重新崛起、科技股权重有望提升——已全部兑现且发展超预期。全球半导体规模预计2026年达9750亿美元，大马若能提升先进封装与芯片设计能力，有望从制造基地升级为价值创造者。尽管科技指数上半年已涨34%，丰隆投行仍维持“增持”评级，看好UWC、益纳利美昌等个股。行业人士呼吁加速半导体战略升级，否则增长恐落后全球。 #马来西亚 #科技 #半导体 #AI #上升周期 #丰隆投行 #光通讯 #中央处理器 #先进封装