AI知识库 @ai521
752 subscribers
30.2K photos
59 videos
27 files
1.25K links
@ai521 专注分享最实用的AI内容

🤖 AI教程(新手到进阶)
🧠 AI知识科普(大模型 / 提示词 / 自动化)
📰 AI资讯更新(每日最新AI动态)
📚 AI实战技巧(写作 / 绘画 / 编程 / 赚钱)
🔧 最新AI工具推荐

每天更新AI干货
长期做一个真正有价值的AI频道
Download Telegram
新研究提出测量、定位与消除LLM对齐特征的方法

来自arXiv的一项最新研究论文《Measuring, Localizing, and Ablating Alignment Signatures in LLMs》正式发布。该研究由Aniket Anand等五位作者共同完成,聚焦大语言模型(LLM)的对齐问题。论文提出了一套系统方法,用于测量模型中的对齐特征、定位这些特征在模型中的具体位置,并探索通过消融来消除或调整这些特征。这项工作有助于深入理解LLM的对齐机制,为提升模型的安全性和可控性提供新思路。论文已通过arXiv平台开放访问,提供PDF及HTML版本。 #LLM #对齐 #AI安全 #大模型 #论文 #arXiv
Telegram必备的搜索引擎,极搜JISOU帮你精准找到,想要的群组、频道、视频、音乐

👉 t.me/jisou2?start=a_8247614025
大型语言模型顺序后训练中的表示崩溃现象

一篇题为《大型语言模型顺序后训练中的表示崩溃》的论文在arXiv上发布。研究指出,在对大语言模型进行连续多轮后训练(如指令微调、对齐等)时,模型内部表示会逐渐失去多样性,出现“表示崩溃”现象。这种崩溃导致模型在后续任务上的泛化能力下降,并可能加剧灾难性遗忘。论文通过理论分析和实验验证,揭示了顺序后训练中表示退化的机制,为改进训练策略提供了重要参考。该发现对当前大模型持续学习与迭代优化具有警示意义。 #大语言模型 #表示崩溃 #后训练 #AI研究 #机器学习 #arXiv #模型泛化
监督训练快速破坏早期视觉皮层与生物学习规则的对齐

一篇题为《Supervised Training Rapidly Degrades Early Visual Cortex Alignment Across Biologically Plausible Learning Rules》的预印本论文在arXiv上发布。该研究探讨了在生物可塑性学习规则下,监督训练如何迅速导致早期视觉皮层神经表征与自然图像统计结构的对齐程度下降。作者通过模拟实验发现,当采用基于反向传播或局部学习规则的监督训练时,早期视觉皮层(如V1区)的神经元活动模式会迅速偏离原本反映自然图像统计特征的稀疏编码或ICA对齐,转而过度拟合分类任务。这一发现对当前深度学习与神经科学的交叉研究提出了警示:人工神经网络中的监督学习可能会牺牲神经表征的生物学合理性,导致模型内部表征与真实视觉皮层的对齐在训练早期即发生显著退化。该研究为理解生物视觉与人工视觉系统的差异提供了新视角,并提示未来在构建类脑计算模型时需要更谨慎地设计学习规则。 #神经科学 #视觉皮层 #监督学习 #深度学习 #生物学习规则 #神经网络 #类脑计算 #人工智能
SubsurfaceGen: 程序化生成野外尺度地球模型与地震数据新方法

一篇题为“SubsurfaceGen: Procedural Generation of Field-Scale Earth Models and Seismic Data”的论文于近日提交至arXiv预印本平台。该研究由Joseph Stitt等四位作者共同完成,提出了一种基于程序化生成技术构建高质量、大规模地球模型和地震数据的新框架。传统地球物理建模通常依赖人工解释或有限观测数据,难以高效生成具有真实复杂性的野外尺度模型。SubsurfaceGen通过算法自动生成多样化的地质构造和地震响应,有望为勘探地球物理、地质建模及机器学习训练数据增强提供重要支撑。论文展示了该方法的可行性,相关代码和数据资源也已公开,便于学界复现与进一步研究。 #地球科学 #地震数据 #程序化生成 #地质建模 #机器学习 #arXiv #AI #勘探技术
重新审视填充Transformer表达能力

一篇来自arXiv的学术论文重新探讨了带填充(padding)机制的Transformer模型的表达能力。研究团队通过理论分析,系统评估了不同架构选择对模型表达能力的影响,包括位置编码、注意力掩码、层数等关键因素。论文指出,某些常见的填充策略实际上会限制模型的理论表达能力,而另一些设计则能保持甚至增强其性能。该工作为Transformer架构的优化提供了新的理论视角,有助于指导未来模型设计。 #Transformer #深度学习 #AI #机器学习 #自然语言处理 #架构设计 #学术论文
MAAT

一篇题为“MAAT: Multi-phase Adapter-Aware Targeted Unlearning”的学术论文近日在arXiv预印本平台发布。该研究由Suryash Yagnik等五位作者共同完成,提出了一种多阶段、适配器感知的目标遗忘学习方法。该方法旨在高效地从预训练模型中移除特定数据或知识,同时最大程度保留模型在其他任务上的性能。研究团队通过引入适配器机制,在不同阶段动态调整遗忘策略,以解决传统遗忘方法中存在的效率低、副作用大等问题。该工作对于提升机器学习模型的隐私合规性、实现“被遗忘权”具有重要参考价值,有望推动AI系统在数据删除和模型修正方面的实用化进展。 #机器学习 #遗忘学习 #AI #隐私保护 #arXiv #论文 #深度学习 #模型修正
图条件混合专家图神经网络模型助力交通预测

近日,一篇题为《Graph-Conditioned Mixture of Graph Neural Network Experts for Traffic Forecasting》的学术论文在arXiv平台发布。该研究由Amirhossein Ghaffari等人完成,提出了一种基于图条件混合专家机制的图神经网络模型,旨在提升交通预测的准确性与鲁棒性。传统图神经网络在处理复杂时空依赖时存在局限性,而该模型通过动态选择多个专家子网络,并依据输入图结构条件进行融合,有效捕捉了交通流中的多模态模式。实验表明,该方法在多个真实交通数据集上取得了优于现有基准的性能,为智能交通系统的发展提供了新的技术思路。 #交通预测 #图神经网络 #混合专家模型 #AI #学术研究 #智能交通
通过机械可解释性发现Dyck路径上的Zeta映射算法

一篇来自arXiv的论文提出,研究人员利用机械可解释性方法,在Dyck路径上发现了一种Zeta映射算法。该研究由Xiaoyu Huang等人完成,于2026年5月提交。论文通过分析神经网络内部表征,揭示了模型在处理Dyck路径时自动学习到的组合数学结构,为理解深度学习中的算法机制提供了新视角。这一发现不仅深化了对Dyck路径组合性质的认识,也展示了机械可解释性在探索数学算法方面的潜力。 #机械可解释性 #Dyck路径 #Zeta映射 #算法发现 #组合数学 #深度学习 #arXiv #论文
通用多类转导在线学习新方法

一篇名为《通用多类转导在线学习》的论文近日在arXiv预印本平台发布。该研究由Steve Hanneke等人完成,针对多类分类问题提出了一种通用的转导在线学习算法。传统在线学习通常假设数据独立同分布,而转导学习则允许在未标记数据上进行预测。研究者通过理论分析证明了该算法在多种损失函数下的最优性,并提供了收敛性保证。该方法在无分布假设下仍能保持高效性能,为在线学习与半监督学习的结合提供了新思路。论文还探讨了该算法在分类任务中的实际应用潜力,尤其是对动态数据流和有限标注场景的适应性。相关代码和数据已开源,供学界复现与进一步研究。 #机器学习 #在线学习 #转导学习 #多类分类 #理论计算机 #arXiv #科研论文 #AI算法
子图解释可被武器化窃取图神经网络?新研究揭示安全风险

一项来自arXiv预印本的研究探讨了图神经网络(GNN)的可解释性机制是否可能被恶意利用。论文作者Ojas Nimase等人提出,攻击者可以通过分析模型对子图结构的解释反馈,逆向推断出GNN的内部参数和训练数据分布,从而实现模型窃取。实验表明,在多个基准数据集上,利用子图解释的攻击方法能以较低查询成本达到高精度复制目标模型的效果。该研究首次系统性地揭示了GNN解释方法的潜在安全漏洞,对当前依赖可解释性进行模型审计和部署的实践提出了警示。研究团队呼吁开发更鲁棒的解释机制,并建议在敏感场景中限制解释接口的访问权限。 #图神经网络 #模型窃取 #可解释性 #AI安全 #子图解释 #arXiv #网络安全
idSCD

近日,一篇题为《idSCD: Identifying Training Datasets through Semantic Correlation Descriptors》的论文在arXiv上公开。该研究由Andrada Gobeaja等人提出,旨在解决机器学习模型训练数据集的识别问题。传统方法难以准确追溯模型所使用的训练数据来源,而idSCD方法通过构建语义相关性描述符,将数据样本与潜在训练集进行语义匹配,从而高效识别出模型可能依赖的数据集。实验表明,该方法在多种场景下均能显著提升识别准确率,为模型透明度、版权保护和数据溯源提供了新的技术路径。该工作已提交至arXiv,并附带完整论文及代码链接。 #机器学习 #数据集识别 #语义相关性 #arXiv #论文 #AI安全 #数据溯源
基于状态增强与共识的可扩展约束多智能体强化学习方法

来自arXiv的一篇论文提出了一种针对可分离动力学的可扩展约束多智能体强化学习方法。该方法通过状态增强和共识机制,有效解决了多智能体系统中约束条件下的协作与扩展难题。研究团队设计了新的算法框架,使智能体在满足全局约束的同时,能够通过局部信息交互达成共识,从而提升系统的可扩展性和学习效率。实验表明,该方法在复杂任务中表现出良好的性能,为大规模多智能体系统的安全、高效协同提供了新的理论支撑。 #多智能体强化学习 #约束优化 #状态增强 #共识机制 #可分离动力学 #arXiv #AI #机器学习
DisjunctiveNet

一篇题为《DisjunctiveNet: Neural Symbolic Learning via Differentiable Convexified Optimization Layers》的论文于2026年5月提交至arXiv预印本平台。该研究由Shraman Pal等人提出,旨在将符号推理与神经网络相结合。DisjunctiveNet通过引入可微的凸化优化层,使得原本离散的符号逻辑操作能够在连续空间中端到端训练,从而提升模型在逻辑推理、约束满足等任务上的表现。这一方法有望弥合神经网络的灵活性与符号系统的可解释性之间的鸿沟,为AI的神经符号学习提供新思路。 #神经符号学习 #可微优化 #凸优化 #AI #深度学习 #逻辑推理 #arXiv
多目标优化梯度聚合的统一框架

来自arXiv的最新论文提出了一种针对多目标优化中梯度聚合问题的统一框架。研究团队通过系统梳理现有多种梯度聚合方法,揭示了不同算法之间的内在联系与差异,并在此基础上构建了一个通用理论模型。该框架能够统一描述并扩展多种流行策略,为优化多目标冲突下的梯度信息融合提供了新的数学工具。研究还展示了该框架在训练多任务学习模型、解决帕累托最优问题等场景中的潜在应用价值,有望提升深度学习中多目标优化的效率和效果。论文已提交至arXiv预印本平台,目前正在等待DataCite的DOI注册。 #机器学习 #多目标优化 #梯度聚合 #深度学习 #arXiv #论文 #人工智能
校准偏好学习

近日,一篇题为《Calibrated Preference Learning: The Case of Label Ranking》的论文在arXiv上公开。该研究由Santo M. A. R. Thies等五位学者共同完成,聚焦于“校准偏好学习”问题,并以标签排序(Label Ranking)为具体案例进行深入探讨。偏好学习是机器学习中关于从用户偏好数据中学习排序模型的重要分支,而校准则旨在提升模型输出概率或得分的可靠性。论文可能提出了一种新的校准策略,用于改进标签排序任务的预测质量与置信度评估。该工作预计将对推荐系统、信息检索及决策支持等领域产生积极影响。目前全文以PDF和HTML格式开放获取。 #arXiv #机器学习 #偏好学习 #标签排序 #校准 #学术论文 #AI
NumLeak:公共数值基准测试在基础模型中成为潜在标签

一篇题为《NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models》的论文揭示了重大隐患:基础模型在训练过程中可能隐式“记住”并利用公开的数值基准测试数据,从而将其作为潜在标签来提升测试成绩。研究指出,许多广泛使用的基准(如数学推理、代码评测等)的数据被包含在训练语料中,导致模型在评估时出现虚假高分,而真实世界泛化能力被严重高估。该发现警示AI社区需重新审视基准测试的独立性设计,并推动开发去污染的训练与评估协议,以确保模型能力的可信度量。 #NumLeak #基准测试污染 #基础模型 #AI安全 #数据泄露 #arXiv
新方法利用小波变换和频谱流匹配生成fMRI时间序列,助力脑疾病识别

近日,一项发表于arXiv的研究提出了一种基于小波图像变换和频谱流匹配的生成模型,用于合成功能性磁共振成像(fMRI)时间序列数据。该模型旨在解决脑疾病识别中fMRI数据稀缺、采集成本高的问题。研究团队通过小波变换对原始脑影像进行多尺度分解,再结合频谱流匹配技术,从噪声中学习数据分布,从而生成逼真的fMRI时序信号。实验表明,生成的数据在保留脑功能连接模式的同时,能有效提升下游分类模型在阿尔茨海默病等脑疾病诊断中的性能。这一方法有望为神经影像数据增强和精准医疗提供新工具。 #fMRI #小波变换 #频谱流匹配 #脑疾病 #人工智能 #医学影像 #时间序列生成 #数据增强 #神经科学
VeriGate

来自arXiv预印本,由Aakriti Agrawal等人于2026年5月28日提交的论文《VeriGate: Verifier-Gated Step-Level Supervision for GRPO》提出了一种新方法。该方法通过引入验证器门控机制,为GRPO(群体相对策略优化)框架提供步级监督信号,旨在解决强化学习中奖励稀疏与信用分配难题。VeriGate利用验证器自动判断中间步骤的正确性,从而更精细地指导策略优化,提升多步决策任务的学习效率。目前论文全文已在arXiv开放获取。 #arXiv #论文 #强化学习 #GRPO #VeriGate #验证器 #步级监督
Telegram必备的搜索引擎,极搜JISOU帮你精准找到,想要的群组、频道、视频、音乐

👉 t.me/jisou2?start=a_8247614025
黑盒大模型蒸馏新方法

arXiv上近日发布了一篇题为《Bounded Behavioral Indistinguishability for Black-Box LLM Distillation》的论文。该论文由Munawar Hasan撰写,提出了一种名为“有界行为不可区分性”的新概念,用于黑盒大语言模型蒸馏。该方法旨在解决在黑盒环境下(即无法获取模型内部参数)高效蒸馏大模型的问题,通过确保学生模型在与教师模型的行为在一定边界内不可区分,从而在保持性能的同时降低计算成本。该研究对推动大模型的高效部署和隐私保护具有重要意义。 #大模型蒸馏 #黑盒蒸馏 #有界行为 #LLM #AI #论文 #arXiv