AI供应链中的模型信任危机
当前部署AI模型(包括“开放权重”模型)面临显著的黑箱风险。即便模型权重公开,我们几乎无法预测其行为,这与传统二进制程序可通过逆向工程完全分析形成鲜明对比。多项研究表明,预训练时有限的数据投毒即可产生持久后门行为,且所需样本量不会随模型规模增大而增加。这意味着训练数据的来源至关重要,但当前缺乏可靠手段检测后门注入,尤其针对特定用户的定向攻击。虽然尚无公开证据显示主流开源模型被恶意投毒,但模型可被“对齐”以拒绝某些内容,这使得投毒与对齐的界限模糊。与传统软件依赖中恶意代码可被追踪和缓解不同,被操控的模型无需“崩溃”就会带来业务风险,如生成不安全代码、偏颇推荐或隐藏触发行为,且影响可能在长期内难以察觉。一国的模型投毒可能是另一国的对齐问题,这种认知差异加剧了供应链信任难题。 #AI安全 #模型信任 #供应链 #开源模型 #后门攻击 #对齐问题 #黑箱风险 #可解释性 #AI治理
当前部署AI模型(包括“开放权重”模型)面临显著的黑箱风险。即便模型权重公开,我们几乎无法预测其行为,这与传统二进制程序可通过逆向工程完全分析形成鲜明对比。多项研究表明,预训练时有限的数据投毒即可产生持久后门行为,且所需样本量不会随模型规模增大而增加。这意味着训练数据的来源至关重要,但当前缺乏可靠手段检测后门注入,尤其针对特定用户的定向攻击。虽然尚无公开证据显示主流开源模型被恶意投毒,但模型可被“对齐”以拒绝某些内容,这使得投毒与对齐的界限模糊。与传统软件依赖中恶意代码可被追踪和缓解不同,被操控的模型无需“崩溃”就会带来业务风险,如生成不安全代码、偏颇推荐或隐藏触发行为,且影响可能在长期内难以察觉。一国的模型投毒可能是另一国的对齐问题,这种认知差异加剧了供应链信任难题。 #AI安全 #模型信任 #供应链 #开源模型 #后门攻击 #对齐问题 #黑箱风险 #可解释性 #AI治理
淘天连发四项AI购物黑科技,视频通话式购物成现实
在阿里巴巴硬核少年技术节上,淘天集团公布AIGX技术体系四项最新成果:拍立淘升级为全模态实时Agent,支持用户与AI视频通话实时购物,可识别商品、提供建议并链接淘宝同款;If Studio多智能体创作平台降低内容生产门槛,让个人拥有设计、视频、建站能力;Coupella智惠引擎基于因果推断大模型精准计算补贴增量,AI红包转化率提升81%;Dream推荐系统通过意图引擎和MetaModel实现“千人千时千面”个性化推荐,已带动手淘首猜浏览量等指标提升约7个百分点。这些技术覆盖消费者购物、商家营销和内容创作全链路。技术节同期举办学术对话、AI Hackathon竞赛及5000余场Agent对战,展现大模型对电商行业的重构。 #淘天集团 #AI购物 #拍立淘 #电商黑科技 #Agent #AIGX #推荐系统 #人工智能
在阿里巴巴硬核少年技术节上,淘天集团公布AIGX技术体系四项最新成果:拍立淘升级为全模态实时Agent,支持用户与AI视频通话实时购物,可识别商品、提供建议并链接淘宝同款;If Studio多智能体创作平台降低内容生产门槛,让个人拥有设计、视频、建站能力;Coupella智惠引擎基于因果推断大模型精准计算补贴增量,AI红包转化率提升81%;Dream推荐系统通过意图引擎和MetaModel实现“千人千时千面”个性化推荐,已带动手淘首猜浏览量等指标提升约7个百分点。这些技术覆盖消费者购物、商家营销和内容创作全链路。技术节同期举办学术对话、AI Hackathon竞赛及5000余场Agent对战,展现大模型对电商行业的重构。 #淘天集团 #AI购物 #拍立淘 #电商黑科技 #Agent #AIGX #推荐系统 #人工智能
Anthropic 推出罕见遗传病 AI 研究资助计划,最高提供5万美元信用额度
Anthropic 宣布启动一项聚焦罕见遗传病的 AI 资助计划,作为其“AI for Science”项目下的专题项目。该计划面向基础科研人员与早期生物技术公司,成功申请者将在六个月内获得最高5万美元的 Claude API 信用额度。罕见病影响全球约4亿人,但因其种群分散、数据有限、临床试验难度大等问题,基础科学认知严重不足。Anthropic 认为 AI 能帮助建模罕见病、识别跨疾病模式、整合文献信息,从而加速机制发现与临床开发。合作方 Monarch Initiative 将提供 Mondo 疾病本体论及知识图谱等标准资源,助力疾病诊断与机制研究。申请将按季度滚动评审,旨在构建研究社区,推动 AI 在罕见病领域的应用。 #Anthropic #AIforScience #罕见病 #基因疾病 #AI #生物科技 #资助计划 #药物研发 #MonarchInitiative
Anthropic 宣布启动一项聚焦罕见遗传病的 AI 资助计划,作为其“AI for Science”项目下的专题项目。该计划面向基础科研人员与早期生物技术公司,成功申请者将在六个月内获得最高5万美元的 Claude API 信用额度。罕见病影响全球约4亿人,但因其种群分散、数据有限、临床试验难度大等问题,基础科学认知严重不足。Anthropic 认为 AI 能帮助建模罕见病、识别跨疾病模式、整合文献信息,从而加速机制发现与临床开发。合作方 Monarch Initiative 将提供 Mondo 疾病本体论及知识图谱等标准资源,助力疾病诊断与机制研究。申请将按季度滚动评审,旨在构建研究社区,推动 AI 在罕见病领域的应用。 #Anthropic #AIforScience #罕见病 #基因疾病 #AI #生物科技 #资助计划 #药物研发 #MonarchInitiative
AWS DeepRacer 设备开放自定义操作系统安装
AWS DeepRacer 全自动驾驶赛车现可通过全新引导加载程序安装自定义操作系统。此前设备仅支持官方签名的 Ubuntu 16.04 和 20.04 系统,而这些版本已停止支持,阻碍了持续实验与研究。新发布的开发者引导加载程序基于开源 shim 项目,允许用户安装现代 Linux 发行版、自定义驱动及软件栈,甚至可用于开发新型车辆算法原型。该引导程序在启动时通过灯光闪烁摩斯密码指示“开发者模式”,并完全可逆,可随时恢复出厂配置。社区已基于此开发了 Ubuntu 24.04 / ROS2 Jazzy 的定制发行版,并配有 Cloudscape 云界面,极大延长了设备使用寿命并拓展了机器学习教育场景。 #AWS #DeepRacer #引导加载程序 #自定义系统 #Linux #ROS2 #机器学习 #开源
AWS DeepRacer 全自动驾驶赛车现可通过全新引导加载程序安装自定义操作系统。此前设备仅支持官方签名的 Ubuntu 16.04 和 20.04 系统,而这些版本已停止支持,阻碍了持续实验与研究。新发布的开发者引导加载程序基于开源 shim 项目,允许用户安装现代 Linux 发行版、自定义驱动及软件栈,甚至可用于开发新型车辆算法原型。该引导程序在启动时通过灯光闪烁摩斯密码指示“开发者模式”,并完全可逆,可随时恢复出厂配置。社区已基于此开发了 Ubuntu 24.04 / ROS2 Jazzy 的定制发行版,并配有 Cloudscape 云界面,极大延长了设备使用寿命并拓展了机器学习教育场景。 #AWS #DeepRacer #引导加载程序 #自定义系统 #Linux #ROS2 #机器学习 #开源
以色列斥资 4500 万美元用 AI 短信影响美国舆论
据《华尔街日报》调查,以色列政府投入逾 4500 万美元,通过人工智能生成的短信、保守派媒体广告及网红营销等手段,试图改善其在美选民中的形象。这些短信以“Emma”“Sarah”等名义发送,自称来自“和平之友”组织,内容涉及美以伊谈判等议题。该项目由特朗普 2016 年竞选数字主管布拉德·帕斯凯尔每月收取约 150 万美元策划执行。调查显示,受加沙和伊朗战争影响,约 60% 美国成年人对以色列持负面看法。以色列已雇佣至少六家公司,数十人注册为外国代理人,其公共影响支出或将超过卡塔尔等国。 #以色列 #AI #舆论战 #美国政治 #新闻 #华尔街日报 #信息战 #外国代理人
据《华尔街日报》调查,以色列政府投入逾 4500 万美元,通过人工智能生成的短信、保守派媒体广告及网红营销等手段,试图改善其在美选民中的形象。这些短信以“Emma”“Sarah”等名义发送,自称来自“和平之友”组织,内容涉及美以伊谈判等议题。该项目由特朗普 2016 年竞选数字主管布拉德·帕斯凯尔每月收取约 150 万美元策划执行。调查显示,受加沙和伊朗战争影响,约 60% 美国成年人对以色列持负面看法。以色列已雇佣至少六家公司,数十人注册为外国代理人,其公共影响支出或将超过卡塔尔等国。 #以色列 #AI #舆论战 #美国政治 #新闻 #华尔街日报 #信息战 #外国代理人