AI算力瓶颈并非GPU短缺,内存带宽才是关键
近期,AMD与高通相继公布新型内存封装方案,英伟达则锁定SK海力士HBM供应至2030年。H100交货周期长达36-52周,数据中心预计消耗2026年70%的内存芯片。表面看是GPU短缺,实则内存带宽才是真正瓶颈——这一问题早在2007年就被诊断。Ulrich Drepper在其经典论文中指出,CPU速度远超内存,形成“内存墙”,数据位置决定代码速度。如今AI场景中,HBM相当于主存,GPU片上SRAM相当于L1缓存,大模型每次生成token需反复搬运数GB权重。FlashAttention等突破正是通过优化数据局部性,减少HBM往返,将Drepper的理念移植到Transformer上。 #AI #内存带宽 #GPU短缺 #HBM #FlashAttention #科技新闻 #算力瓶颈
近期,AMD与高通相继公布新型内存封装方案,英伟达则锁定SK海力士HBM供应至2030年。H100交货周期长达36-52周,数据中心预计消耗2026年70%的内存芯片。表面看是GPU短缺,实则内存带宽才是真正瓶颈——这一问题早在2007年就被诊断。Ulrich Drepper在其经典论文中指出,CPU速度远超内存,形成“内存墙”,数据位置决定代码速度。如今AI场景中,HBM相当于主存,GPU片上SRAM相当于L1缓存,大模型每次生成token需反复搬运数GB权重。FlashAttention等突破正是通过优化数据局部性,减少HBM往返,将Drepper的理念移植到Transformer上。 #AI #内存带宽 #GPU短缺 #HBM #FlashAttention #科技新闻 #算力瓶颈
VAR模型局限性催生因果网络图
向量自回归(VAR)模型在经济学研究中被广泛用于分析变量间的相互影响,但其核心局限在于无法将某一内生变量在特定时点上对其他变量的总反馈分解为直接影响、间接影响和总反馈。传统上,可通过正交脉冲响应函数衡量总效应,但要分离间接与直接效应则需追踪VAR模型中每个方程内的传导路径,计算量巨大。针对这一痛点,计量经济学界引入了因果网络图(Causality Network Graphs)方法,通过构建有向图(G(e,d))来可视化变量间的因果结构。文章以追踪纳斯达克100指数的ETF(QQQ)为例,结合相对强弱指数(RSI)、布林带百分比(pctB)、成交量、价格区间以及另一证券SPY的指标,尝试构建网络图。然而,采用简单相关系数(>|0.6|)作为边的构建规则后,图显示所有变量呈双向连接,无法区分因果方向。作者强调,相关不等同于因果,亟需更有效的规则来构建真正揭示因果结构的网络图。 #VAR模型 #因果网络图 #直接反馈 #间接反馈 #计量经济学 #金融数据分析 #因果关系 #ETF #QQQ #技术指标
向量自回归(VAR)模型在经济学研究中被广泛用于分析变量间的相互影响,但其核心局限在于无法将某一内生变量在特定时点上对其他变量的总反馈分解为直接影响、间接影响和总反馈。传统上,可通过正交脉冲响应函数衡量总效应,但要分离间接与直接效应则需追踪VAR模型中每个方程内的传导路径,计算量巨大。针对这一痛点,计量经济学界引入了因果网络图(Causality Network Graphs)方法,通过构建有向图(G(e,d))来可视化变量间的因果结构。文章以追踪纳斯达克100指数的ETF(QQQ)为例,结合相对强弱指数(RSI)、布林带百分比(pctB)、成交量、价格区间以及另一证券SPY的指标,尝试构建网络图。然而,采用简单相关系数(>|0.6|)作为边的构建规则后,图显示所有变量呈双向连接,无法区分因果方向。作者强调,相关不等同于因果,亟需更有效的规则来构建真正揭示因果结构的网络图。 #VAR模型 #因果网络图 #直接反馈 #间接反馈 #计量经济学 #金融数据分析 #因果关系 #ETF #QQQ #技术指标
翁荔万字长文:AI自我提升应从Harness工程开始
前OpenAI安全研究副总裁、Thinking Machines Lab联合创始人翁荔发表万字长文,系统阐述Harness Engineering方向。她认为,AI递归式自我提升(RSI)的近期开端可能不是模型直接改写自身权重,而是优化模型外部的Harness层,包括工作流、上下文管理、工具调用和评估机制。这一路径更现实,待这些能力成熟后,才可能推动自动化研究和更强模型的产生。文章详细讨论了Harness的设计模式、优化方法及未来挑战,如评估器模糊、上下文记忆退化、奖励黑客等问题。翁荔指出,随着模型变得更智能,Harness系统自身会成为优化目标,最终许多改进可能被内化为核心模型行为。 #翁荔 #AI #HarnessEngineering #递归式自我提升 #RSI #人工智能 #科技新闻 #OpenAI #ThinkingMachinesLab
前OpenAI安全研究副总裁、Thinking Machines Lab联合创始人翁荔发表万字长文,系统阐述Harness Engineering方向。她认为,AI递归式自我提升(RSI)的近期开端可能不是模型直接改写自身权重,而是优化模型外部的Harness层,包括工作流、上下文管理、工具调用和评估机制。这一路径更现实,待这些能力成熟后,才可能推动自动化研究和更强模型的产生。文章详细讨论了Harness的设计模式、优化方法及未来挑战,如评估器模糊、上下文记忆退化、奖励黑客等问题。翁荔指出,随着模型变得更智能,Harness系统自身会成为优化目标,最终许多改进可能被内化为核心模型行为。 #翁荔 #AI #HarnessEngineering #递归式自我提升 #RSI #人工智能 #科技新闻 #OpenAI #ThinkingMachinesLab
开发者开源 Codex 浏览控制 MCP 服务,可复用 Chrome 登录态
一位开发者在 V2EX 社区分享了名为 `codex-control-chrome-mcp` 的开源项目。该工具通过复用用户 Chrome 浏览器的登录状态,将代码生成模型 Codex 的浏览器控制能力封装为标准化的 MCP(Model Context Protocol)服务。这意味着开发者无需反复登录或处理复杂的认证流程,即可让 Codex 直接操控浏览器页面,实现自动化操作。该方案降低了 AI 代理在 Web 环境中的部署门槛,尤其适用于网页数据抓取、自动化测试等场景。项目代码已公开在 GitHub 上,支持快速集成。 #开源工具 #Chrome #Codex #MCP #浏览器控制 #AI代理 #自动化
一位开发者在 V2EX 社区分享了名为 `codex-control-chrome-mcp` 的开源项目。该工具通过复用用户 Chrome 浏览器的登录状态,将代码生成模型 Codex 的浏览器控制能力封装为标准化的 MCP(Model Context Protocol)服务。这意味着开发者无需反复登录或处理复杂的认证流程,即可让 Codex 直接操控浏览器页面,实现自动化操作。该方案降低了 AI 代理在 Web 环境中的部署门槛,尤其适用于网页数据抓取、自动化测试等场景。项目代码已公开在 GitHub 上,支持快速集成。 #开源工具 #Chrome #Codex #MCP #浏览器控制 #AI代理 #自动化