本地AI突破:DiffusionGemma模型在RTX 6000 Pro上达775 tok/s
据开发者Behnam分享,其成功在Nvidia RTX 6000 Pro专业显卡上,借助Red Hat分支的vLLM框架,运行了Google Gemma团队的新模型DiffusionGemma(完整BF16版本)。实测显示,该模型在短上下文推理时速度惊人,每秒可处理775个token;但性能随上下文长度急剧下降,当上下文长度达到10万token时,首token生成时间(TTFT)长达22秒。这一测试展示了当前本地AI推理在特定硬件与框架组合下的极限能力,同时也暴露了长上下文场景下的性能瓶颈。该成果引发社区对高效推理优化的广泛讨论。 #本地AI #DiffusionGemma #NVIDIA #RTX6000 #vLLM #AI推理 #性能测试
据开发者Behnam分享,其成功在Nvidia RTX 6000 Pro专业显卡上,借助Red Hat分支的vLLM框架,运行了Google Gemma团队的新模型DiffusionGemma(完整BF16版本)。实测显示,该模型在短上下文推理时速度惊人,每秒可处理775个token;但性能随上下文长度急剧下降,当上下文长度达到10万token时,首token生成时间(TTFT)长达22秒。这一测试展示了当前本地AI推理在特定硬件与框架组合下的极限能力,同时也暴露了长上下文场景下的性能瓶颈。该成果引发社区对高效推理优化的广泛讨论。 #本地AI #DiffusionGemma #NVIDIA #RTX6000 #vLLM #AI推理 #性能测试
AI泡沫破裂会是什么样子
本通讯一直关注股市与实体经济日益脱节的现象。从互联网泡沫到次贷危机,再到加密货币、游戏驿站和体育博彩,我们越来越鼓励投机而非创造道德价值。这种脱节的另一面是,治理往往在危机中发生——互联网泡沫、2008年金融危机和新冠疫情,都让系统某部分的危机引发看似无关的冲击,进而推动政治行动重塑经济。如今,AI领域正上演类似故事:仅七只AI相关股票就占股市三分之一市值,今年AI资本投资可能高达7500亿至1万亿美元,足以影响宏观经济增长。但AI运营成本高昂,需要大量电力和昂贵硬件,其投机叙事依赖投资者补贴。随着大型企业向企业客户提价,补贴正在消退,这些工具必须证明可衡量的回报。若无法兑现数万亿美元的承诺,市场将面临冲击。当前股市市值接近80万亿美元,是互联网泡沫顶峰时的两倍,是美国经济的2.5倍。一旦泡沫破裂,其规模可能远超以往危机。 #AI泡沫 #金融市场 #科技投资 #经济危机 #股市风险
本通讯一直关注股市与实体经济日益脱节的现象。从互联网泡沫到次贷危机,再到加密货币、游戏驿站和体育博彩,我们越来越鼓励投机而非创造道德价值。这种脱节的另一面是,治理往往在危机中发生——互联网泡沫、2008年金融危机和新冠疫情,都让系统某部分的危机引发看似无关的冲击,进而推动政治行动重塑经济。如今,AI领域正上演类似故事:仅七只AI相关股票就占股市三分之一市值,今年AI资本投资可能高达7500亿至1万亿美元,足以影响宏观经济增长。但AI运营成本高昂,需要大量电力和昂贵硬件,其投机叙事依赖投资者补贴。随着大型企业向企业客户提价,补贴正在消退,这些工具必须证明可衡量的回报。若无法兑现数万亿美元的承诺,市场将面临冲击。当前股市市值接近80万亿美元,是互联网泡沫顶峰时的两倍,是美国经济的2.5倍。一旦泡沫破裂,其规模可能远超以往危机。 #AI泡沫 #金融市场 #科技投资 #经济危机 #股市风险
PAX公司为AI打造友好文档系统,提前应对AI统治世界
如果AI未来统治世界,PAX公司已为其准备了友好的文档。这家公司出于实用和哲学考量,为其ERP产品创建了AI友好的文档系统。人类用户喜欢导航栏、侧边栏、排版等视觉元素,但AI系统只需要干净的核心信息。PAX为每个文档页面提供原始Markdown版本,通过添加.md后缀即可获取无界面噪音的纯文本格式。此外,PAX还创建了AI导向的文档索引文件,按产品结构列出文档并附简短描述,帮助AI快速定位相关页面。该公司还提供完整的捆绑文件,便于AI一次获取所有文档。这既提高了AI工具的信息获取效率,也为可能的“机器领导”提前表达了礼貌。 #AI #文档 #技术 #产品 #ERP #PAX #数据可访问性 #设计 #人工智能 #科技
如果AI未来统治世界,PAX公司已为其准备了友好的文档。这家公司出于实用和哲学考量,为其ERP产品创建了AI友好的文档系统。人类用户喜欢导航栏、侧边栏、排版等视觉元素,但AI系统只需要干净的核心信息。PAX为每个文档页面提供原始Markdown版本,通过添加.md后缀即可获取无界面噪音的纯文本格式。此外,PAX还创建了AI导向的文档索引文件,按产品结构列出文档并附简短描述,帮助AI快速定位相关页面。该公司还提供完整的捆绑文件,便于AI一次获取所有文档。这既提高了AI工具的信息获取效率,也为可能的“机器领导”提前表达了礼貌。 #AI #文档 #技术 #产品 #ERP #PAX #数据可访问性 #设计 #人工智能 #科技
美银报告
过去三年,AI投资几乎完全围绕GPU展开,英伟达市值飙升,市场共识认为GPU将主导算力时代,CPU逐渐边缘化。然而美国银行最新半导体行业报告提出不同观点:随着智能体AI(Agentic AI)的兴起,CPU不仅不会被取代,反而可能迎来十多年来最大的一轮增长周期。美银将2030年全球服务器CPU市场规模预测上调,认为智能体AI需要更频繁的任务调度、逻辑推理和系统级协调,这些恰好是CPU擅长的领域。报告指出,未来AI推理工作负载将更加多样化,CPU和GPU将形成互补而非替代关系,数据中心架构或因此发生重大变革。 #美银 #智能体AI #CPU #GPU #AI算力 #半导体 #数据中心 #科技趋势
过去三年,AI投资几乎完全围绕GPU展开,英伟达市值飙升,市场共识认为GPU将主导算力时代,CPU逐渐边缘化。然而美国银行最新半导体行业报告提出不同观点:随着智能体AI(Agentic AI)的兴起,CPU不仅不会被取代,反而可能迎来十多年来最大的一轮增长周期。美银将2030年全球服务器CPU市场规模预测上调,认为智能体AI需要更频繁的任务调度、逻辑推理和系统级协调,这些恰好是CPU擅长的领域。报告指出,未来AI推理工作负载将更加多样化,CPU和GPU将形成互补而非替代关系,数据中心架构或因此发生重大变革。 #美银 #智能体AI #CPU #GPU #AI算力 #半导体 #数据中心 #科技趋势
AI攻击升级,安全厂商加码Agentic AI防护
随着黑客开始利用AI模型发起攻击,网络安全行业正加速“以AI对抗AI”的布局,围绕Agentic AI的安全产品密集推出。Zscaler发布两款AI代理安全产品及“AI Access Graph”,指出企业环境正从人工用户体系转向自主运行的AI代理,传统安全已难管控权限与数据访问。Check Point推出暴露面管理方案AEV,旨在提升防守方应对AI驱动攻击的能力。Google《M-Trends 2026》报告显示,补丁发布前即遭攻击的案例增多,补丁空窗期风险加剧。Tanium Korea建议以AI驱动自动化为核心重构补丁管理。Rubrik推出面向Anthropic Claude Code的安全服务“Agent Cloud”,CEO Bipul Sinha强调需防范AI代理被滥用及提升受损恢复能力。Gartner将深度伪造、AI应用入侵、提示词注入及供应链风险列为四大威胁。此外,Samsung SDS、U-Lak、Stealien等厂商也推出AI驱动安全方案,金融业则在监管放宽与内控加强的平衡中应对数字风险。 #AI安全 #AgenticAI #网络安全 #安全厂商 #补丁管理 #Gartner #Rubrik #Zscaler #CheckPoint #威胁趋势
随着黑客开始利用AI模型发起攻击,网络安全行业正加速“以AI对抗AI”的布局,围绕Agentic AI的安全产品密集推出。Zscaler发布两款AI代理安全产品及“AI Access Graph”,指出企业环境正从人工用户体系转向自主运行的AI代理,传统安全已难管控权限与数据访问。Check Point推出暴露面管理方案AEV,旨在提升防守方应对AI驱动攻击的能力。Google《M-Trends 2026》报告显示,补丁发布前即遭攻击的案例增多,补丁空窗期风险加剧。Tanium Korea建议以AI驱动自动化为核心重构补丁管理。Rubrik推出面向Anthropic Claude Code的安全服务“Agent Cloud”,CEO Bipul Sinha强调需防范AI代理被滥用及提升受损恢复能力。Gartner将深度伪造、AI应用入侵、提示词注入及供应链风险列为四大威胁。此外,Samsung SDS、U-Lak、Stealien等厂商也推出AI驱动安全方案,金融业则在监管放宽与内控加强的平衡中应对数字风险。 #AI安全 #AgenticAI #网络安全 #安全厂商 #补丁管理 #Gartner #Rubrik #Zscaler #CheckPoint #威胁趋势
OpenAI收购安全云公司Ona 加码Codex能力
据韩媒《Digital Today》报道,OpenAI宣布收购安全云初创公司Ona,旨在增强其AI编程工具Codex的能力。Ona提供预配置的安全云环境,使AI代理能够接入工具、系统及业务上下文。自ChatGPT推出以来,OpenAI持续推动AI普及,近几个月加大对Codex的投入以应对开发者对AI代理的需求增长。目前Codex周活跃用户已从4月的300万增至500多万。与此同时,竞争对手Anthropic凭借编程工具Claude Code的增长,在过去一年中发展迅速,但尚未披露用户数据。 #OpenAI #Ona #收购 #安全云 #Codex #AI编程 #Anthropic #ClaudeCode #科技新闻
据韩媒《Digital Today》报道,OpenAI宣布收购安全云初创公司Ona,旨在增强其AI编程工具Codex的能力。Ona提供预配置的安全云环境,使AI代理能够接入工具、系统及业务上下文。自ChatGPT推出以来,OpenAI持续推动AI普及,近几个月加大对Codex的投入以应对开发者对AI代理的需求增长。目前Codex周活跃用户已从4月的300万增至500多万。与此同时,竞争对手Anthropic凭借编程工具Claude Code的增长,在过去一年中发展迅速,但尚未披露用户数据。 #OpenAI #Ona #收购 #安全云 #Codex #AI编程 #Anthropic #ClaudeCode #科技新闻
Windows 用户吐槽:Claude Desktop 刚启动就霸占1.8GB 内存
近日,多位Windows用户反映,Anthropic推出的AI助手桌面应用Claude Desktop在启动后立即占用高达1.8GB内存,引发广泛吐槽。用户指出,这一内存占用远超同类工具,导致系统运行卡顿,尤其对内存较小的设备不友好。目前官方尚未就此问题作出正式回应,但已有分析猜测可能与应用内置的本地推理模型或后台预加载机制有关。此事再度引发对AI桌面端应用资源优化的讨论。 #Windows #ClaudeDesktop #内存占用 #AI助手 #Anthropic #科技新闻
近日,多位Windows用户反映,Anthropic推出的AI助手桌面应用Claude Desktop在启动后立即占用高达1.8GB内存,引发广泛吐槽。用户指出,这一内存占用远超同类工具,导致系统运行卡顿,尤其对内存较小的设备不友好。目前官方尚未就此问题作出正式回应,但已有分析猜测可能与应用内置的本地推理模型或后台预加载机制有关。此事再度引发对AI桌面端应用资源优化的讨论。 #Windows #ClaudeDesktop #内存占用 #AI助手 #Anthropic #科技新闻