大模型推理成本真相
一项针对24家供应商和378种GPU租用费率的调查显示，大模型推理成本差异巨大，每百万输出token价格从0.09美元到290.12美元不等，且成本差异几乎与模型本身无关。研究发现，影响推理成本的五个关键杠杆中，最受关注的两个因素（加速器选择和供应商差异）反而是影响最小的。加速器选择仅带来2.3倍差异，供应商差异3.2倍，而并发配置、利用率和推理token量分别带来3.5倍、9.0倍和14.3倍的巨大差异。在自托管与API成本对比中，利用率达到90%时自托管更具优势，但30%利用率下API更划算。值得注意的是，AMD MI355X加速器在成本上具有显著优势，每小时仅2.59美元，远低于NVIDIA B200的5.89美元，但这一市场定价效率极低，鲜有人关注。 #大模型 #推理成本 #AI #GPU #成本优化 #技术分析
一项针对24家供应商和378种GPU租用费率的调查显示，大模型推理成本差异巨大，每百万输出token价格从0.09美元到290.12美元不等，且成本差异几乎与模型本身无关。研究发现，影响推理成本的五个关键杠杆中，最受关注的两个因素（加速器选择和供应商差异）反而是影响最小的。加速器选择仅带来2.3倍差异，供应商差异3.2倍，而并发配置、利用率和推理token量分别带来3.5倍、9.0倍和14.3倍的巨大差异。在自托管与API成本对比中，利用率达到90%时自托管更具优势，但30%利用率下API更划算。值得注意的是，AMD MI355X加速器在成本上具有显著优势，每小时仅2.59美元，远低于NVIDIA B200的5.89美元，但这一市场定价效率极低，鲜有人关注。 #大模型 #推理成本 #AI #GPU #成本优化 #技术分析
Manifest 公司宣布废弃其 LLM 路由器，称模型路由并不值得
据 Manifest 公司技术博客，该公司曾于今年3月推出 LLM 路由器，旨在通过将请求分类为简单、标准、复杂和推理四个层级，动态选择最经济的模型以降低推理成本。然而，经过4个月、7000名云用户的使用后，团队发现效果参差不齐，并决定在6月废弃该功能，9月1日正式关闭。主要问题包括：仅凭提示词无法判断任务真实复杂度，后续工具调用和搜索会引入更多上下文；缓存机制使得重复查询同一模型更便宜，而路由反而破坏缓存优势；频繁切换模型导致工作质量下降，工程师难以精通工具；在自动化代理工作流中，额外的不确定性层带来的维护成本可能超过节省的费用。团队认为，大多数情况下，工程师应像工匠选择工具一样，根据意图手动选择模型和参数，而非依赖自动路由。 #LLM #模型路由 #AI #成本优化 #技术反思 #Manifest #工程实践
据 Manifest 公司技术博客，该公司曾于今年3月推出 LLM 路由器，旨在通过将请求分类为简单、标准、复杂和推理四个层级，动态选择最经济的模型以降低推理成本。然而，经过4个月、7000名云用户的使用后，团队发现效果参差不齐，并决定在6月废弃该功能，9月1日正式关闭。主要问题包括：仅凭提示词无法判断任务真实复杂度，后续工具调用和搜索会引入更多上下文；缓存机制使得重复查询同一模型更便宜，而路由反而破坏缓存优势；频繁切换模型导致工作质量下降，工程师难以精通工具；在自动化代理工作流中，额外的不确定性层带来的维护成本可能超过节省的费用。团队认为，大多数情况下，工程师应像工匠选择工具一样，根据意图手动选择模型和参数，而非依赖自动路由。 #LLM #模型路由 #AI #成本优化 #技术反思 #Manifest #工程实践
中国军方研究人员利用美国AI模型训练国防系统
据路透社对80多篇中国学术论文和专利的审查发现，中国军事研究人员利用OpenAI和Anthropic等美国领先AI模型的输出，训练本国人工智能系统以提升国防能力。这些此前未公开的发现揭示，尽管华盛顿试图限制北京获取先进芯片等战略技术，中国军事和安全相关机构仍通过“模型蒸馏”技术，将强大AI系统的输出用于训练可在本地部署的小型专业模型。路透社与华盛顿詹姆斯敦基金会独家分享的研究显示，与中国人民解放军及其他军事机构相关的研究人员广泛使用蒸馏技术。这些论文表明，中国国防机构将美国领先AI模型视为技术洞察来源和缩小与美国差距的途径。争议焦点在于未经授权的提取行为，而非蒸馏本身。这一问题已成为美中AI治理与安全谈判前的重大引爆点，美国官员指责中国实体利用蒸馏技术获取美国AI模型能力，可能破坏出口管制并侵犯知识产权。中国否认这些指控，称华盛顿推行AI“霸权主义”，并指出美国企业也有类似行为。 #AI #模型蒸馏 #中美科技竞争 #国防技术 #人工智能 #知识产权 #出口管制 #军事科技
据路透社对80多篇中国学术论文和专利的审查发现，中国军事研究人员利用OpenAI和Anthropic等美国领先AI模型的输出，训练本国人工智能系统以提升国防能力。这些此前未公开的发现揭示，尽管华盛顿试图限制北京获取先进芯片等战略技术，中国军事和安全相关机构仍通过“模型蒸馏”技术，将强大AI系统的输出用于训练可在本地部署的小型专业模型。路透社与华盛顿詹姆斯敦基金会独家分享的研究显示，与中国人民解放军及其他军事机构相关的研究人员广泛使用蒸馏技术。这些论文表明，中国国防机构将美国领先AI模型视为技术洞察来源和缩小与美国差距的途径。争议焦点在于未经授权的提取行为，而非蒸馏本身。这一问题已成为美中AI治理与安全谈判前的重大引爆点，美国官员指责中国实体利用蒸馏技术获取美国AI模型能力，可能破坏出口管制并侵犯知识产权。中国否认这些指控，称华盛顿推行AI“霸权主义”，并指出美国企业也有类似行为。 #AI #模型蒸馏 #中美科技竞争 #国防技术 #人工智能 #知识产权 #出口管制 #军事科技
Graph Engineering
近日，AI专家Anatoli Kopadze在社交平台上发表观点，指出Graph Engineering（图谱工程）是当前人工智能领域被严重低估的核心技能。他详细解释了图谱工程的概念、适用场景以及不适用的情况，引发广泛讨论。图谱工程侧重于构建和优化知识图谱，以增强AI系统的推理能力和语义理解，与大模型结合可提升复杂任务表现。然而，许多人过于关注模型参数和训练数据，忽视了数据结构和关系建模的重要性。Kopadze的分享提醒业界，在AI快速发展中，图谱工程正成为连接数据与智能的桥梁，未来或将成为AI从业者的必备素养。 #GraphEngineering #图谱工程 #AI #知识图谱 #人工智能 #技能
近日，AI专家Anatoli Kopadze在社交平台上发表观点，指出Graph Engineering（图谱工程）是当前人工智能领域被严重低估的核心技能。他详细解释了图谱工程的概念、适用场景以及不适用的情况，引发广泛讨论。图谱工程侧重于构建和优化知识图谱，以增强AI系统的推理能力和语义理解，与大模型结合可提升复杂任务表现。然而，许多人过于关注模型参数和训练数据，忽视了数据结构和关系建模的重要性。Kopadze的分享提醒业界，在AI快速发展中，图谱工程正成为连接数据与智能的桥梁，未来或将成为AI从业者的必备素养。 #GraphEngineering #图谱工程 #AI #知识图谱 #人工智能 #技能
在 Fedora 上搭建无限记忆本地 AI 栈
一位技术爱好者分享了在 Fedora 44 系统上构建个性化长期记忆 RAG（检索增强生成）系统的完整方案。该系统利用 Mem0、Qdrant 和 Open WebUI 组件，通过 Podman 容器化部署，实现本地 AI 的无限上下文记忆。作者使用 Framework 模块化迷你 PC，依赖 AMD 集成 GPU 进行本地推理，即使运行 qwen3-coder-next 等重型模型，GPU 利用率达 100%，VRAM 占用约 40-50GB，仍能流畅处理 RAG 管道。核心思路是通过 FastAPI 代理拦截用户消息，从 Qdrant 向量数据库检索相关历史事实并注入系统提示，同时后台自动提取新事实存入数据库，无需手动上传文档，完全绕过传统上下文窗口限制，兼顾隐私与效率。 #Fedora #本地AI #RAG #Mem0 #Qdrant #OpenWebUI #Podman #隐私计算 #大模型 #技术教程
一位技术爱好者分享了在 Fedora 44 系统上构建个性化长期记忆 RAG（检索增强生成）系统的完整方案。该系统利用 Mem0、Qdrant 和 Open WebUI 组件，通过 Podman 容器化部署，实现本地 AI 的无限上下文记忆。作者使用 Framework 模块化迷你 PC，依赖 AMD 集成 GPU 进行本地推理，即使运行 qwen3-coder-next 等重型模型，GPU 利用率达 100%，VRAM 占用约 40-50GB，仍能流畅处理 RAG 管道。核心思路是通过 FastAPI 代理拦截用户消息，从 Qdrant 向量数据库检索相关历史事实并注入系统提示，同时后台自动提取新事实存入数据库，无需手动上传文档，完全绕过传统上下文窗口限制，兼顾隐私与效率。 #Fedora #本地AI #RAG #Mem0 #Qdrant #OpenWebUI #Podman #隐私计算 #大模型 #技术教程
AI行业成本飙升，收入与投资严重失衡
文章指出，当前关于AI对就业影响的讨论多为理论推测，缺乏实际证据，反而掩盖了更紧迫的经济问题。数据显示，整个AI行业过去十二个月收入仅约1100亿美元，而OpenAI一家在3月就融资1220亿美元，2026年第一季度所有AI初创公司融资总额高达1450亿美元。作者认为，AI实验室和云服务商基于脆弱承诺进行巨额投资，导致基础设施成本不断攀升，盈利前景渺茫。泡沫持续膨胀将使经济难题更难解决，而真正的客户只有少数几家巨头，行业面临严重的投入产出失衡。 #AI #人工智能 #经济泡沫 #投资 #科技 #成本 #OpenAI #Anthropic #大模型 #行业分析
文章指出，当前关于AI对就业影响的讨论多为理论推测，缺乏实际证据，反而掩盖了更紧迫的经济问题。数据显示，整个AI行业过去十二个月收入仅约1100亿美元，而OpenAI一家在3月就融资1220亿美元，2026年第一季度所有AI初创公司融资总额高达1450亿美元。作者认为，AI实验室和云服务商基于脆弱承诺进行巨额投资，导致基础设施成本不断攀升，盈利前景渺茫。泡沫持续膨胀将使经济难题更难解决，而真正的客户只有少数几家巨头，行业面临严重的投入产出失衡。 #AI #人工智能 #经济泡沫 #投资 #科技 #成本 #OpenAI #Anthropic #大模型 #行业分析