Google 或推出 Pixel Tag 追踪器,对标苹果 AirTag
据科技媒体 9to5Google 报道,谷歌正在开发一款名为“Google Pixel Tag”的物品追踪器,疑似与苹果 AirTag 直接竞争。该媒体获得了这款设备的图片,显示其呈椭圆形小尺寸设计。此外,一家斯洛文尼亚零售商已上架了 Pixel Tag 的商品页面,描述其为内置扬声器的物品追踪器,并支持谷歌“Find My Device”网络(现更名为 Find Hub)。目前谷歌尚未正式发布该产品,但此举表明谷歌正加速布局物联网追踪硬件市场。 #Google #PixelTag #物品追踪器 #AirTag #科技 #硬件 #FindMyDevice
据科技媒体 9to5Google 报道,谷歌正在开发一款名为“Google Pixel Tag”的物品追踪器,疑似与苹果 AirTag 直接竞争。该媒体获得了这款设备的图片,显示其呈椭圆形小尺寸设计。此外,一家斯洛文尼亚零售商已上架了 Pixel Tag 的商品页面,描述其为内置扬声器的物品追踪器,并支持谷歌“Find My Device”网络(现更名为 Find Hub)。目前谷歌尚未正式发布该产品,但此举表明谷歌正加速布局物联网追踪硬件市场。 #Google #PixelTag #物品追踪器 #AirTag #科技 #硬件 #FindMyDevice
大模型推理成本真相
一项针对24家供应商和378种GPU租用费率的调查显示,大模型推理成本差异巨大,每百万输出token价格从0.09美元到290.12美元不等,且成本差异几乎与模型本身无关。研究发现,影响推理成本的五个关键杠杆中,最受关注的两个因素(加速器选择和供应商差异)反而是影响最小的。加速器选择仅带来2.3倍差异,供应商差异3.2倍,而并发配置、利用率和推理token量分别带来3.5倍、9.0倍和14.3倍的巨大差异。在自托管与API成本对比中,利用率达到90%时自托管更具优势,但30%利用率下API更划算。值得注意的是,AMD MI355X加速器在成本上具有显著优势,每小时仅2.59美元,远低于NVIDIA B200的5.89美元,但这一市场定价效率极低,鲜有人关注。 #大模型 #推理成本 #AI #GPU #成本优化 #技术分析
一项针对24家供应商和378种GPU租用费率的调查显示,大模型推理成本差异巨大,每百万输出token价格从0.09美元到290.12美元不等,且成本差异几乎与模型本身无关。研究发现,影响推理成本的五个关键杠杆中,最受关注的两个因素(加速器选择和供应商差异)反而是影响最小的。加速器选择仅带来2.3倍差异,供应商差异3.2倍,而并发配置、利用率和推理token量分别带来3.5倍、9.0倍和14.3倍的巨大差异。在自托管与API成本对比中,利用率达到90%时自托管更具优势,但30%利用率下API更划算。值得注意的是,AMD MI355X加速器在成本上具有显著优势,每小时仅2.59美元,远低于NVIDIA B200的5.89美元,但这一市场定价效率极低,鲜有人关注。 #大模型 #推理成本 #AI #GPU #成本优化 #技术分析
Manifest 公司宣布废弃其 LLM 路由器,称模型路由并不值得
据 Manifest 公司技术博客,该公司曾于今年3月推出 LLM 路由器,旨在通过将请求分类为简单、标准、复杂和推理四个层级,动态选择最经济的模型以降低推理成本。然而,经过4个月、7000名云用户的使用后,团队发现效果参差不齐,并决定在6月废弃该功能,9月1日正式关闭。主要问题包括:仅凭提示词无法判断任务真实复杂度,后续工具调用和搜索会引入更多上下文;缓存机制使得重复查询同一模型更便宜,而路由反而破坏缓存优势;频繁切换模型导致工作质量下降,工程师难以精通工具;在自动化代理工作流中,额外的不确定性层带来的维护成本可能超过节省的费用。团队认为,大多数情况下,工程师应像工匠选择工具一样,根据意图手动选择模型和参数,而非依赖自动路由。 #LLM #模型路由 #AI #成本优化 #技术反思 #Manifest #工程实践
据 Manifest 公司技术博客,该公司曾于今年3月推出 LLM 路由器,旨在通过将请求分类为简单、标准、复杂和推理四个层级,动态选择最经济的模型以降低推理成本。然而,经过4个月、7000名云用户的使用后,团队发现效果参差不齐,并决定在6月废弃该功能,9月1日正式关闭。主要问题包括:仅凭提示词无法判断任务真实复杂度,后续工具调用和搜索会引入更多上下文;缓存机制使得重复查询同一模型更便宜,而路由反而破坏缓存优势;频繁切换模型导致工作质量下降,工程师难以精通工具;在自动化代理工作流中,额外的不确定性层带来的维护成本可能超过节省的费用。团队认为,大多数情况下,工程师应像工匠选择工具一样,根据意图手动选择模型和参数,而非依赖自动路由。 #LLM #模型路由 #AI #成本优化 #技术反思 #Manifest #工程实践