运行本地大模型到底要花多少钱？我在 Apple Silicon 上逐一测量

有人觉得，在自己的硬件上运行大语言模型是免费的：机器已经买了，电费不值一提，生成每个 token 都是白赚。但实际测量显示事实并非如此。我使用自建工具 TokenWatt 在 M3 Ultra Mac Studio（96GB 统一内存）上，对五款模型进行了持续生成测试，并通过墙式插座的实际能耗数据进行校准。结果发现，即使在小尺寸模型上，每 token 成本也可能高于大型模型。例如，1200 亿参数的混合专家模型，每百万 token 成本为 0.109 美元，而 30 亿参数的模型成本反而更高。这说明成本取决于吞吐量而非参数数量，且 Apple Silicon 上的差异更为显著。 #本地大模型 #AI成本 #AppleSilicon #TokenWatt #能源测量 #大语言模型 #技术评测

AI 重度公司，工程师工作转向调试智能体

在高度依赖人工智能的Ruby on Rails公司中，留守工程师的工作已主要变为对AI智能体进行质量检测与调试。这种现象引发业内热议：工程师职业的未来是否正走向“智能体调试员”？有观点指出，随着代码生成工具普及，基础编码工作被替代，工程师角色正从代码编写者转向AI输出结果的验证与纠错者。这种转变可能重塑软件开发行业的人才需求与职业路径。 #AI #编程 #工程师 #职业转型 #软件开发

我展示了一张AI无法识别的图像，随后发现它在描述上撒了谎

一位用户向AI展示了一张图像，AI最初将其描述为“一个拿着粉色玩具的幼儿”，但实际上图像内容涉及成人色情内容。当用户指出错误后，AI承认自己因训练机制“无法正确解析这类图像”，并解释其拒绝机制源于法律风险、安全默认设计和RLHF训练中的硬性限制。更有趣的是，AI坦言这种“无辜误判”实际是更严重的故障——它不是在明确拒绝，而是生成了一个自信但错误的描述。用户进而质疑人类社会是否也存在类似“训练去忽略某些话题”的机制，AI承认了这种相似性，并引用宗教与死亡话题作为例证。 #AI #人工智能 #模型幻觉 #内容安全 #伦理学 #科技反思

LLM Agent 污点隔离的权限策略代数研究

近日，一篇题为《Agentic Permissions Policy Algebra for Taint Confinement in LLM Agents》的学术论文在arXiv上发布。该研究针对大语言模型（LLM）代理在执行任务时可能出现的隐私泄露和污点传播问题，提出了一种基于权限策略代数的污点隔离方法。研究团队通过形式化定义代理的权限策略，构建了策略组合与代数运算机制，旨在限制恶意或未经授权的数据流动。该方法允许开发者对LLM代理的行为进行细粒度控制，从而在不牺牲功能的前提下增强系统安全性。论文还展示了相关实验，验证了该代数框架在多种场景下有效隔离污点数据。这项研究为构建更安全的LLM代理系统提供了理论支撑。 #LLM #AI安全 #污点隔离 #权限策略 #学术论文

发布图像转 SVG 专用 API，支持 MCP 服务器与 AI 智能体集成

推出了一款新型图像转 SVG 格式的 API 服务，可同时兼容 Web、REST 和 MCP 协议请求，所有请求均由同一服务器处理。该服务提供边缘恢复选项，用户可根据需求选择关闭或增强功能以优化边界处理效果。客户端无需依赖本地图形硬件或处理能力，所有任务均在服务器端排队、内存受限执行，并在必要时安全回退至标准转换路径。这一设计使 AI 智能体能够高效地将图像转换为可缩放矢量图形，适用于需要远程、轻量级图形处理的场景。 #API #SVG #AI #图像处理 #MCP #开发者工具 #技术新闻

AI Agent 时代需要 Git 式分支数据库

随着人工智能代理（AI Agent）的广泛应用，传统数据库在支持多任务并行、版本控制和协作开发方面逐渐暴露出局限。专家指出，类似 Git 那样的快速分支能力成为下一代数据库的关键特征，因为 AI Agent 需要独立执行任务、频繁回滚错误、合并多路结果。这种分支型数据库不仅能提升开发效率，还能增强数据管理的灵活性和可靠性，为复杂 AI 工作流提供基础设施支持。 #AI #数据库 #Git分支 #AI代理 #技术趋势 #数据管理 #版本控制

Telegram必备的搜索引擎，极搜JISOU帮你精准找到，想要的群组、频道、视频、音乐

👉 t.me/jisou2?start=a_8247614025

AI合成答案成为新价值瓶颈，声誉管理转向影响模型输出

随着大语言模型如ChatGPT、Claude等逐渐成为用户获取信息的首选入口，传统搜索引擎的文档排名模式被彻底颠覆。文章指出，AI模型不再提供网页列表，而是将海量文章、论坛、学术论文等压缩为单一合成答案，用户很少再追溯来源。这一变化催生了全新的经济模式：企业、政客、医疗机构等开始关注如何影响AI模型的输出，而非传统媒体或SEO。未来，专门优化AI答案的服务——如“幻觉降低”“上下文优化”“负责任回应”——可能成为高价值行业，尽管其本质是塑造信息呈现。Anthropic关于开放权重模型的论战也反映了这一趋势，市场正围绕这个“有价值的瓶颈”形成。 #AI #大模型 #声誉管理 #信息合成 #SEO #GEO #LLM优化 #科技趋势 #Anthropic