Infini也被你们玩坏了！
LINUX DO - 热门话题 (RSS)



30 个帖子 - 17 位参与者

阅读完整话题

今天户外 Gemini Live 爽了一把
LINUX DO - 热门话题 (RSS)

今天在户外散步，意外打开了Gemini，然后又不小心点到了 Gemini Live按钮，结果，就打开了Gemini Live，打开摄像头，一路沿途，边走边聊，从路边的花草树木，到奥迪、斯巴鲁的喜好，又看到路上的流浪狗和一个女人，继而讨论起宠物话题，接着又给我分析了一遍路上的行人，看到两个小姐姐穿着白色的连衣裙，过马路互相搀扶的老人......这一路是真不寂寞，走到人群密集处，还能假装跟人电话（跟Gemini Live聊着呢），摄像头开着各种拍......

17 个帖子 - 11 位参与者

阅读完整话题

‌浅谈ChatGPT的记忆实现机制 兼论工程端记忆设计
LINUX DO - 热门话题 (RSS)

你也可以在本博客查看本文的全部内容。

要想研究ChatGPT这个产品的“记忆”功能实现机制，我们就必须要从大模型本身的“记忆”到底是个什么东西开始说起。

在我们的传统的，人类视角的认知里，“记忆”意味着信息的持久储存和可随时调用，但这一常识在神经网络中往往并不成立。大语言模型（LLM）本身其实并不具备“记住某个具体事实”或“反复调用某段对话”的内建机制 。它们所谓的“记忆”，更多体现在参数记忆 的层面——即通过反复训练，将大量的语料信息固化在数百亿甚至万亿级的参数中，从而形成一种对语言结构、事实知识乃至人类行为模式的“潜在记忆”。

虽然这种参数记忆赋予了大模型前所未有的知识广度，但其本身的信息管理是静态的，只能反映训练阶段所接触到的信息，无法根据用户的即时输入动态调整，也无法在多轮对话之间保持状态。这也意味着，大模型在默认状态下是无记忆、无连续性的。为了让用户在使用中获得“ChatGPT 记得我说过什么”的体验，系统必须引入额外的机制来补全这种能力的缺失。最直接的方式，便是上下文管理（context management）。

所谓上下文管理，是指在一次交互过程中，将用户与模型之间的多轮对话，打包成一个“对话上下文窗口”（context window）一并输入模型，从而模拟出“记得过去对话”的效果。这种机制并非模型主动“记住”了内容，而是每一次调用模型时都“重新喂给它过去发生的事情”。

这也是为什么很多初次使用大模型api的用户会惊讶为啥每一轮对话所耗费的额度会呈现滚雪球式增长，因为如果你不限制上下文总窗口和轮数的话，系统需要在每一次请求中携带之前的全部对话内容，自然而然就会账单爆炸了。

上下文管理是目前 LLM 实现短期记忆的核心方法，但它也存在明显的限制：窗口大小有限（目前主流模型支持的最大上下文为128k tokens），每次输入的上下文越长，推理成本也越高；同时它无法实现真正的“长期记忆”——例如跨会话的状态保留、用户偏好的追踪、个人资料的学习等。这就引出了 ChatGPT 的另一个核心设计：用户级的“记忆系统”。

为了给用户更好的，更智能、温情的对话体验，这个系统试图实现的是对用户信息的持久存储与调取，补上“上下文窗口”无法承担的那部分“跨会话记忆”。但它不是模型本身的能力，而是产品层的一项“外挂功能”，通过在后端数据库中记录“用户告诉过模型的信息”，并在合适的时候动态注入这些内容到上下文中，从而模拟出模型“记得你”的效果。

在下文中，我们将围绕 ChatGPT 的这一“类人记忆”系统展开分析，探讨其设计原则、实现逻辑与当前的能力边界。

一、发展演进梳理
我们可以通过下面这张表格来来一窥ChatGPT记忆系统的演进：

日期/时期
功能/更新
核心功能
用户层级
关键用户控制方式

2024年之前
仅上下文窗口
会话内回忆，受限于tokens数量
所有用户
除提示工程外基本无

2024年早期
自定义指令
用户定义的持久性指南
所有用户
管理自定义指令

2025年4月之前
“已保存的记忆” (显式)
用户明确告知的事实性信息存储
Plus, Pro, 免费版 (仅限此功能)
查看/删除已保存的记忆

2025年4月10日
“聊天历史”参考 (隐式)
自动从所有过去聊天中提取洞察以供回忆
Plus, Pro
切换“已保存的记忆”/“聊天历史”开关，临时聊天，存档聊天

2025年4月之后
双重记忆系统
结合显式用户指令和隐式AI学习的综合回忆机制
Plus, Pro
同上，并可询问“你记得关于我的什么？”

2025年4月10日，OpenAI宣布，ChatGPT现在可以参考用户所有的过去聊天记录，以提供更加个性化和相关的回应。官方通过@OpenAI和萨姆·阿尔特曼的推文发布了这一消息 ，并在FAQ文档中提供了更多细节 。萨姆·阿尔特曼称之为一项“出人意料的强大功能”，并指出它预示着“AI系统将在你的一生中了解你，并变得极其有用和个性化” 。这一变革使得ChatGPT从主要依赖显式指令或会话内上下文，转变为一个能够基于用户全部互动历史持续学习和自我定制的模型 。

更新后，ChatGPT的记忆系统以双重方式运行：

— “已保存的记忆” (Saved Memories)：用户明确要求ChatGPT记住的细节（例如，“记住我是素食主义者”）。这可视为先前显式记忆系统的演进。
— “聊天历史”参考 (Chat History Reference)：ChatGPT从过去的对话中自动收集洞察，以改进未来的互动，即使这些信息未被明确保存。这是更新、更全面的记忆层。 OpenAI建议用户将关键信息通过“已保存的记忆”功能来固定，因为“聊天历史”并非逐字记录所有细节，而是综合提炼洞察。

底层机制
既然是 OpenAI 出品的功能，其实现方式自然不可能像早期开源项目那样简单粗暴——例如直接将上下文丢进向量数据库，待用时再暴力召回。相比之下，OpenAI 构建了一个由系统自动维护的动态用户画像机制，并在每次新对话开始时，将相关信息注入到系统提示中，以实现类人“长期记忆”的体验。

— Model Set Context (模型设定上下文)：包含用户明确“保存的记忆”，并附有时间戳。例如：“1. [2025-05-02]. 用户喜欢冰淇淋和饼干。”
— Assistant Response Preferences (助手回应偏好)：基于过去互动风格，指示ChatGPT应如何组织其回应。例如，用户可能偏好XML、JSON等结构化格式。此部分通常带有一个Confidence (置信度)标签 。
— Notable Past Conversation Topic Highlights (过往对话主题重点)：记录了以往对话中的高级别主题摘要，以保持未来讨论的连续性。例如，用户对AI漏洞或脚本编写的兴趣。此部分也包含Confidence标签 。
— Helpful User Insights (有用的用户洞察)：聚合了关于用户的具体事实信息，如姓名、职业、研究兴趣、博客地址等。
— Recent Conversation Content (近期对话内容)：存储数量有限（约40条）的近期聊天摘要，包含用户输入的消息，但不包括AI的回应，这可能是为了控制数据量和降低注入风险。时间戳的详细程度随对话的新近度而变化。
— User Interaction Metadata (用户互动元数据)：自动生成的账户使用信息，包括不同模型使用比例、账户年龄、设备类型、平均对话深度、常用意图标签（intent_tags）以及 UI 偏好等。

ChatGPT 会在持续使用中逐步形成对用户的抽象性理解与偏好建模。当用户输入新的请求时，模型并不会“无脑加载”所有历史内容，而是通过一系列筛选和匹配算法，挑选与当前上下文最相关的信息注入提示中。对于用户保存的记忆条目，系统采用语义索引机制，在嵌入向量空间中计算相关性，通常会检索出最相关的 5 到 20 条数据，用于增强模型当前的应答能力。

接下来，我将展示一份经过去敏处理的 ChatGPT 老用户档案（序号对不上是我删了那个条目），帮助大家直观了解这一用户画像系统究竟是如何“描绘”用户的。

1.模型设定上下文与助手回应偏好...

View original post

经典！花了2万多买的Python教程全套，现在分享给大家，入门到精通 Python全栈开发教程 （168个视频教程=2.1GB）
LINUX DO - 热门话题 (RSS)



我用夸克网盘分享了「花了2万多买的Python教程全套，现在分享给大家，入门到精通 Python全栈开发教程」，点击链接即可保存。打开「夸克APP」，无需下载在线播放视频，畅享原画5倍速，支持电视投屏。

链接：夸克网盘分享

只发经典，关注我别错过！

15 个帖子 - 15 位参与者

阅读完整话题