现实中的皮祖
bilibili.com
洋人丢的电子垃圾,都去哪了?_哔哩哔哩_bilibili
电子产品的更新迭代越来越快,每年我们都忍不住购买一些新的电子产品。但在享受新鲜感的同时,你是否想过那些被淘汰的电子设备去了哪里?这次我们前往了非洲,探寻到了电子垃圾消失的另一种真相。如果你喜欢这期节目,请多多支持我们,并把视频分享给你的朋友们一起看看。, 视频播放量 741772、弹幕量 8571、点赞数 96867、投硬币枚数 76800、收藏人数 24583、转发人数 5530, 视频作者 影视飓风, 作者简介...
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: 木瓜蛋白酶Tea🎋)
Invalid media:
image
image
几百年前,殖民者的船只满载奴隶驶向远方,而如今同样的海岸线之上,本不属于加纳的电子垃圾正涌入这个港口,不同的时代却上演着相似的故事一则关于电子垃圾的短纪录,十几年前的中国同样遭遇的,发达国家的蓝天和发展中国家的土地,现实版的皮尔特沃夫和祖安
bilibili.com
洋人丢的电子垃圾,都去哪了?_哔哩哔哩_bilibili
电子产品的更新迭代越来越快,每年我们都忍不住购买一些新的电子产品。但在享受新鲜感的同时,你是否想过那些被淘汰的电子设备去了哪里?这次我们前往了非洲,探寻到了电子垃圾消失的另一种真相。如果你喜欢这期节目,请多多支持我们,并把视频分享给你的朋友们一起看看。, 视频播放量 741772、弹幕量 8571、点赞数 96867、投硬币枚数 76800、收藏人数 24583、转发人数 5530, 视频作者 影视飓风, 作者简介...
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: 木瓜蛋白酶Tea🎋)
Invalid media:
image
image
Cursor pro 为什么马上绝版了?
https://linux.do/t/topic/1084951/40
没找到答案,但是好像马上就不能白嫖了?为啥呀,好几天没上网
4 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: 八八)
https://linux.do/t/topic/1084951/40
没找到答案,但是好像马上就不能白嫖了?为啥呀,好几天没上网
4 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: 八八)
作为主力机, 我应该选择什么Linux发行版?
TLDR
● 刚需GPU跑pytorch, GPU驱动支持希望要好
● 刚需坚果云, 不支持的发行版不考虑
● 小刚需腾讯会议共享桌面, 听说不支持Wayland协议, 如果无法通过腾讯会议进行屏幕共享也不考虑
● 能接受短时间内的折腾配置, 但是要无止境地不断折腾时间上不太允许
先谢谢佬友们的建议了~ 🫡
----------------------
起因
跑代码一直用的是WSL, 但是最近用JB系的IDE在WSL里面跑实在是有点吃内存了, 内存占用常年在90%+, 有一点难受, 于是就想将这台主力机迁移到Linux上.
现在还是碰上了一个经典的问题, 我应该选择什么样的发行版?
----------------------
硬件条件
是一台13900H的天选4, 也陪我走了两年了, 期间也重装过两次系统, 不过装Linux应该是天选姬的第一次 🥰
具体配置
这两年给天选姬换了内存和硬盘. 具体配置如下
● CPU: 13900H
● GPU: 4060 Laptop
● 内存: 海力士 5600MHz 16G*2
● 固态: ● 西数 S570 1T ● 铠侠 SD10 1T
● 网卡: Intel AX201
关于驱动
主要是比较担心驱动的问题, 我对GPU是刚需, 如果4060 Laptop表现不好的话会有点头疼.
网卡驱动不知道系统会不会自带, 没自己没在Linux上手动装过驱动, 网卡和GPU这一块心理有点悬. (之前在没独显的老电脑上装过Linux Mint, 好像什么驱动都没装过就能直接用)
关于独显/集显模式的切换
另外天选在Windows上有奥创中心, 调GPU模式还是很方便的, 偶尔需要离电带出去用, 所以切换到核显模式会比较省电. 不知道Linux上有没有成熟的解决方案?
关于风扇的调度
还有风扇的调度, 由于长期在自习室用, 风扇不能太吵了. 有没有类似奥创中心静音模式的方案?
知道是有OpenFanController这样的调教软件, 但是不想自己去调教, 希望能有开箱即用的解决方案.
或者说系统自带的静音模式?
关于硬盘
首先是这个系统盘, 把它直接格式化了我能接受
但是另一个1T的数据盘, 存了600多G的学习资料, 如果装上Linux的系统的话能否成功挂载NTFS?
----------------------
发行版偏好
没有偏好!
不过主要还是熟悉Debian系的, 自己机子上的WSL用的是Ubuntu-24.04, 课题组服务器用的是Ubuntu-22.04, 家里的nas用的是Debian 12, 备用的二号机用的是Mint
但是完全不排斥使用其他发行版(甚至很欢迎, 大概, 又想折腾了), 只要能够满足需求
----------------------
桌面环境偏好
● 比较喜欢GNOME, 也比较习惯用GNOME
● KDE没深入尝试过, 最早安装过一次, 也是感觉没GNOME好看, 就还是换回GNOME了. 不过后来了解到自定义比较多, 不知道有没有好看的解决方案.
● xfce不考虑, 太丑了
----------------------
使用用途
● 自己折腾一些小项目, Java, python, rust都有
● 跑一些深度学习的测试, 这就是为什么GPU是刚需. 我是在本地改模型, 能跑通没bug就push到课题组服务器上继续训练 (需要管理多个cuda版本, 这群臭搞学术的真得是半点好习惯都没有, 11.3到12.9的都有人在用)
● 日常网上冲浪
● 不玩游戏
----------------------
常用软件
有一些软件是刚需, 但是不清楚在各个发行版运行的情况
● 真 · 刚需 ● 坚果云: 真的是刚需了, 日常很多工作都基于这个了, 如果脱离了感觉很难受 ● 在Debian系是有比较好的支持, 装mint的二号机用了一段时间也没什么问题 ● 如果要用Arch的话, 在AUR上好像有半官方维护的, 不知道体验怎么样? ● 腾讯会议: 平时开会用, 好像之前听说在Wayland下无法共享屏幕? 如果不能解决的话就只能用xorg了… 好像火星了?看到一个AUR的评论里说最新版本支持了? ● Zotero: 日常看文献用, 是有Linux版本, 但是不知道翻译插件在Linux是否可用?
● 可自适应 ● 网易云音乐: maybe不是刚需, 但是Linux没有好客户端还是比较难受… ● 文件管理器: 在Windows上Directory Opus用的很爽, 不知道在Linux上有没有比较好的替代品? 不过说白了只是想要双面板的文件管理器, 高级功能平时也用不来. Mint二号机上用的nemo, 感觉比nautilus好一点. ● 解压软件: 在Mint二号机开荒的时候也是找了很久, 想要找个Bandizip的替代品, 未果, 最终还是用了PeaZip, 感觉不是很好用. 佬友们有没有更好的推荐? ● 截图软件: 目前用的是flameshot, 但是相比Windows下的pixpin没有ocr功能, ocr用的挺频繁的, 还是有点麻烦 ● 剪贴板: Windows下用的是ditto, 之前在Mint二号机下用过CopyQ啥的, 感觉都不太顺手, 还是用Utool是凑合了
其实没啥了, 主要还是坚果云, 腾讯会议, Zotero, 其他都能自适应, 大概
----------------------
关于折腾
能接受短时间的折腾, 但是不接受长时间, 无休止的折腾, 明年就要开始准备考研了, 希望至少能在一年以内安稳别让我分心 🫠
16 posts - 11 participants
Read full topic
via LINUX DO - 最新话题 (author: ogas)
Invalid media: image
TLDR
● 刚需GPU跑pytorch, GPU驱动支持希望要好
● 刚需坚果云, 不支持的发行版不考虑
● 小刚需腾讯会议共享桌面, 听说不支持Wayland协议, 如果无法通过腾讯会议进行屏幕共享也不考虑
● 能接受短时间内的折腾配置, 但是要无止境地不断折腾时间上不太允许
先谢谢佬友们的建议了~ 🫡
----------------------
起因
跑代码一直用的是WSL, 但是最近用JB系的IDE在WSL里面跑实在是有点吃内存了, 内存占用常年在90%+, 有一点难受, 于是就想将这台主力机迁移到Linux上.
现在还是碰上了一个经典的问题, 我应该选择什么样的发行版?
----------------------
硬件条件
是一台13900H的天选4, 也陪我走了两年了, 期间也重装过两次系统, 不过装Linux应该是天选姬的第一次 🥰
具体配置
这两年给天选姬换了内存和硬盘. 具体配置如下
● CPU: 13900H
● GPU: 4060 Laptop
● 内存: 海力士 5600MHz 16G*2
● 固态: ● 西数 S570 1T ● 铠侠 SD10 1T
● 网卡: Intel AX201
关于驱动
主要是比较担心驱动的问题, 我对GPU是刚需, 如果4060 Laptop表现不好的话会有点头疼.
网卡驱动不知道系统会不会自带, 没自己没在Linux上手动装过驱动, 网卡和GPU这一块心理有点悬. (之前在没独显的老电脑上装过Linux Mint, 好像什么驱动都没装过就能直接用)
关于独显/集显模式的切换
另外天选在Windows上有奥创中心, 调GPU模式还是很方便的, 偶尔需要离电带出去用, 所以切换到核显模式会比较省电. 不知道Linux上有没有成熟的解决方案?
搜到好像asus官方就有一些Linux工具, 不知道有没有佬友尝试过?
另外还有g-helper
关于风扇的调度
还有风扇的调度, 由于长期在自习室用, 风扇不能太吵了. 有没有类似奥创中心静音模式的方案?
知道是有OpenFanController这样的调教软件, 但是不想自己去调教, 希望能有开箱即用的解决方案.
或者说系统自带的静音模式?
关于硬盘
首先是这个系统盘, 把它直接格式化了我能接受
但是另一个1T的数据盘, 存了600多G的学习资料, 如果装上Linux的系统的话能否成功挂载NTFS?
----------------------
发行版偏好
没有偏好!
不过主要还是熟悉Debian系的, 自己机子上的WSL用的是Ubuntu-24.04, 课题组服务器用的是Ubuntu-22.04, 家里的nas用的是Debian 12, 备用的二号机用的是Mint
但是完全不排斥使用其他发行版(甚至很欢迎, 大概, 又想折腾了), 只要能够满足需求
----------------------
桌面环境偏好
● 比较喜欢GNOME, 也比较习惯用GNOME
● KDE没深入尝试过, 最早安装过一次, 也是感觉没GNOME好看, 就还是换回GNOME了. 不过后来了解到自定义比较多, 不知道有没有好看的解决方案.
● xfce不考虑, 太丑了
----------------------
使用用途
● 自己折腾一些小项目, Java, python, rust都有
● 跑一些深度学习的测试, 这就是为什么GPU是刚需. 我是在本地改模型, 能跑通没bug就push到课题组服务器上继续训练 (需要管理多个cuda版本, 这群臭搞学术的真得是半点好习惯都没有, 11.3到12.9的都有人在用)
● 日常网上冲浪
● 不玩游戏
----------------------
常用软件
有一些软件是刚需, 但是不清楚在各个发行版运行的情况
● 真 · 刚需 ● 坚果云: 真的是刚需了, 日常很多工作都基于这个了, 如果脱离了感觉很难受 ● 在Debian系是有比较好的支持, 装mint的二号机用了一段时间也没什么问题 ● 如果要用Arch的话, 在AUR上好像有半官方维护的, 不知道体验怎么样? ● 腾讯会议: 平时开会用, 好像之前听说在Wayland下无法共享屏幕? 如果不能解决的话就只能用xorg了… 好像火星了?看到一个AUR的评论里说最新版本支持了? ● Zotero: 日常看文献用, 是有Linux版本, 但是不知道翻译插件在Linux是否可用?
● 可自适应 ● 网易云音乐: maybe不是刚需, 但是Linux没有好客户端还是比较难受… ● 文件管理器: 在Windows上Directory Opus用的很爽, 不知道在Linux上有没有比较好的替代品? 不过说白了只是想要双面板的文件管理器, 高级功能平时也用不来. Mint二号机上用的nemo, 感觉比nautilus好一点. ● 解压软件: 在Mint二号机开荒的时候也是找了很久, 想要找个Bandizip的替代品, 未果, 最终还是用了PeaZip, 感觉不是很好用. 佬友们有没有更好的推荐? ● 截图软件: 目前用的是flameshot, 但是相比Windows下的pixpin没有ocr功能, ocr用的挺频繁的, 还是有点麻烦 ● 剪贴板: Windows下用的是ditto, 之前在Mint二号机下用过CopyQ啥的, 感觉都不太顺手, 还是用Utool是凑合了
其实没啥了, 主要还是坚果云, 腾讯会议, Zotero, 其他都能自适应, 大概
另外还有很多积攒多年的Windows下的妙妙小工具, 估计得要用虚拟机搞了, 不知道有没有比较优雅的和WSL类似的虚拟机挂载文件系统到宿主机的方案? 🤔
----------------------
关于折腾
能接受短时间的折腾, 但是不接受长时间, 无休止的折腾, 明年就要开始准备考研了, 希望至少能在一年以内安稳别让我分心 🫠
16 posts - 11 participants
Read full topic
via LINUX DO - 最新话题 (author: ogas)
Invalid media: image
❤1
handbrake没法使用GPU渲染处理
rt。
在handbrake里面选择H.265 NVENC 1080p处理非常缓慢,同时独显占用率从9%提升到20%左右。。QSV能够跑满100%,同时处理速度非常快。
同样的采用
显卡是4060移动。
我用nvidia app更新了驱动,并且在nvidia control里面开启了独显直连。
4 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: DW_DROME)
rt。
在handbrake里面选择H.265 NVENC 1080p处理非常缓慢,同时独显占用率从9%提升到20%左右。。QSV能够跑满100%,同时处理速度非常快。
同样的采用
显卡是4060移动。
我用nvidia app更新了驱动,并且在nvidia control里面开启了独显直连。
4 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: DW_DROME)
美团单车更新了手把护罩
更利好于天冷骑行了 ☺️
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: 最上川)
Invalid media:
image
image
更利好于天冷骑行了 ☺️
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: 最上川)
Invalid media:
image
image
兄弟们这是网图么 抖音突然一女的加我 完了我问了照片给我发了这个
18 posts - 12 participants
Read full topic
via LINUX DO - 最新话题 (author: 𝓵𝓮𝔃𝓲𝓼𝓱𝓮𝓷)
Invalid media: image
18 posts - 12 participants
Read full topic
via LINUX DO - 最新话题 (author: 𝓵𝓮𝔃𝓲𝓼𝓱𝓮𝓷)
Invalid media: image
FRII免費.Frii.Site後綴二級域名託管服務支持設置NS記錄
FRII 是一項面向開發人員、項目經理和普通用戶的現代免費子域名託管服務,目前已運營 6 個月,為全球超過 200 名用戶註冊了 150 多個子域名。採用開源模式,提供免費 API 接口,並在 GitHub 上發布更新。強調 “自由:輕鬆註冊域名;安全保障:確保您的域名安全無憂;技術支持:指南與真人客服;隱私保護:絕不泄露您的任何個人數據。” 用戶可通過控制面板即時註冊、刪除、修改域名,無需等待。
官方網站:https://www.frii.site
FRII 提供免費.Frii.Site 後綴二級域名託管服務,申請註冊二級域名直接添加記錄,如果可用即會自動註冊,支持添加 A、AAAA、CNAME、TXT、NS 記錄類型。
⚠️友情提示:免費賬號最大域名數:3,最大子域名數:50。每人只能擁有一個賬號,如果檢測到一人多個帳戶,您的所有帳戶都將被終止,並刪除所有關聯的域名。
5 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: 愛國)
FRII 是一項面向開發人員、項目經理和普通用戶的現代免費子域名託管服務,目前已運營 6 個月,為全球超過 200 名用戶註冊了 150 多個子域名。採用開源模式,提供免費 API 接口,並在 GitHub 上發布更新。強調 “自由:輕鬆註冊域名;安全保障:確保您的域名安全無憂;技術支持:指南與真人客服;隱私保護:絕不泄露您的任何個人數據。” 用戶可通過控制面板即時註冊、刪除、修改域名,無需等待。
官方網站:https://www.frii.site
FRII 提供免費.Frii.Site 後綴二級域名託管服務,申請註冊二級域名直接添加記錄,如果可用即會自動註冊,支持添加 A、AAAA、CNAME、TXT、NS 記錄類型。
⚠️友情提示:免費賬號最大域名數:3,最大子域名數:50。每人只能擁有一個賬號,如果檢測到一人多個帳戶,您的所有帳戶都將被終止,並刪除所有關聯的域名。
5 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: 愛國)
还有没有其他ai,p图的?类似图改改的
我只需要能ps文字在编辑的就行了,用了图改改感觉还是差点意思?有没有其他的推荐的,只需要能编辑文字就行了
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: huhuhe)
我只需要能ps文字在编辑的就行了,用了图改改感觉还是差点意思?有没有其他的推荐的,只需要能编辑文字就行了
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: huhuhe)
🤖 OpenAI 内部代码显示 GPT‑5.1 mini 新推理模型 疑似曾向部分用户推出
近期一个名为"GPT-5 Mini Scout"的新模型短暂出现在 ChatGPT 的模型选择器中,部分商业账户用户可见。随后OpenAI Agents项目的JavaScript测试代码中发现疑似内部信息,显示“gpt‑5.1‑mini”新模型代号被用于函数测试,且被标注为“reasoning model”(推理模型)。
在短暂的访问窗口期间,SVG 机器人基准测试显示该模型产生了动画机器人图像,相比 GPT-5 Mini Thinking 有显著进步,表明新的图像生成能力或底层模型架构的调整。OpenAI 可能准备在 11 月推出此模型,以应对谷歌即将发布的 Gemini 3。
OpenAI Agents JS|TestingCatalog
————via zaihua
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: 𝓫𝓪𝓷𝓵𝓪𝓷)
Invalid media: image
近期一个名为"GPT-5 Mini Scout"的新模型短暂出现在 ChatGPT 的模型选择器中,部分商业账户用户可见。随后OpenAI Agents项目的JavaScript测试代码中发现疑似内部信息,显示“gpt‑5.1‑mini”新模型代号被用于函数测试,且被标注为“reasoning model”(推理模型)。
在短暂的访问窗口期间,SVG 机器人基准测试显示该模型产生了动画机器人图像,相比 GPT-5 Mini Thinking 有显著进步,表明新的图像生成能力或底层模型架构的调整。OpenAI 可能准备在 11 月推出此模型,以应对谷歌即将发布的 Gemini 3。
OpenAI Agents JS|TestingCatalog
————via zaihua
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: 𝓫𝓪𝓷𝓵𝓪𝓷)
Invalid media: image
Peek Pop 新增双击预览啦!✨
好久没发帖,来水下
最近 Peek Pop 更新了啥?
双击预览 - 多点一下即可预览
● 只需比平时多点一下即可预览,两次单击之间的间隔时长可调,手速越快感知越不明显 🤩,不影响正常单击,这应该是最优雅的触发方式了🤞
加载看起来慢是因为网速有点慢,下面也一样 😅
按比例缩小弹窗
● 可单独缩小长度、高度
新增圆形倒计时样式
其它新增
● 鼠标移回原窗口时自动消除模糊
● 搜索条的弹窗样式可设置为 popup
● 在弹窗用鼠标中键点击空白处将页面返回到原窗口
● 在原窗口上滑动触发关闭弹窗
● 设置页面中添加了快捷键设置按钮
● 导出、导入配置时,可以选择是否使用记录的动态弹窗信息。
安装
到谷歌商店安装
到火狐商店安装
到Edge商店安装
更多设置请到设置页面内查看。
对了,还弄了个官网:Peek Pop - preview, search and read later
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: uxer)
Invalid media:
animation
animation
animation
好久没发帖,来水下
最近 Peek Pop 更新了啥?
双击预览 - 多点一下即可预览
● 只需比平时多点一下即可预览,两次单击之间的间隔时长可调,手速越快感知越不明显 🤩,不影响正常单击,这应该是最优雅的触发方式了🤞
加载看起来慢是因为网速有点慢,下面也一样 😅
按比例缩小弹窗
● 可单独缩小长度、高度
新增圆形倒计时样式
其它新增
● 鼠标移回原窗口时自动消除模糊
● 搜索条的弹窗样式可设置为 popup
● 在弹窗用鼠标中键点击空白处将页面返回到原窗口
● 在原窗口上滑动触发关闭弹窗
● 设置页面中添加了快捷键设置按钮
● 导出、导入配置时,可以选择是否使用记录的动态弹窗信息。
安装
到谷歌商店安装
到火狐商店安装
到Edge商店安装
更多设置请到设置页面内查看。
对了,还弄了个官网:Peek Pop - preview, search and read later
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: uxer)
Invalid media:
animation
animation
animation
一直有朋友来问 CE 和 RAG 的区别,我这边举个例子简单说一下
RAG 是实现 CE 的手段之一
context engineering,简称 CE,指的就是使用各种各样的方法来为大模型或者 agent 系统注入额外的上下文,从而实现你的业务场景。
比如你要做一个公司的财务系统 agent,大模型肯定不知道你家的各类信息呀,那么这个时候就需要注入额外的专业信息或者私密信息来让 agent 做出“只有知道这些私有信息才能做到的事情”。系统化地、优雅地、健全地实现这样一套“额外信息”/“上下文”注入的大模型组件,就叫做 CE。
所以显然,RAG 是实现 CE 的手段之一,这两玩意儿属于包含关系,CE 包含了 RAG,都是应对大模型不能了解场景专属信息,设计出的外挂组件。那么为什么最近又开始强调起了 CE,而非过去的 RAG 了呢?很简单,因为在很多专业场景中,大家发现 RAG 非常不好用,所以开始寻找一些其他的方法来实现上下文注入,这些方法的系统讨论,在过去半年被我们慢慢总结为 “CE”。
CE 技术最为典型的代表场景就是 AI Coding,而这个场景中,使用 CE 最为出色的代表就是 claude code。
RAG 为啥难用
RAG 的难用是一线工程师们有目共睹的。使用 RAG 有一个非常典型的场景,那就是专业领域的AI咨询,在 The RAG Obituary: Killed by Agents, Buried by Context Windows 中,金融 AI 平台 Fintool 的架构师 Nicolas 举了几个他在开发 fintool 时,采用 RAG 遇到了的坑。
1. 上下文碎片化(Context Fragmentation):存入向量数据库的 chunk 往往是被分割开来的,但是真实查询一个问题对应的原文信息,可能横跨了连续的20页文档(真实案例),rag 的切分破坏了信息的连续,即便很多 rag 切分策略(比如 langchain 内置的 repeat 参数)可以让切分块直接存在重叠,但是仍然无法从根本上解决这个问题。
2. 语义搜索对数字失效(Semantic Search Fails on Numbers):"45.2M 美元"和"45,200,000 美元"的嵌入向量完全不同;“收入增加了 10%”和“收入增加了十成”的嵌入向量也不同;表格中的数字无法有效提取它对应行头和列头的说明文字组合成有效的信息。这些都严重影响了查询结果的召回率。
3. **缺乏因果理解(No Causal Understanding):**图表,表格,公式,段落,往往会在别的文档中被引用,从而扩充本段的逻辑和信息,且这种引用是递归的,RAG 的算法无法挖掘这种文档内部的因果关系,从而导致搜到的有效信息变少很多。
4. **术语不匹配问题(The Vocabulary Mismatch Problem):**专业术语在语义空间训练得很差,且不同公司对相同概念使用不同术语,导致没有在私有数据集充分训练的 RAG 表现很差。可能出现相似术语离得很远,不同术语靠得很近,从而让查询结果出现概念性错误。
5. **时间盲区(Temporal Blindness):**无法可靠区分2024年Q3和2023年Q3的数据,经常混淆当期与前期对比。本质上是因为特定领域的某些因素的搜索权重并没有同步到 RAG 中。没有专业领域知识也无法事先将这些权重设计到 RAG 中。
这些令人感到恶心的点,也开始让我们不得不回到起点,去思考一切的起点,不能为了 rag 而 rag,我们最初做 rag 是为了什么?
我们当初为什么要做 rag?
对,是为了把垂类知识(domain specific knowledge)塞入大模型,从而让大模型或基于大模型的应用能解答私有领域知识的。
那为什么要用 rag 呢?
因为大模型处理文本就会先进行嵌入,把句子转化成向量组,而 word2vec 实验让 nlp 领域慢慢形成了,嵌入空间能够反映一定的语义相关性,我们只是复用了这套逻辑,将大模型的“前端”构造成了一个搜索器,这就是 rag 的由来。
但是随着我们对大模型在具体执行任务上能力和相关落地技术的探索,也就是 agent,我们开始思考一个根本问题——既然大模型的各项能力都是和人类对齐的,那么我们是不是应该使用人也能使用的工具来增强大模型了解垂类数据的能力?
CE:让大模型像人一样,用工具搜索答案
想象一个场景:一个中科大毕业的高材生,进入了一家新能源公司从事能源技术的研发,他了解内部文档的方法是通过向量嵌入和语义空间的最近邻吗?显然不是。那么依靠的是什么呢?大部分是系统自己的搜索引擎,少部分是他对能源技术本身的理解以及和同事的交流。根据计算机的二八定律,职业工程师只看主要矛盾,那么我们是否也应该让大模型通过我们提供好的内部文档的搜索引擎,让它自己来用这个搜索引擎不断搜索,接受反馈,执行剩下来的任务,也就是我在 锦恢的 AI Agent 小白教程(一)Agent 的基本概念与分类 中提到 Agent Loop:
答案是不确定的,所以我们和许多同行在上半年进行了大量的实验。我们惊喜地看到在几个应用上,这项技术被证明可行了,最典型的例子就是 claude code,claude code 的 Coding Agent 在根据我们的需求写代码时,就并不依靠向量数据库来了解和需求文本语义最靠近的代码片段,而是像一个程序员一样,通过查看当前项目的文件结构,全字匹配,正则表达式等等现成工具来“搜出”领域的上下文,从而完美完成代码工作。
显然,这套逻辑并不简单,它是一个工程任务,而这个任务的最终产物是塞入大模型 messages 数组的上下文,所以我们把这个工程大任务称为 context engineering,而在后续的文字中,虽然 rag 本质是 ce 的一个部分,但是显然这套方法论和 rag 是不一样的,所以为了更好区分,我们一般把给大模型提供额外工具“像人一样去专业领域搜索信息”的系统技术称为 agentic 或者干脆就叫 ce。
当我们不加上下文地说我们的这套系统是 ce 地实现的时候,默认我们就没有使用 e2e 的 rag。
为什么 CE 在 AI Coding 这个任务能成功
虽然我信奉奥卡姆剃刀,但是奥卡姆剃刀的哲学并非教我们踩一捧一,我这篇文章也不是来宣判 RAG 的死刑的,任何技术都需要具体情况具体分析,这才能体现工程师的专业感。
为什么相比于 rag,ce 可以更好在 Coding 这个任务成功?很简单,因为一个代码项目中,符合特定字段的条目 90% 的情况下都不会太多,比如你在 vscode 里面全局搜索 “realm”(一种特殊的嵌入式数据库),再大的项目搜到的结果一般也不会超过100条,比如下面是我开发的 Lagrange.onebot 的搜索结果。这些上下文对于大模型来说一点也不大。
如果结果太多,我们会勾选右侧的“区分大小写”或者“全字匹配模式”,或者干脆使用正则表达式。我敢打包票,我写过这么多项目,这个经验大部分情况都适用。
而这些逻辑,都是可以包装成一个个工具塞入 MCP 服务器中,让大模型自己在 Agent Loop 中去调用的。
当然,这套逻辑并不是银弹,要具体情况具体分析。claude code 这么做一个很大的原因也是在写代码这个任务下,基于关键词的全字匹配精度往往比基于向量的最近邻匹配靠谱且计算成本更低。放到别的下游场景中我想,就未必了,比如我最近在做的一个场景就是聊天软件的智能助手。聊天的历史信息在 x% 的情况下使用类似的方法就能搜到有效信息,这个 x 到底有多大呢?这就是我和 peacesheep 的工作了,我们最近正在真实场景下进行算法验证,后续我们不介意通过论文的形式向社区分享这一结果。
结论
总之,我想,通过这篇文章,你至少应该明白 CE 和 RAG 的区别到底是什么,以及,在新的agent系统一线开发中,我们又总结了哪些行业的“黑话”。
汇尘轩 - 锦恢的博客
RAG 和 CE 是什么关系?我们真的需要 RAG 吗?
contextengineering,简称CE,指的就是使用各种各样的方法来为大模型或者agent系统注入额外的上下文,从而实现你的业务场景。比如你要做一个公司的财务系统agent,大模型肯定不知道你
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: 锦恢)
Invalid media:
image
image
image
image
image
image
RAG 是实现 CE 的手段之一
context engineering,简称 CE,指的就是使用各种各样的方法来为大模型或者 agent 系统注入额外的上下文,从而实现你的业务场景。
比如你要做一个公司的财务系统 agent,大模型肯定不知道你家的各类信息呀,那么这个时候就需要注入额外的专业信息或者私密信息来让 agent 做出“只有知道这些私有信息才能做到的事情”。系统化地、优雅地、健全地实现这样一套“额外信息”/“上下文”注入的大模型组件,就叫做 CE。
所以显然,RAG 是实现 CE 的手段之一,这两玩意儿属于包含关系,CE 包含了 RAG,都是应对大模型不能了解场景专属信息,设计出的外挂组件。那么为什么最近又开始强调起了 CE,而非过去的 RAG 了呢?很简单,因为在很多专业场景中,大家发现 RAG 非常不好用,所以开始寻找一些其他的方法来实现上下文注入,这些方法的系统讨论,在过去半年被我们慢慢总结为 “CE”。
CE 技术最为典型的代表场景就是 AI Coding,而这个场景中,使用 CE 最为出色的代表就是 claude code。
我在 L 站的粉丝朋友有人问我为啥迟迟不更新 cursor apply 算法的内部解析,一来我最近在忙毕业论文和新的投稿的事情,二来,cursor 内部的一些算法已经过时,比如为啥 cursor 的运行内存占用那么大?因为内部运行了一个向量数据库。但是半年的实践下来,cursor 向量数据库的技术方案已经被 claude code 的基于 agentic 的 CE 爆了金币,你让我怎么继续写?
RAG 为啥难用
RAG 的难用是一线工程师们有目共睹的。使用 RAG 有一个非常典型的场景,那就是专业领域的AI咨询,在 The RAG Obituary: Killed by Agents, Buried by Context Windows 中,金融 AI 平台 Fintool 的架构师 Nicolas 举了几个他在开发 fintool 时,采用 RAG 遇到了的坑。
1. 上下文碎片化(Context Fragmentation):存入向量数据库的 chunk 往往是被分割开来的,但是真实查询一个问题对应的原文信息,可能横跨了连续的20页文档(真实案例),rag 的切分破坏了信息的连续,即便很多 rag 切分策略(比如 langchain 内置的 repeat 参数)可以让切分块直接存在重叠,但是仍然无法从根本上解决这个问题。
2. 语义搜索对数字失效(Semantic Search Fails on Numbers):"45.2M 美元"和"45,200,000 美元"的嵌入向量完全不同;“收入增加了 10%”和“收入增加了十成”的嵌入向量也不同;表格中的数字无法有效提取它对应行头和列头的说明文字组合成有效的信息。这些都严重影响了查询结果的召回率。
3. **缺乏因果理解(No Causal Understanding):**图表,表格,公式,段落,往往会在别的文档中被引用,从而扩充本段的逻辑和信息,且这种引用是递归的,RAG 的算法无法挖掘这种文档内部的因果关系,从而导致搜到的有效信息变少很多。
4. **术语不匹配问题(The Vocabulary Mismatch Problem):**专业术语在语义空间训练得很差,且不同公司对相同概念使用不同术语,导致没有在私有数据集充分训练的 RAG 表现很差。可能出现相似术语离得很远,不同术语靠得很近,从而让查询结果出现概念性错误。
5. **时间盲区(Temporal Blindness):**无法可靠区分2024年Q3和2023年Q3的数据,经常混淆当期与前期对比。本质上是因为特定领域的某些因素的搜索权重并没有同步到 RAG 中。没有专业领域知识也无法事先将这些权重设计到 RAG 中。
这些令人感到恶心的点,也开始让我们不得不回到起点,去思考一切的起点,不能为了 rag 而 rag,我们最初做 rag 是为了什么?
我们当初为什么要做 rag?
对,是为了把垂类知识(domain specific knowledge)塞入大模型,从而让大模型或基于大模型的应用能解答私有领域知识的。
那为什么要用 rag 呢?
因为大模型处理文本就会先进行嵌入,把句子转化成向量组,而 word2vec 实验让 nlp 领域慢慢形成了,嵌入空间能够反映一定的语义相关性,我们只是复用了这套逻辑,将大模型的“前端”构造成了一个搜索器,这就是 rag 的由来。
但是随着我们对大模型在具体执行任务上能力和相关落地技术的探索,也就是 agent,我们开始思考一个根本问题——既然大模型的各项能力都是和人类对齐的,那么我们是不是应该使用人也能使用的工具来增强大模型了解垂类数据的能力?
CE:让大模型像人一样,用工具搜索答案
想象一个场景:一个中科大毕业的高材生,进入了一家新能源公司从事能源技术的研发,他了解内部文档的方法是通过向量嵌入和语义空间的最近邻吗?显然不是。那么依靠的是什么呢?大部分是系统自己的搜索引擎,少部分是他对能源技术本身的理解以及和同事的交流。根据计算机的二八定律,职业工程师只看主要矛盾,那么我们是否也应该让大模型通过我们提供好的内部文档的搜索引擎,让它自己来用这个搜索引擎不断搜索,接受反馈,执行剩下来的任务,也就是我在 锦恢的 AI Agent 小白教程(一)Agent 的基本概念与分类 中提到 Agent Loop:
答案是不确定的,所以我们和许多同行在上半年进行了大量的实验。我们惊喜地看到在几个应用上,这项技术被证明可行了,最典型的例子就是 claude code,claude code 的 Coding Agent 在根据我们的需求写代码时,就并不依靠向量数据库来了解和需求文本语义最靠近的代码片段,而是像一个程序员一样,通过查看当前项目的文件结构,全字匹配,正则表达式等等现成工具来“搜出”领域的上下文,从而完美完成代码工作。
显然,这套逻辑并不简单,它是一个工程任务,而这个任务的最终产物是塞入大模型 messages 数组的上下文,所以我们把这个工程大任务称为 context engineering,而在后续的文字中,虽然 rag 本质是 ce 的一个部分,但是显然这套方法论和 rag 是不一样的,所以为了更好区分,我们一般把给大模型提供额外工具“像人一样去专业领域搜索信息”的系统技术称为 agentic 或者干脆就叫 ce。
当我们不加上下文地说我们的这套系统是 ce 地实现的时候,默认我们就没有使用 e2e 的 rag。
为什么 CE 在 AI Coding 这个任务能成功
虽然我信奉奥卡姆剃刀,但是奥卡姆剃刀的哲学并非教我们踩一捧一,我这篇文章也不是来宣判 RAG 的死刑的,任何技术都需要具体情况具体分析,这才能体现工程师的专业感。
为什么相比于 rag,ce 可以更好在 Coding 这个任务成功?很简单,因为一个代码项目中,符合特定字段的条目 90% 的情况下都不会太多,比如你在 vscode 里面全局搜索 “realm”(一种特殊的嵌入式数据库),再大的项目搜到的结果一般也不会超过100条,比如下面是我开发的 Lagrange.onebot 的搜索结果。这些上下文对于大模型来说一点也不大。
如果结果太多,我们会勾选右侧的“区分大小写”或者“全字匹配模式”,或者干脆使用正则表达式。我敢打包票,我写过这么多项目,这个经验大部分情况都适用。
而这些逻辑,都是可以包装成一个个工具塞入 MCP 服务器中,让大模型自己在 Agent Loop 中去调用的。
当然,这套逻辑并不是银弹,要具体情况具体分析。claude code 这么做一个很大的原因也是在写代码这个任务下,基于关键词的全字匹配精度往往比基于向量的最近邻匹配靠谱且计算成本更低。放到别的下游场景中我想,就未必了,比如我最近在做的一个场景就是聊天软件的智能助手。聊天的历史信息在 x% 的情况下使用类似的方法就能搜到有效信息,这个 x 到底有多大呢?这就是我和 peacesheep 的工作了,我们最近正在真实场景下进行算法验证,后续我们不介意通过论文的形式向社区分享这一结果。
结论
总之,我想,通过这篇文章,你至少应该明白 CE 和 RAG 的区别到底是什么,以及,在新的agent系统一线开发中,我们又总结了哪些行业的“黑话”。
行业黑话的本质在于降低熟练工之间的交流成本,你也不想每天和我交流都先交代一万个词条的术语吧?我咖啡都做了不知道多少杯了。原文转载自我自己的博客:
汇尘轩 - 锦恢的博客
RAG 和 CE 是什么关系?我们真的需要 RAG 吗?
contextengineering,简称CE,指的就是使用各种各样的方法来为大模型或者agent系统注入额外的上下文,从而实现你的业务场景。比如你要做一个公司的财务系统agent,大模型肯定不知道你
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: 锦恢)
Invalid media:
image
image
image
image
image
image
博客最近不收录了,佬友们可以帮忙看看吗,如果能帮忙解决可以有偿(价格合适的话)
问题
● 1、博客之前还能被谷歌收录,现在却直接查不到了
● 2、bing之前文章能很快收录,现在将近一个月的文章也没有收录了
相关补充
之前博客前面几篇文章的链接修改了slug
目前,博客采用notionnext搭建,notion做数据库,vercel做服务器,国内解析使用腾讯的,国外使用vercel的
知识共享链接
site:blog.zhishigongxiang.com - Google 搜索
site:blog.zhishigongxiang.com - 搜索
3 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: fooltal)
Invalid media:
image
image
问题
● 1、博客之前还能被谷歌收录,现在却直接查不到了
● 2、bing之前文章能很快收录,现在将近一个月的文章也没有收录了
相关补充
之前博客前面几篇文章的链接修改了slug
目前,博客采用notionnext搭建,notion做数据库,vercel做服务器,国内解析使用腾讯的,国外使用vercel的
知识共享链接
site:blog.zhishigongxiang.com - Google 搜索
site:blog.zhishigongxiang.com - 搜索
3 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: fooltal)
Invalid media:
image
image
当极客开始浪漫:我把网站写进了NFC冰箱贴里
前两天发现有冰箱贴可以DIY,然后就用AI生成的个人网站LOGO做了一个冰箱贴(有NFC功能)。
今天到货了,整体质量还不错,但就是NFC里面是空的,需要自己写入网址,这个可麻烦了。
折腾大半天,终于零成本给冰箱贴写进了 NFC 网址。
踩坑过程就不倒苦水了,只想说一句:国内某些 APP 乱成一锅粥,打开全是广告,功能没见着,脾气先被磨没了。
具体教程内容就不再复制粘贴了,哈哈。。我直接写在我个人的Blog里面了!
Evan's Space
当极客开始浪漫:我把网站写进了NFC冰箱贴里
前两天发现有冰箱贴可以DIY,然后就用AI生成的LOGO做了一个冰箱贴(有NFC功能)。 折腾大半天,终于零成 […]
4 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: Evan)
Invalid media:
image
image
image
前两天发现有冰箱贴可以DIY,然后就用AI生成的个人网站LOGO做了一个冰箱贴(有NFC功能)。
今天到货了,整体质量还不错,但就是NFC里面是空的,需要自己写入网址,这个可麻烦了。
折腾大半天,终于零成本给冰箱贴写进了 NFC 网址。
踩坑过程就不倒苦水了,只想说一句:国内某些 APP 乱成一锅粥,打开全是广告,功能没见着,脾气先被磨没了。
具体教程内容就不再复制粘贴了,哈哈。。我直接写在我个人的Blog里面了!
Evan's Space
当极客开始浪漫:我把网站写进了NFC冰箱贴里
前两天发现有冰箱贴可以DIY,然后就用AI生成的LOGO做了一个冰箱贴(有NFC功能)。 折腾大半天,终于零成 […]
4 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: Evan)
Invalid media:
image
image
image
做了一个瓦罗兰特举报系统
最近自己打瓦和看电子榨菜时经常能遇见ez哥和便是哥以及各种逆天人物,总是想着如果有一个系统能把被举报的人公示出来就好了,每次打瓦的时候搜一下对面如果有逆天哥在直接退都行(排位当然不建议这样做,不过匹配的时候可以减少不必要麻烦)。刚好最近学习了fastapi,结合codex搭建了一个小平台出来,大家可以帮忙测测看有哪些需要完善的地方,地址在图片中
2 posts - 2 participants
Read full topic
via LINUX DO - 最新话题 (author: hhhhhuu)
Invalid media:
image
image
最近自己打瓦和看电子榨菜时经常能遇见ez哥和便是哥以及各种逆天人物,总是想着如果有一个系统能把被举报的人公示出来就好了,每次打瓦的时候搜一下对面如果有逆天哥在直接退都行(排位当然不建议这样做,不过匹配的时候可以减少不必要麻烦)。刚好最近学习了fastapi,结合codex搭建了一个小平台出来,大家可以帮忙测测看有哪些需要完善的地方,地址在图片中
2 posts - 2 participants
Read full topic
via LINUX DO - 最新话题 (author: hhhhhuu)
Invalid media:
image
image
豆包:妹子30岁就老了?Seedream 4.0 对不同年龄的生成效果
提示词均为:XX岁,女,正脸,全身
一共生成15-32岁的图片,豆包/即梦 生成30岁时似乎格外显老 :distorted_face:
:distorted_face:
15-18岁:
19-29岁:
重点来了
:distorted_face:
6 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: 只因你太美 😈)
Invalid media:
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
提示词均为:XX岁,女,正脸,全身
一共生成15-32岁的图片,豆包/即梦 生成30岁时似乎格外显老 :distorted_face:
:distorted_face:
15-18岁:
19-29岁:
重点来了
:distorted_face:
6 posts - 3 participants
Read full topic
via LINUX DO - 最新话题 (author: 只因你太美 😈)
Invalid media:
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
image
codex和claude code如何搭配使用比较合适呢
codex本身可以作为一个mcp服务使用,之前看到佬友们有很多有趣的玩法。
有让claude code作为项目经理列计划,codex写代码干活的。
还有claude code写代码,codex做质量检查的。
大家觉得还有其他用法吗?以及除了ai做代码检查,一般会用什么静态的代码测试工具,或者类似的mcp吗。
2 posts - 2 participants
Read full topic
via LINUX DO - 最新话题 (author: OEAC)
codex本身可以作为一个mcp服务使用,之前看到佬友们有很多有趣的玩法。
有让claude code作为项目经理列计划,codex写代码干活的。
还有claude code写代码,codex做质量检查的。
大家觉得还有其他用法吗?以及除了ai做代码检查,一般会用什么静态的代码测试工具,或者类似的mcp吗。
2 posts - 2 participants
Read full topic
via LINUX DO - 最新话题 (author: OEAC)
clawcloud 7刀的快到期了,续费要36刀,有没有替代品
虽然clawcloud的名声很差,但是我这用的很好,或者谁有有以前12.6一年的闲置了,转移给我,我出剩余价值和转移费用,现在新的18刀一年
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: hallfay)
虽然clawcloud的名声很差,但是我这用的很好,或者谁有有以前12.6一年的闲置了,转移给我,我出剩余价值和转移费用,现在新的18刀一年
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: hallfay)
兄弟们像素蛋糕也太贵了,有平替吗?
算了下 800张 299元 平均0.267一张,离谱
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: xiaoming728)
算了下 800张 299元 平均0.267一张,离谱
1 post - 1 participant
Read full topic
via LINUX DO - 最新话题 (author: xiaoming728)
ChatGPT离谱事件:账号密码完全正确但是登录不进去
已经尝试重置过无数遍密码了,前几天还用的好好的,这下里面重要聊天记录全部丢失了
类似报告:https://www.reddit.com/r/ChatGPT/comments/1khrrmj/log_in_issue/
16 posts - 9 participants
Read full topic
via LINUX DO - 最新话题 (author: Hsiangron)
Invalid media: image
已经尝试重置过无数遍密码了,前几天还用的好好的,这下里面重要聊天记录全部丢失了
类似报告:https://www.reddit.com/r/ChatGPT/comments/1khrrmj/log_in_issue/
16 posts - 9 participants
Read full topic
via LINUX DO - 最新话题 (author: Hsiangron)
Invalid media: image
windows转mac最大的不适应是什么? 需要先习惯的是啥??
9 posts - 8 participants
Read full topic
via LINUX DO - 最新话题 (author: XC W)
9 posts - 8 participants
Read full topic
via LINUX DO - 最新话题 (author: XC W)