#程序员
使用检索增强（Retrieval-Augmented Generation，RAG）可以缓解大模型的幻觉问题，从而避免大模型胡说八道，但传统的 RAG 存在一个很大的弊端——无论内容跟输入是否有足够的关联、对事实是否有足够的支撑，搜索模块都会不加区分地将内容召回，然后交给大模型来进行推理，这会很大程度降低大模型的多功能性，并导致生成质量不佳。
Self-RAG，https://selfrag.github.io，在一定程度上解决了这个问题。它设计了一个算法，将内容召回过程与大模型的推理过程进行了深度结合，大致思路如下：
1）设计了一些标签，包括「是否检索」（Retrieve）、「内容是否相关」（ISREL）、「内容是否支撑事实」（ISSUP）、「内容是否可用」（ISUSE）等，可以理解它们是对检索内容进行评分的工具
2）循环「推理->检索->过滤->评分」这个流程，在推理过程中，结合已有的信息和 LLM 的反馈，来判断要不要继续检索，过程中会获得足够多的包含了评分的内容
3）根据已获得的信息的权重进行重新整理，将与内容相关、能够支撑事实以及高可用的内容保留下来
4）可以进行全局设定，对于事实性要求高的推理任务，增加检索频次；对于创造性要求高的推理任务，减少检索频次
这个算法思路的表现非常良好，只不过在过程中需要跟大模型进行多次交互，与 ToT（Tree of Thought） 类似，比较消耗资源。
它有一个工程上的完整实现，可以戳这个项目：https://github.com/AkariAsai/self-rag
使用检索增强（Retrieval-Augmented Generation，RAG）可以缓解大模型的幻觉问题，从而避免大模型胡说八道，但传统的 RAG 存在一个很大的弊端——无论内容跟输入是否有足够的关联、对事实是否有足够的支撑，搜索模块都会不加区分地将内容召回，然后交给大模型来进行推理，这会很大程度降低大模型的多功能性，并导致生成质量不佳。
Self-RAG，https://selfrag.github.io，在一定程度上解决了这个问题。它设计了一个算法，将内容召回过程与大模型的推理过程进行了深度结合，大致思路如下：
1）设计了一些标签，包括「是否检索」（Retrieve）、「内容是否相关」（ISREL）、「内容是否支撑事实」（ISSUP）、「内容是否可用」（ISUSE）等，可以理解它们是对检索内容进行评分的工具
2）循环「推理->检索->过滤->评分」这个流程，在推理过程中，结合已有的信息和 LLM 的反馈，来判断要不要继续检索，过程中会获得足够多的包含了评分的内容
3）根据已获得的信息的权重进行重新整理，将与内容相关、能够支撑事实以及高可用的内容保留下来
4）可以进行全局设定，对于事实性要求高的推理任务，增加检索频次；对于创造性要求高的推理任务，减少检索频次
这个算法思路的表现非常良好，只不过在过程中需要跟大模型进行多次交互，与 ToT（Tree of Thought） 类似，比较消耗资源。
它有一个工程上的完整实现，可以戳这个项目：https://github.com/AkariAsai/self-rag
👍2
「99%的人都不知道的Google搜索功能使用的技巧」
1）搜索特定内容：使用“”号，它会完全按照您输入的内容搜索该短语。
2）使用冒号搜索特定站点内容，例如AI：twitter.com
3）查找其他类似的站点，例如 related：gptshunter.com
4）查找特定文件，例如LLMs:PDF，它就会只展示LLMs相关的所有pdf文件
5）查找社交媒体上的内容，例如AI@twitter
6）寻找特定颜色、尺寸、版权、时间或类型的图像，在图片页搜索完成后点击颜色调整按钮
7）Google快讯，如果你希望网络上发布关键词时收到通知，你可以创建订阅google的快讯
8）使用-排除单词或短语，Rocky -film 将显示与“rocky”相关的一般结果，但不显示电影film
9）在单词前面添加波形符 ~以查找同义词 如果您搜索 iPhone ~cheap，您还会得到“iPhone Cheap”等结果
1）搜索特定内容：使用“”号，它会完全按照您输入的内容搜索该短语。
2）使用冒号搜索特定站点内容，例如AI：twitter.com
3）查找其他类似的站点，例如 related：gptshunter.com
4）查找特定文件，例如LLMs:PDF，它就会只展示LLMs相关的所有pdf文件
5）查找社交媒体上的内容，例如AI@twitter
6）寻找特定颜色、尺寸、版权、时间或类型的图像，在图片页搜索完成后点击颜色调整按钮
7）Google快讯，如果你希望网络上发布关键词时收到通知，你可以创建订阅google的快讯
8）使用-排除单词或短语，Rocky -film 将显示与“rocky”相关的一般结果，但不显示电影film
9）在单词前面添加波形符 ~以查找同义词 如果您搜索 iPhone ~cheap，您还会得到“iPhone Cheap”等结果
👍3
AI中的1岁和18岁
公众号季更，立个flag，后面月更！
“AI创业进行了大半年后，除了大模型的进展，整个市场都在等着AI创业交答卷——交出爆款应用，但似乎不够多，原因是什么？
本质原因是基础模型处于1岁还是18岁。”
公众号季更，立个flag，后面月更！
“AI创业进行了大半年后，除了大模型的进展，整个市场都在等着AI创业交答卷——交出爆款应用，但似乎不够多，原因是什么？
本质原因是基础模型处于1岁还是18岁。”
#程序员
一张有趣的耗时对比图。另外再补充几个栽过跟头的数据知识。
同机房内调用的 RT 是 100µs，上次正好遇到了一个监控告警，redis 平均时延从 100µs+ 飙升到了 500µs+，原因是一个数据分区的有硬件故障，自动切换到了另外一个可用区，导致所有 proxy 节点与这个 data 节点变成了跨可用区调用，也就是变成了 1ms+，拉高平均耗时。
同城跨可用区（AZ）调用一般在 1.9ms 以内，距离是 20~80km，这是标准要求；在光纤光缆中，每公里会造成 4.9µs 的延迟，电缆中的每个弯曲或缺陷都会降低网络速度；跨城调用，例如杭州到上海，时延会在 3.8ms~10.8ms 不等，主要看两个可用区之间的分布距离；在做异地灾备的时候，10ms 的时延基本就挺难接受了，因此异地灾备一般都是冷备，如果要做异地多活，就得考虑数据单元化，做水平 sharding，或者考虑做应用层做，数据弱一致。
洲际时延是 100ms 以上，在不走专线的情况下，ping 一台海外机器，时延 100ms+ 都是很正常的，走专线会快很多，例如电信的 CN2（AS4809），联通的 CHINA169（AS4837）等，专线的价格会贵很多很多；可以使用 ping.pe 这个在线工具进行测试，它提供的 traceroute 包含了 AS 信息，可以确认自己走的是什么线路，也可以根据线路来判断服务商提供的主机网络是不是真的靠谱。
一张有趣的耗时对比图。另外再补充几个栽过跟头的数据知识。
同机房内调用的 RT 是 100µs，上次正好遇到了一个监控告警，redis 平均时延从 100µs+ 飙升到了 500µs+，原因是一个数据分区的有硬件故障，自动切换到了另外一个可用区，导致所有 proxy 节点与这个 data 节点变成了跨可用区调用，也就是变成了 1ms+，拉高平均耗时。
同城跨可用区（AZ）调用一般在 1.9ms 以内，距离是 20~80km，这是标准要求；在光纤光缆中，每公里会造成 4.9µs 的延迟，电缆中的每个弯曲或缺陷都会降低网络速度；跨城调用，例如杭州到上海，时延会在 3.8ms~10.8ms 不等，主要看两个可用区之间的分布距离；在做异地灾备的时候，10ms 的时延基本就挺难接受了，因此异地灾备一般都是冷备，如果要做异地多活，就得考虑数据单元化，做水平 sharding，或者考虑做应用层做，数据弱一致。
洲际时延是 100ms 以上，在不走专线的情况下，ping 一台海外机器，时延 100ms+ 都是很正常的，走专线会快很多，例如电信的 CN2（AS4809），联通的 CHINA169（AS4837）等，专线的价格会贵很多很多；可以使用 ping.pe 这个在线工具进行测试，它提供的 traceroute 包含了 AS 信息，可以确认自己走的是什么线路，也可以根据线路来判断服务商提供的主机网络是不是真的靠谱。
👍4