最近尝试体验部署fastgpt+chatglm3+m3e的私有化知识库，说说感受：
1、fastgpt的整体逻辑和使用感受非常直观，知识库的导入、创建，应用的编排、发布过程新手非常友好。
2、除了chatglm外，一键部署
存在的问题
1、知识库搜索慢，可能是开启了问题补全导致的，但我关了以后同样很慢。
2、文档分词比较混乱，需要手动调整的比较多。
同类型的工具也有很多：dify、chatchat、coze 都可以体验体验。
https://doc.fastai.site/docs/development/faq/
1、fastgpt的整体逻辑和使用感受非常直观，知识库的导入、创建，应用的编排、发布过程新手非常友好。
2、除了chatglm外，一键部署
存在的问题
1、知识库搜索慢，可能是开启了问题补全导致的，但我关了以后同样很慢。
2、文档分词比较混乱，需要手动调整的比较多。
同类型的工具也有很多：dify、chatchat、coze 都可以体验体验。
https://doc.fastai.site/docs/development/faq/
👍2
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。
开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好；
无缝嵌入：支持零编码快速嵌入到第三方业务系统；
多模型支持：支持对接主流的大模型，包括本地私有大模型（如 Llama 2）、Azure OpenAI 和百度千帆大模型等。
开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好；
无缝嵌入：支持零编码快速嵌入到第三方业务系统；
多模型支持：支持对接主流的大模型，包括本地私有大模型（如 Llama 2）、Azure OpenAI 和百度千帆大模型等。
GitHub
GitHub - 1Panel-dev/MaxKB: 🔥 MaxKB is an open-source platform for building enterprise-grade agents. 强大易用的开源企业级智能体平台。
🔥 MaxKB is an open-source platform for building enterprise-grade agents. 强大易用的开源企业级智能体平台。 - 1Panel-dev/MaxKB
👍2
[译] 如何训练一个企业级 GPT 助手（OpenAI，2023）
http://arthurchiao.art/blog/how-to-train-a-gpt-assistant-zh/
[译] 大模型推理的极限：理论分析、数学建模与 CPU/GPU 实测（2024）
http://arthurchiao.art/blog/llm-inference-speed-zh/
http://arthurchiao.art/blog/how-to-train-a-gpt-assistant-zh/
[译] 大模型推理的极限：理论分析、数学建模与 CPU/GPU 实测（2024）
http://arthurchiao.art/blog/llm-inference-speed-zh/
ArthurChiao's Blog
[译] 大模型推理的极限：理论分析、数学建模与 CPU/GPU 实测（2024）
本文翻译自 2024 年的一篇文章： LLM inference speed of light， 分析了大模型推理的速度瓶颈及量化评估方式，并给出了一些实测数据（我们在国产模型上的实测结果也大体吻合）， 对理解大模型推理内部工作机制和推理优化较有帮助。
👍1
Forwarded from Newlearnerの自留地 (Shigeru)
#Browser #Tools
🛞 Elmo：开箱即用的 AI Chrome 拓展
🔗 Web | Chrome Web Store
ℹ️ 关于 Elmo
- 由原阿里巴巴技术副总裁 贾扬清 创立的 Lepton AI 团队打造的一款 Chrome 拓展；
- 完全免费，无需账号，开箱即用。「Elmo 是你的 AI 网络助手，帮助你提取总结、发掘洞见，并拓展你的知识」。
✨ 功能亮点
- 快速总结网页内容并生成要点，适合需要快速获取信息或者大致了解主题的用户；
- 针对当前网页内容提出问题并获取答案，节省搜索资料所花费的时间和精力；
- 无需离开当前页面，从网络上抓取与关键词相关的信息并无缝融入到你的浏览体验中；
- 把 PDF 或者 YouTube 当成 Chatbot 一样进行提问对话，让你在处理大量文本或者理解晦涩视频时更加轻松；
- 除此之外，Elmo 还支持翻译、改写等功能。
👀 我的看法
在一则 推文 中，Lepton AI 团队的创始人贾扬清提到创建 Elmo 的缘由：「因为我们深信开源模型的力量至今仍被严重低估。Elmo 完全建立在开源 LLM 的基础上，如果使用得当，开源模型能够提高出乎意料的优秀性能，并且可高度自定义——这对于企业来说是非常有帮助的」。从这个角度上来说，Elmo 跟 Lepton AI、ChatGPT 跟 OpenAI 的关系颇为相似。如果你正在寻找一款开箱即用、完全免费的 AI 拓展，那么不妨来试试 Elmo。
P.S. 由于 Elmo 运行在浏览器的侧边栏（sidepanel）中，而 Arc 浏览器目前还不支持侧边栏 API，因此使用 Arc 浏览器的用户暂时无法体验 Elmo。
📁 本文首发于 Humanitech 频道，图文版见 小红书。
频道：@NewlearnerChannel
🛞 Elmo：开箱即用的 AI Chrome 拓展
🔗 Web | Chrome Web Store
ℹ️ 关于 Elmo
- 由原阿里巴巴技术副总裁 贾扬清 创立的 Lepton AI 团队打造的一款 Chrome 拓展；
- 完全免费，无需账号，开箱即用。「Elmo 是你的 AI 网络助手，帮助你提取总结、发掘洞见，并拓展你的知识」。
✨ 功能亮点
- 快速总结网页内容并生成要点，适合需要快速获取信息或者大致了解主题的用户；
- 针对当前网页内容提出问题并获取答案，节省搜索资料所花费的时间和精力；
- 无需离开当前页面，从网络上抓取与关键词相关的信息并无缝融入到你的浏览体验中；
- 把 PDF 或者 YouTube 当成 Chatbot 一样进行提问对话，让你在处理大量文本或者理解晦涩视频时更加轻松；
- 除此之外，Elmo 还支持翻译、改写等功能。
👀 我的看法
在一则 推文 中，Lepton AI 团队的创始人贾扬清提到创建 Elmo 的缘由：「因为我们深信开源模型的力量至今仍被严重低估。Elmo 完全建立在开源 LLM 的基础上，如果使用得当，开源模型能够提高出乎意料的优秀性能，并且可高度自定义——这对于企业来说是非常有帮助的」。从这个角度上来说，Elmo 跟 Lepton AI、ChatGPT 跟 OpenAI 的关系颇为相似。如果你正在寻找一款开箱即用、完全免费的 AI 拓展，那么不妨来试试 Elmo。
P.S. 由于 Elmo 运行在浏览器的侧边栏（sidepanel）中，而 Arc 浏览器目前还不支持侧边栏 API，因此使用 Arc 浏览器的用户暂时无法体验 Elmo。
📁 本文首发于 Humanitech 频道，图文版见 小红书。
频道：@NewlearnerChannel
❤1👍1