硬核开源智库
812 subscribers
42 photos
1.12K links
提供硬核学习资源,探索开源力量,驾驭AI未来! 本频道精选GitHub优质开源项目、最新人工智能(AI)技术进展、前沿科技资讯以及各类有价值的学习资源,助你站在技术浪潮之巅,实现知识与技能的快速跃迁。无论你是开发者、AI爱好者还是技术探索者,都能在这里找到属于你的宝藏!
Download Telegram
Awesome-RAG:为生成式AI提供检索增强生成(RAG)应用的资源大列表。

汇集了10多种RAG实现方法,涵盖从基础到高级的多种应用场景;整理了20+框架和工具,助力开发者快速上手;提供了丰富的评估指标和数据库资源,全方位支持RAG开发
#RAG
Chatwiki:基于企业私有知识库的智能客服机器人问答系统,为企业量身打造专属AI客服,解决客户咨询难题。

支持20多种主流大模型,灵活适配企业需求;文档图片智能提取,问答时精准图文回复;提供企业级多级权限控制,保障数据安全
#LLM #RAG
Crawl4AI RAG MCP Server:为AI Agent和AI Coding Assistant提供强大的网络爬虫和RAG能力的MCP 服务器的实现。

支持智能URL检测,自动处理多种URL类型;递归爬取网站内容,支持并行处理,效率大幅提升;集成Supabase和OpenAI,实现精准语义搜索和知识检索
#资源参考 #网络爬虫 #RAG #MCP
Simba 是一个开源知识管理系统,旨在与任何检索增强生成 (RAG) 系统无缝集成。

借助现代化的 UI 和模块化架构,开发人员可以专注于构建人工智能解决方案,而不必担心知识管理的复杂性。

🧬 https://github.com/GitHamza0206/simba

#tools #资源参考 #RAG
Simba 是一个开源知识管理系统,旨在与任何检索增强生成 (RAG) 系统无缝集成。

借助现代化的 UI 和模块化架构,开发人员可以专注于构建人工智能解决方案,而不必担心知识管理的复杂性。

🧬 https://github.com/GitHamza0206/simba
#资源参考 #RAG
Colette:面向技术文档的本地多模态检索增强生成(RAG)开源平台

• 核心采用视觉RAG(V-RAG)技术,将文档转为图像处理,完整保留图表、布局等视觉元素,提升对复杂技术文档的理解能力
• 支持文本RAG,结合非结构化文本抽取、嵌入和主流大语言模型,实现多模态融合检索与交互
• 多模型支持,兼容多种嵌入器与视觉语言模型,灵活适配不同场景
• 集成图像生成(diffusers),增强交互体验与内容创作能力
• 自托管部署,基于Docker,满足数据隐私需求,适合存储和处理敏感技术资料
• 适用环境配置明确(GPU≥24GB,内存≥16GB,磁盘≥50GB),确保性能稳定
• 详细命令行与Python API示例,方便快速集成与二次开发
• 困难排查指南助力优化检索准确性,支持社区反馈与持续迭代

从本质看,Colette围绕“视觉优先”的多模态理解方法,突破传统文本检索局限,提升技术文档智能交互的深度和精度,适合企业与研发机构构建安全、可控的知识管理系统。
#资源参考 #RAG
Ragflow-Plus:基于 Ragflow 的二次开发,专注解决实际应用痛点,提升知识库管理与文档交互效率。

• 全新后台管理系统:支持用户、团队、配置、文件与知识库统一管理,提升运维便捷度
• 权限回收机制:前端权限收缩,简化操作界面,保障安全与易用并重
• 解析能力升级:引入 MinerU 替代 DeepDoc,增强文本与图片解析效果,实现图文结合输出
• 文档撰写模式革新:全新交互体验,优化内容创作流程,适合多场景知识沉淀
• 开箱即用:提供 Docker 快速部署方案,配套视频教程与详细文档支持
• 开源透明:遵循 AGPLv3 许可证,支持商业使用,保障软件自由与合规
• 社群活跃:官方社群讨论技术与使用,支持持续贡献与共建

Ragflow-Plus 深耕知识管理本质,结合技术迭代与用户需求,助力打造高效、灵活的智能文档与问答平台。
#资源参考 #RAG
MaxKB:打造企业级智能体的开源利器,集成最新RAG技术与多模态交互,助力复杂业务场景智能升级。

RAG Pipeline支持文档上传与自动爬取,自动分割与向量化极大降低大模型幻觉,提升问答准确率。
• 强大的Agentic Workflow引擎搭配丰富函数库和MCP工具,灵活编排AI流程,适配多样复杂业务需求。
• 无需编码即可快速无缝集成至现有系统,快速赋能智能客服、知识库、学研和教育场景,提升用户体验。
• 模型无关设计,兼容DeepSeek、Llama、Qwen等私有模型和OpenAI、Claude、Gemini等公有模型,灵活选型。
• 原生支持文本、图片、音频、视频多模态输入输出,拓展智能体交互边界。
• 基于Vue.js、Python/Django和LangChain技术栈,稳定高效,数据存储采用PostgreSQL+pgvector保障性能。

MaxKB让企业智能体建设不再受限于复杂开发,快速实现业务智能化转型的同时,降低风险和成本。
#资源参考 #RAG #企业RAG
ApeRAG:面向生产的多模态 Graph RAG 平台,融合多维索引与智能 AI Agent,助力构建企业级知识图谱与上下文工程。

• 多类型索引支持:向量、全文检索、图谱、摘要及视觉索引,实现文档多模态深度理解和检索。
• 智能 AI Agents:内置基于 MCP 协议的智能代理,自动识别相关知识集合,支持自然语言查询和 Web 搜索,提升问答准确度。
• 图谱增强:基于深度定制 LightRAG,支持实体归一化,构建更清晰的知识关系网络,改善推理能力。
• 多模态处理与视觉支持:不仅处理文本,还能解析图像、表格、公式,适应复杂文档场景,集成 MinerU 加速解析。
• 混合检索引擎:结合图谱、向量、全文、摘要及视觉检索,打破单一检索瓶颈,实现全方位知识获取。
• 企业级部署:支持 Kubernetes 集群部署,配套 Helm charts 和 KubeBlocks 自动化数据库安装(PostgreSQL、Redis、Qdrant、Elasticsearch、Neo4j),保障高可用与弹性扩展。
• 完善管理功能:日志审计、LLM 模型管理、图谱可视化、文档管理及 Agent 工作流管理,满足企业合规和运营需求。
• 开发友好:FastAPI + React 架构,支持异步任务调度(Celery),详尽开发文档和贡献指南,便于定制和二次开发。
#资源参考 #工具 #RAG
ComoRAG:面向长文本与多文档的认知启发式记忆组织RAG系统,突破传统RAG单步无状态限制,实现动态、迭代的叙事推理🧠

• 适用场景:长篇故事、多文档问答、信息抽取与知识图构建
• 核心理念:推理-探查-检索-整合-解决,模拟大脑记忆动态交互,支持状态化长篇叙事理解
• 技术融合:多种LLMs与本地/远程embedding模型,图增强检索与推理,灵活数据预处理与分块
• 迭代推理循环:遇阻即发起多轮探查查询,持续扩充全局记忆池,逐步形成连贯上下文
• 性能优势:在4个超长上下文基准测试(20万+ Token)中,相较强基线提升最高11%,特别擅长复杂全局认知任务
• 设计模块化且可扩展,支持多种评测指标(F1、EM等),适合科研和工业应用
• 两种运行ComoRAG 打破传统 RAG 单步检索的局限,采用类脑认知机制,实现长文档和多文档的状态化推理,显著提升复杂叙事理解能力。🧠

• 迭代推理循环:遇阻即发起多轮推理,动态交互记忆工作区,类似人脑记忆整合过程
• 针对性探查查询:每轮生成探针,精准挖掘新证据路径,避免信息冗余与遗漏
• 全局记忆池:持续整合新旧信息,构建连贯上下文,实现长期记忆式检索
• 多任务适用:支持长文QA、信息抽取、知识图谱构建,兼容多种LLM与本地/远程Embedding模型
• 图增强推理:结合图结构提升实体关系理解,助力复杂推理与知识融合
• 丰富评测指标:F1、EM等多维度量化模型表现,确保结果科学可靠
• 开源且模块化设计,支持灵活定制与扩展,适合科研与落地应用

实现细节涵盖Python 3.10+,支持OpenAI API和本地vLLM部署,满足速度、隐私及成本多样需求。相较传统RAG,在四大长文本基准上最高提升11%表现,针对长距离、动态多步复杂推理展现显著优势。

核心流程:Reason → Probe → Retrieve → Consolidate → Resolve,重塑检索增强生成的认知深度。
#资源参考 #工具 #RAG
在线智能问答系统,文档上传、向量检索、模型推理一体化,轻松实现本地RAG入门体验。

Local PDF Chat RAG 是一个开源项目,专为想理解并动手实践检索增强生成(RAG)技术的初学者设计。它结合了PDF处理、FAISS向量检索、多模型集成等核心模块,帮助你从源码层面掌握RAG的底层流程。

主要功能:

- 多PDF文档上传与自动文本切割向量化
- 本地FAISS向量数据库构建与高效语义检索
- 混合BM25关键词检索提升召回率
- 交叉编码器及大模型(支持本地 Ollama 和云端 SiliconFlow)结果重排序
- 支持联网搜索增强回答的时效性(需配置SerpAPI密钥)
- 递归式深度检索,自动生成新查询,提升答复深度
- Gradio交互式Web UI,操作简单直观
- 本地化优先,保护数据隐私

适合科研、开发者和RAG技术爱好者快速上手,理解RAG的全流程细节。
#资源参考 #工具 #RAG
AI工程不断迭代升级,想掌握LLM、RAG和智能代理的实战技巧?

AI Engineering Hub 是一个集深度教程与实战案例于一体的开源项目,覆盖大语言模型、检索增强生成、AI代理等前沿内容。无论你是入门者、开发者还是研究者,都能在这里找到丰富资源,助力项目落地和技能提升。

主要特色:
- 系统讲解大型语言模型(LLM)和检索增强生成(RAG)技术
- 丰富的AI智能代理实战案例,展示真实业务应用
- 详细示例代码,方便快速上手和二次开发
- 免费数据科学电子书赠送,涵盖150+核心课程,订阅即得
#资源参考 #AI Engineering Hub #LLM #RAG #AI前沿内容
LlamaFarm 是一个开源框架,专注于构建基于检索增强(RAG)和智能代理的AI应用。它内置了默认方案(本地模型 Ollama、向量存储 Chroma),但架构完全可扩展,支持随时替换运行时、数据库和解析器,无需重写代码。| #框架

主要特点:
- 本地优先体验,一条命令行工具(lf)管理项目、数据集和对话
- 生产级架构,支持配置驱动、模式校验的项目管理
- 灵活定制的RAG流水线,YAML配置即可轻松调整
- 集成多种AI运行时,支持本地模型和云端API无缝切换
- 丰富的CLI命令,实现项目初始化、数据上传、处理及聊天
- 提供OpenAI格式兼容的REST API,方便集成到各种应用

支持 macOS、Linux 和 Windows,安装便捷,助力开发者快速搭建强大AI系统。
#资源参考 #工具 #RAG #LLM
Retrieval-Augmented Generation (RAG) Project:这份开源资源帮你从零开始全面掌握RAG(检索增强生成)技术,实用且系统。

主要内容涵盖:
- 查询构建:将自然语言转成结构化查询(SQL、Cypher、向量检索)
- 查询翻译:分解、重构输入,提升检索效果
- 路由选择:动态选库或嵌入上下文,精准定位答案
- 检索优化:多种重排序算法+实时数据接入,确保结果相关性
- 索引管理:多重表征嵌入、分层摘要、结构化搜索提升效率
- 生成环节:自研Self-RAG和RRR,实现推理与检索的迭代闭环

每个笔记本都有详细的实操指导,适合入门到进阶,支持多查询、多模态等高级用法。

如果你从事机器学习、LLM或AI代理,强烈推荐收藏并实践。本资源极大降低了构建复杂RAG应用的门槛,助你快速搭建高效智能系统。

RAG的核心难题不只是架构,更是优质数据的积累与语料空白的补充。未来,递归推理与动态语料更新将成为关键突破点。
#资源参考 #RAG #开源RAG
Vector RAG系统构建流程

1. 数据采集与预处理
用爬虫(如Firecrawl)、数据连接器(数据库、API)或专门的平台(如Unstructured.io)收集并清洗数据,确保后续切片和向量化质量。

2. 切分成块
利用LangChain、LlamaIndex等工具,将文档分成有意义的小块,保持上下文连贯,方便精准检索。切分方式可多样:固定长度、语义切分、递归等。

3. 生成向量嵌入
用先进模型(text-embedding-ada-002、Cohere Embed v3、BGE-M3、llama-text-embed-v2)将文本块转成高维向量,便于相似度计算。

4. 存储与索引
向量存入专用数据库(Pinecone、Weaviate、Qdrant、Milvus、pgvector),也可用Elastic或MongoDB等支持向量搜索的传统库。

5. 信息检索
结合密集向量搜索、稀疏检索(BM25、SPLADE)或混合检索(RRF等),用LangChain、Haystack等框架实现相关内容召回,并通过重排序(bge-reranker、Cohere Rerank)提升准确度。

6. 流程编排
用LangChain、LlamaIndex,或n8n、Google Cloud Vertex AI Pipelines等工具,协调各环节数据流和调用顺序,保证系统稳定高效。

7. 选择大模型生成
接入Claude、GPT-4o、Gemini、Llama 3、DeepSeek、Mistral等LLM,通过API或AI网关(Portkey、Eden、OpenRouter)调用,实现文本生成。

8. 监控与可观测性
利用Langfuse、PromptLayer、Helicone、Arize AI等平台,跟踪提示词表现、延迟、资源消耗及模型输出,及时发现并解决问题。

9. 持续评估优化
借助自动评测指标(准确性、一致性、召回率)、A/B测试和人工反馈,反复调优检索和生成效果,必要时进行模型微调。

这套流程涵盖了Vector RAG系统从数据采集到生成优化的每一步,是构建高质量智能问答和知识检索系统的实用指南。建议收藏并实践。

这份方案不仅系统全面,还结合了当前主流开源工具和商业产品,适合技术爱好者、开发者及企业研发团队参考。
#资源参考 #RAG #工具
构建智能问答系统通常面临查询模糊、上下文理解不足和检索效率低等挑战。

Agentic RAG for Dummies
是一个基于 LangGraph 的极简 Agentic RAG(检索增强生成)框架,帮助你用最少代码快速搭建具备会话记忆和人机交互查询澄清能力的生产级系统。

项目集成了多功能模块:
- 会话记忆,保持对话上下文连贯;
- 智能查询澄清,自动重写或请求补充信息;
- 分层索引,实现精准且上下文丰富的检索;
- 多Agent并行处理复杂多问;
- 灵活切换多种大语言模型(Ollama、OpenAI、Google Gemini 等);
- 开箱即用的 Gradio Web UI,方便体验和部署。

无论是学习 RAG 基础,还是构建定制化应用,这个项目都提供了交互式笔记本和模块化代码两条路径,助力开发者快速上手并轻松扩展。

主要功能:
- 支持多轮对话记忆,提升问答自然度;
- 自动拆分复杂查询,精准定位信息点;
- 结合关键词稀疏向量和语义稠密向量的混合检索;
- 内置人机交互机制,避免误解或无效查询;
- 多Agent协同,提升复杂问题的处理效率;
- 完整文档处理流水线,支持 PDF 转 Markdown 及分块索引。

适合 AI 研究者、开发者及数据工程师,轻松构建满足生产需求的智能问答系统。
#资源参考 #RAG #智能问答系统