硬核开源智库
812 subscribers
42 photos
1.12K links
提供硬核学习资源,探索开源力量,驾驭AI未来! 本频道精选GitHub优质开源项目、最新人工智能(AI)技术进展、前沿科技资讯以及各类有价值的学习资源,助你站在技术浪潮之巅,实现知识与技能的快速跃迁。无论你是开发者、AI爱好者还是技术探索者,都能在这里找到属于你的宝藏!
Download Telegram
专为 AI 优化的安全、高性能 PDF 解析工具,助力大规模文档智能处理。

• 多格式输出:支持将 PDF 转换为结构化 JSON、Markdown、HTML,便于 LLM、向量搜索及 RAG 等 AI 应用直接调用
• 智能布局重构:准确识别标题、列表、表格、图片及阅读顺序,极大提升分块、索引和查询效率
• 高效轻量:基于规则的启发式推断,运行于本地,无需 GPU,保障处理速度和数据隐私
• AI 安全防护:默认自动过滤潜在的 prompt 注入风险,降低下游模型安全隐患
• 可视化辅助:生成带结构注释的 PDF,直观展示识别结果,便于调试与验证
• 即将支持 OCR 扫描件解析及 AI 表格识别,持续提升对复杂文档的适配能力
• 多语言支持:Python、Node.js、Java 等多端集成,满足多样化开发需求
• 开源透明:Mozilla 公共许可证 2.0,活跃社区持续贡献,安全策略和性能基准公开

OpenDataLoader PDF | #工具
ApeRAG:面向生产的多模态 Graph RAG 平台,融合多维索引与智能 AI Agent,助力构建企业级知识图谱与上下文工程。

• 多类型索引支持:向量、全文检索、图谱、摘要及视觉索引,实现文档多模态深度理解和检索。
• 智能 AI Agents:内置基于 MCP 协议的智能代理,自动识别相关知识集合,支持自然语言查询和 Web 搜索,提升问答准确度。
• 图谱增强:基于深度定制 LightRAG,支持实体归一化,构建更清晰的知识关系网络,改善推理能力。
• 多模态处理与视觉支持:不仅处理文本,还能解析图像、表格、公式,适应复杂文档场景,集成 MinerU 加速解析。
• 混合检索引擎:结合图谱、向量、全文、摘要及视觉检索,打破单一检索瓶颈,实现全方位知识获取。
• 企业级部署:支持 Kubernetes 集群部署,配套 Helm charts 和 KubeBlocks 自动化数据库安装(PostgreSQL、Redis、Qdrant、Elasticsearch、Neo4j),保障高可用与弹性扩展。
• 完善管理功能:日志审计、LLM 模型管理、图谱可视化、文档管理及 Agent 工作流管理,满足企业合规和运营需求。
• 开发友好:FastAPI + React 架构,支持异步任务调度(Celery),详尽开发文档和贡献指南,便于定制和二次开发。
#资源参考 #工具 #RAG
ComoRAG:面向长文本与多文档的认知启发式记忆组织RAG系统,突破传统RAG单步无状态限制,实现动态、迭代的叙事推理🧠

• 适用场景:长篇故事、多文档问答、信息抽取与知识图构建
• 核心理念:推理-探查-检索-整合-解决,模拟大脑记忆动态交互,支持状态化长篇叙事理解
• 技术融合:多种LLMs与本地/远程embedding模型,图增强检索与推理,灵活数据预处理与分块
• 迭代推理循环:遇阻即发起多轮探查查询,持续扩充全局记忆池,逐步形成连贯上下文
• 性能优势:在4个超长上下文基准测试(20万+ Token)中,相较强基线提升最高11%,特别擅长复杂全局认知任务
• 设计模块化且可扩展,支持多种评测指标(F1、EM等),适合科研和工业应用
• 两种运行ComoRAG 打破传统 RAG 单步检索的局限,采用类脑认知机制,实现长文档和多文档的状态化推理,显著提升复杂叙事理解能力。🧠

• 迭代推理循环:遇阻即发起多轮推理,动态交互记忆工作区,类似人脑记忆整合过程
• 针对性探查查询:每轮生成探针,精准挖掘新证据路径,避免信息冗余与遗漏
• 全局记忆池:持续整合新旧信息,构建连贯上下文,实现长期记忆式检索
• 多任务适用:支持长文QA、信息抽取、知识图谱构建,兼容多种LLM与本地/远程Embedding模型
• 图增强推理:结合图结构提升实体关系理解,助力复杂推理与知识融合
• 丰富评测指标:F1、EM等多维度量化模型表现,确保结果科学可靠
• 开源且模块化设计,支持灵活定制与扩展,适合科研与落地应用

实现细节涵盖Python 3.10+,支持OpenAI API和本地vLLM部署,满足速度、隐私及成本多样需求。相较传统RAG,在四大长文本基准上最高提升11%表现,针对长距离、动态多步复杂推理展现显著优势。

核心流程:Reason → Probe → Retrieve → Consolidate → Resolve,重塑检索增强生成的认知深度。
#资源参考 #工具 #RAG
机器学习全阶段学习路线图,书单一览,助你系统掌握从入门到高级的核心知识 | #机器学习

• 基础篇(Fundamentals):
- 《Mathematics of Machine Learning》:扎实数学基础,理解机器学习核心原理。
- 《Artificial Intelligence: A Modern Approach》:AI全景视角,奠定理论框架。
- 《Deep Learning》:深度学习经典教材,理论与实践结合。
- 《An Introduction to Statistical Learning》:统计学习方法入门,实用且易懂。

• 实战篇(Hands-on):
- 《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》:涵盖主流框架,注重动手实践。
- 《Deep Learning with Python》:结合Keras,快速实现深度学习项目。
- 《Generative Deep Learning》:生成模型实操,拓展高级应用。
- 《Deep Reinforcement Learning Hands-On》:强化学习实战,前沿技术落地。

• 工程篇(ML/AI Eng):
- 《Designing Data-Intensive Applications》:大规模数据系统设计,提升架构能力。
- 《Scaling Machine Learning with Spark》:分布式机器学习框架应用。
- 《AI Engineering》:AI系统工程实践,跨学科融合。
- 《LLMs for Production》 & 《LLM Engineer’s Handbook》:大模型部署与工程指南,前沿趋势必备。
- 《Generative AI with LangChain》和《Building Agentic AI Systems》:生成式AI与智能代理系统开发,开启未来智能应用大门。
#资源参考 #书单 #机器学习书籍
AI Todo

⭐️ 网站功能:任务清单生成

📁 网站简介:一个基于人工智能的任务规划工具,可以轻松地描述目标,AI会自动生成详细的执行计划,从而提高工作效率和生产力。

AI会分析用户输入的信息,识别任务的核心要素,比如时间、地点、资源和参与者等,从而为任务制定合理的框架。

🔗 网站网址:点击打开
self.so

⭐️ 网站功能:个人网站生成

📁 网站简介:一个开源的个人网站生成器,帮助用户将他们的LinkedIn资料转化为个人网站。

可以通过创建账户并上传PDF简历,系统会自动提取相关信息并生成动态网站。

🔗 网站网址:点击打开

🔗 项目地址:点击访问
Videomass 是一款功能丰富的 FFmpeg 图形界面前端,专为各种技能水平的用户设计。

该程序提供丰富的功能,包括转换各种视频和音频格式、连接、修剪、创建缩略图以及音频标准化。

Videomass 是一款免费软件,兼容 Linux、macOS、Windows 和 FreeBSD。

🧬 https://github.com/jeanslack/Videomass
Scraperr是一款强大的网站数据提取工具,无需编程知识即可使用。

它支持用户通过XPath精确定位页面元素,管理抓取任务,并从单个域名的所有页面收集数据。

核心功能包括:添加自定义标头、自动下载媒体文件、结果可视化、数据导出为markdown和csv格式,以及通过多种渠道接收任务完成通知。

Scraperr仅适用于允许抓取的合法网站。

🧬 https://github.com/jaypyles/Scraperr/

#tools
Maildrop 是一款可自行托管且易于使用的临时电子邮件服务,允许在您的域名下接收随机电子邮件地址的邮件。

这款工具非常适合在注册网站时保护您的主邮箱地址隐私。

它还提供创建安全邮箱和自定义邮箱地址的功能。

🧬 https://github.com/haileyydev/maildrop/

#tools
得到12.6-13
每天听本书
链接:https://pan.baidu.com/s/18fUshiLyX3kAMtmidt1OEw?pwd=fs5z

科技参考4
链接:https://pan.baidu.com/s/1sf-DMsjFvOptlZq3qrS2CQ?pwd=eyt4

商业参考4
链接:https://pan.baidu.com/s/17TP5RvlkB7u7b_ktbKagCg?pwd=5mv6

政经参考
链接:https://pan.baidu.com/s/1ClUozshjkiR1sxKMaSnz2A?pwd=c33a

国际参考
链接:https://pan.baidu.com/s/1VurXb1PacyzAte2c-uD6Uw?pwd=k9e1

商业报告解读
链接:https://pan.baidu.com/s/14TMIEH7jNJKGJLU4s2bLMA?pwd=n653

教育的方法50讲
链接:https://pan.baidu.com/s/1Ik5CZHjbuULi-d9eah1FcA?pwd=px69

严飞的社会学课
链接:https://pan.baidu.com/s/1rQZjWCPpaGL7g1dRLxuw5g?pwd=24g6

AI学习圈
链接:https://pan.baidu.com/s/1Z6Q3u0pvwlz8OEKWP8PpbQ?pwd=91o4

年度人文课堂
链接:https://pan.baidu.com/s/1zJPPGo2gC6TMAs5fX0sOgw?pwd=y1go

营养健康100讲
链接:https://pan.baidu.com/s/1L9UBYP8SixDYS_ou7IzJ-Q?pwd=uyw3

刘勃讲中国史
链接:https://pan.baidu.com/s/1QSQPadz5mgzSQcNUCt57XQ?pwd=3476

讲透战争史
链接:https://pan.baidu.com/s/18xm3bE9Qs0j-TayCJ4Varw?pwd=9412

资治通鉴西汉·余绪
链接:https://pan.baidu.com/s/1l8WsWDrPf4cQ2oA1NplwMA?pwd=16di

《阅读季·非虚构的魅力》
链接:https://pan.baidu.com/s/19P9RTwodwFOKTG07MzjTbQ?pwd=gcg6

周之江书院
链接:https://pan.baidu.com/s/1LtyRP055BzRZiA_g0WboxA?pwd=m94e
——资源——
生财有术10-11月
链接:https://pan.quark.cn/s/1f81c111d966

马年元旦PPT模板合集,200多联欢晚会课件+发言稿
链接:https://pan.quark.cn/s/9232af76e86f

2026年会策划 年会背景 颁奖 PPT模板
链接:https://pan.baidu.com/s/1hVmrLQB_pQ8x0PTarIfuCw?pwd=8w92

2026年日历
链接:https://pan.quark.cn/s/e18ab5b610a5

飞书视频文案提取
https://lcn3rltkh823.feishu.cn/app/DBnBb8ARIaRDzqsOZ3ZcU1CTnWe?pageId=pgefjvUNBkjafNx6

抖音热点信息差变现教程,大V爆款方法
链接:https://pan.quark.cn/s/f3aa6656cf30

剪映婚礼模板
链接:https://pan.baidu.com/s/1ifnXL57uh8iI1SbgFFxRjQ?pwd=gwze

自然光电商平铺手机摄影课
链接:https://pan.quark.cn/s/59ddd9d8d65d

红商联盟小红书虚拟项目掘金 变现指南
链接:https://pan.quark.cn/s/ee7d43952c50

小红书虚拟资料变现系统课程
链接:https://pan.quark.cn/s/b58d9014aa5d

外贸社媒获客训练营
❶链接:https://pan.baidu.com/s/1VZaaX40Jggki1LG_SW_gSg?pwd=5s4p
❷链接:https://pan.quark.cn/s/7a88880e6293

强人设IP打造短视频训练
链接:https://pan.quark.cn/s/6778fb608b9b

AI时代短视频:修仙类型短视频创作指南
链接:https://pan.baidu.com/s/1PETamsSy_Qr2ouDHCOwE2A?pwd=91cc

腾讯视频分成计划系统课2025
链接:https://pan.quark.cn/s/49c04585145c

约泡指南:探探+soul+聊天玩法
链接:https://pan.baidu.com/s/1MUN2PoknzXcCkeVA6bbJkw?pwd=587d

AI漫剧实战课
❶链接:https://pan.baidu.com/s/1L_PFCBU5AH6SrtxHhJwHrw?pwd=542w
❷链接:https://pan.quark.cn/s/6f84f597d8db

漫剧实战班 第二期
❶链接:https://pan.baidu.com/s/1mbCG-FM00fmJODfYcU5TVQ?pwd=94dc
❷链接:https://pan.quark.cn/s/3343f122c2a9
NCE(新概念英语全四册点读)是一个开源项目,汇聚了全册课文朗读和单句点读功能,帮你随时随地高效学英语。| #英语

不仅有标准发音的课文朗读,还能单句点读,方便反复练习;覆盖基础到高级四册内容,系统提升听说读写。

核心亮点:

- 全四册《新概念英语》课文在线朗读,标准发音,助你纠正口音;
- 单句点读,精准定位难句,随时复习巩固;
- 涵盖初级到高级的语法和词汇,循序渐进科学学习;
- 适合零基础到高级备考人群,支持在线使用,无需安装;
- MIT开源许可,代码公开透明,欢迎贡献和改进
在线数据可视化通常需要手动编写复杂配置,生成图表流程繁琐且不易自动化。

MCP ECharts 是一个基于 AI MCP 技术的开源项目,能动态生成 Apache ECharts 图表,极大简化图表制作和数据分析的过程。

它不仅支持 ECharts 的全部特性和语法,还能导出 PNG、SVG 以及图表配置,支持本地全流程生成,安全无依赖,且集成了 MinIO 云存储,方便高效地管理和分享图表。

主要功能:

- 动态生成包含数据、样式和主题的 ECharts 图表;
- 导出多种格式(png、svg、option)便于展示和二次利用;
- 支持 MinIO 及多种对象存储,实现图表图片云端管理和链接分享;
- 轻量无依赖,完全本地生成,保障数据安全;
- 支持多种传输协议(stdio、SSE、streamable),方便与多平台和工具集成;
- 提供丰富的 CLI 配置选项,灵活定制服务器运行方式。

适用范围广泛,支持桌面应用和云端服务,适合数据分析师、产品经理和开发者快速构建智能交互式图表解决方案。
在线开发想要快速搭建全栈应用,往往面临服务端部署复杂、数据库配置繁琐、身份认证难集成等问题。

Fullstack Next.js + Cloudflare 是一个开源模板项目,集成了 Next.js 15、Cloudflare Workers、D1 数据库、R2 存储、Better Auth 认证和 Server Actions,提供了一套生产级全栈开发解决方案。

它不仅支持超低延迟的全球边缘部署,还内置自动 CI/CD 流水线,轻松实现从 MVP 到大规模应用的无缝扩展。

主要特点:

- Next.js 15 + React Server Components,现代前端开发体验;
- Cloudflare Workers 边缘计算,300+ 节点极速响应;
- D1 边缘 SQLite 数据库,轻松管理数据;
- R2 兼容 S3 的对象存储,海量文件云端托管;
- Better Auth 集成 Google OAuth,安全便捷登录;
- 自动化数据库迁移与备份,保障数据安全;
- 内置 AI 推理支持,方便集成智能功能;
- 完善的开发与部署流程,支持本地调试和生产环境;

支持 pnpm 一键安装依赖,即刻启动项目,适合创业团队和开发者极速构建全栈应用。
用AI自学高深难懂的知识,方法分享

作者一直自信能学会各种知识,曾是国家物理奥赛前十,大学拿过总统奖,创业自学软件和商业运营。但AI出现后,他的学习方式发生了根本变化。

很多人用AI提速学习,比如提炼笔记、翻译文献,但更重要的是,AI让我们有可能攻克那些以前觉得“太难、太耗时”的高阶知识。比如量子力学,顶级教材200小时才能读完,工作繁忙的你没法挤出这么多时间。AI让你有两条路:
1️⃣ 用AI快速扫一堆入门书籍和视频,获得广度(但收益递减);
2️⃣ 用AI辅助,直接深入阅读权威教材,哪怕没读完,也能获得深度理解。

作者选择了第二条路,示范用AI逐步自学Christopher Bishop的《Pattern Recognition and Machine Learning》前32页,这是一本面向高年级本科和博士新生的经典教材,深度挑战适中。

核心工具组合:
- 教材PDF(能用OCR提取文字、公式、图片)
- AI模型
- 数字白板(作者用自己团队开发的Heptabase)

学习步骤:
1️⃣ 解析PDF,精确控制AI上下文,避免只读片段导致的理解偏差。
2️⃣ 生成学习卡片(章节或小节),可以让AI帮你翻译、总结、提炼定义和引导问题,适合你的学习习惯和难点。
3️⃣ 在白板上并排排布卡片,轻松“横向对比”内容,不用翻页就能联想和串联知识,随时和AI对话,问问题、求例题、检验理解,像随身带个读书导师。
4️⃣ 读完及时用自己的话写笔记,整理成层级清单,强化逻辑结构。
5️⃣ 反复拆解、视觉化笔记,画箭头连接知识点,深化理解,方便整合跨书跨领域的知识。

这套方法让作者能持续保持深度学习流状态,轻松攻克复杂难题。AI不是“代替思考”,而是“激发更深层次思考”,它是作者最棒的老师和思考伙伴。

附录:选书和合法获取PDF技巧
- 先用AI帮你挑选最权威、适合你的教材,反复打磨提问prompt。
- 多途径交叉验证书籍权威度和适读性。
- 利用Project Gutenberg、FreeTechBooks等开放资源,或作者官网获取免费正版教材。
- 书太难?用AI辅助阅读频率作为判定标准,适度挑战最有效。
#资源参考 #学习教程
在线开发搭建 web 应用时,常常要花很多时间写重复的代码,或者在 FastAPI 里集成 HTML 渲染很麻烦。

Air 是由《Two Scoops of Django》作者打造的全新 Python Web 框架,基于 FastAPI、Starlette 和 Pydantic,专注于让你用 Python 优雅快速地写出网页和接口。| #框架

不仅支持高效的 HTML 代码生成(Air Tags),还能无缝混合 Jinja 模板,完美支持 HTMX,内置表单验证,极大提升开发体验。

主要功能:

- 结合 FastAPI,前后端同框开发,接口和网页一站式管理;
- Air Tags:用 Python 类写 HTML,类型安全且易维护;
- 支持 Jinja 模板和 Air Tags 混合渲染,灵活自由;
- 内置 HTMX 支持,轻松实现页面局部刷新和交互;
- Pydantic 驱动的表单验证,保证数据安全准确;
- 轻量,易学,文档详细,适合快速上手和大型项目。

只需 pip install -U air 即可安装,适合想用 Python 快速构建现代 Web 应用的开发者。让你写代码更专注,效率更高,体验更佳
RapidOCR

⭐️ 项目功能:图像转文本

📁 项目简介:一个开源的光学字符识别(OCR)工具,支持多种编程语言,提供快速、灵活且高效的OCR解决方案,支持中文和英文的识别,并允许用户在离线环境中快速部署。

🌐 项目地址:点击直达
Google AI Edge Gallery

⭐️ 软件功能:离线AI助手

➡️ 支持平台:#Android

📁 软件简介:一款将先进的生成式人工智能(GenAI)模型直接带入用户的手中,支持在Android设备上离线运行。可以在没有互联网连接的情况下,体验各种创意和实用的AI应用场景。

允许轻松切换不同的AI模型,进行图像分析、音频转录、对话交互等多种功能,所有处理均在本地设备上完成

⬇️ 软件下载:点击下载
在线零知识证明编程语言太复杂?Lurk来了!

Lurk 是一个基于 Lisp 设计的图灵完备 zk-SNARKs 编程语言,结合了 Scheme 和 Common Lisp 的优点。它能生成简洁高效的零知识证明,支持任意计算的证明,是区块链和隐私计算领域的利器。

- 静态作用域,语法简洁,极易扩展;
- 生成的证明体积小,验证速度快;
- 代码即数据,天然支持内容寻址;
- 目前版本 0.5,持续优化中,性能提升显著。

适合密码学研究者和区块链开发者探索零知识证明编程新可能。
Agentic RAG:AI工程师必知的进阶检索生成框架

简单的RAG(Retrieval-Augmented Generation)系统很少直接用在实际场景。现实中,我们通常会给RAG加上“智能代理”(Agentic)能力,且尽量保持简洁。

没有放之四海皆准的方案,RAG系统必须根据具体业务灵活调整。理解Agentic RAG的关键组成,有助你设计适合自己的方案:

1️⃣ 用户查询分析
- 由基于大模型(LLM)的智能代理分析原始查询,可能重写或拆分成多条查询。
- 判断是否需要额外数据源。

2️⃣ 触发检索
- 若需更多数据,智能代理负责确定应调用哪些数据源,如实时用户数据、内部文档、网络信息等。

3️⃣ 数据整合与重排序
- 用更强的模型对检索结果进行筛选和重排名,大幅缩小信息范围。

4️⃣ 无需额外数据时,直接由LLM生成答案或执行多步动作。

5️⃣ 答案评估与循环优化
- 智能代理评判答案的准确性和相关性。
- 不达标时重新改写查询,重复生成,循环次数有限制。

💡 经验分享:
- 尽量简化流程,很多场景不需全部环节即可满足需求。
- 数据预处理和重排序环节是关键,覆盖90%以上应用。
- Agentic系统远超传统RAG,不只是问答,更能自动执行后续动作,未来会有更多分享,敬请关注!

Agentic RAG的核心在于“智能代理”的灵活决策能力,真正实现从理解用户意图到智能调取数据,再到动态生成和校验答案的全流程闭环。相比传统RAG,Agentic RAG更适合复杂业务场景,尤其是需要自动化执行操作的企业应用。未来AI系统的发展趋势将是“理解+检索+行动”的深度融合,而不仅仅是回答问题。
在线寻找音乐资源总是要翻遍各大平台,下载工具、播放器、歌词插件……太多分散工具使用起来很麻烦。

Music Megathread 是一个超全的音乐资源合集,汇集了免费音乐播放器、多平台下载器、流媒体客户端、歌词工具、音乐识别和管理软件,甚至还有Telegram音乐机器人,帮你轻松玩转音乐世界。

不仅支持 Spotify、YouTube Music、Deezer 等主流平台,还覆盖离线播放器、音频编辑、曲库管理、音效合成等丰富功能,满足各种音乐需求。| #音乐

核心亮点:

- 多平台音乐播放器和下载工具,支持Windows、macOS、Linux、Android、iOS;
- 丰富的 Spotify 和 YouTube Music 客户端及辅助工具,解锁更多功能;
- 在线与离线音乐管理、编辑、歌词同步与显示,一站式解决方案;
- 海量音乐识别与元数据编辑工具,方便整理个人音乐库;
- 全面支持音频录制、合成、转换、编辑,适合音乐制作爱好者;
- 集成多种Telegram音乐机器人,聊天中也能轻松找歌听歌。

适合音乐爱好者、音乐制作人、DJ、音频发烧友,帮你更高效地发现、管理和享受音乐。
#音乐资源 #工具 #资源参考