硬核开源智库
812 subscribers
42 photos
1.12K links
提供硬核学习资源,探索开源力量,驾驭AI未来! 本频道精选GitHub优质开源项目、最新人工智能(AI)技术进展、前沿科技资讯以及各类有价值的学习资源,助你站在技术浪潮之巅,实现知识与技能的快速跃迁。无论你是开发者、AI爱好者还是技术探索者,都能在这里找到属于你的宝藏!
Download Telegram
视频硬字幕去除器Video-subtitle-remover (VSR)

开源免费的,基于AI的视频硬字幕去除、文本水印去除,无损分辨率生成去字幕、去水印后的视频文件。无需申请第三方API,本地实现

主要实现了以下功能:
无损分辨率将视频中的硬字幕去除,生成去除字幕后的文件
通过超强AI算法模型,对去除字幕文本的区域进行填充(非相邻像素填充与马赛克去除)
支持自定义字幕位置,仅去除定义位置中的字幕(传入位置)
支持全视频自动去除所有文本(不传入位置)
支持多选图片批量去除水印文本

📎下载地址

📎开源地址


#工具 #windows #视频 #github #字幕 #资源参考
得到12.1-5
每天听本书
链接:https://pan.baidu.com/s/1dqCcmPEG-O2QFZn-Qwu9mQ?pwd=5zmq

科技参考4等15个文件【2025新课更新合集】
链接:https://pan.baidu.com/s/1Uf-BCMhJhccVDbWhPDu4Xw?pwd=xkf2

商业参考4
链接:https://pan.baidu.com/s/1rFzWn0yC7RznGcBfgjAtcw?pwd=n9ui

科技参考4
链接:https://pan.baidu.com/s/1y5ulPKOjSShkDSoIbHNYJA?pwd=8677

教育的方法50讲
链接:https://pan.baidu.com/s/10bbBtV_xLL9FOB7BKBSdkA?pwd=1m8g

商业报告解读
链接:https://pan.baidu.com/s/18TRZzLxkIbHs8iwYj_n7Zw?pwd=f798

刘怡·国际参考
链接:https://pan.baidu.com/s/1tpygTPUMLakOWw3Wu_pbag?pwd=2v6w

政经参考
链接:https://pan.baidu.com/s/1ZZu812IxMxFVe2uMlMW4Jw?pwd=21e1

全球智库报告解读
链接:https://pan.baidu.com/s/17EnJIkYicgyAma2SlkQz_g?pwd=8ywe

营养健康100讲
链接:https://pan.baidu.com/s/1lGjZCiGiGwDfC2gckENK5w?pwd=phtn

阅读季非虚构的魅力
链接:https://pan.baidu.com/s/1XQQ6ZWTzBLaCsPaATMBHNQ?pwd=n8f3

周之江书院
链接:https://pan.baidu.com/s/1lUfoApu3K6Fv86z3Iok8xg?pwd=2a47

讲透资治通鉴西汉·余绪
链接:https://pan.baidu.com/s/1gG5qgXLTkWWCyilouvUbjg?pwd=j4ss

讲透战争史
链接:https://pan.baidu.com/s/1daL-YN5gPpL6ennE8Ll8bw?pwd=9nb4

刘勃讲中国史
链接:https://pan.baidu.com/s/1INklOREMXR-twdxj23TKKQ?pwd=564g

年度人文课堂
链接:https://pan.baidu.com/s/1D8OyHOeqUkrd0OUqTZH9VA?pwd=5786

AI学习圈:快刀广播站
链接:https://pan.baidu.com/s/1DL4tzXTRrqzHSAN6sHZhsQ?pwd=h5gv
——资源——
SORA2精品课程,国外大神手把手教你核心技术
❶链接:https://pan.baidu.com/s/1uady1TiWb2IvCql4Os2cDg?pwd=6vi8
❷链接:https://pan.quark.cn/s/17818aa38564

小红书-流量冲刺班_2025入局
链接:https://pan.quark.cn/s/6d4e0d44ad71

小红书-90天涨粉创富陪跑营
链接:https://pan.quark.cn/s/d29a74496aef

秋叶:小红书-带你玩转小红书爆文写作
链接:https://pan.quark.cn/s/0ac9df300838

哥飞:网站出海独立站运营_从SEO到Adsense攻略
链接:https://pan.quark.cn/s/2feedc7c02a7

社媒独立站训练营,独立站从0-1,3天0基础入门
链接:https://pan.quark.cn/s/02f99fedc6db

【吕老师】生涯规划课微抖生涯规划研究院
链接:https://pan.quark.cn/s/4786e303e2aa

2026年会邀请会PPT
链接:https://pan.baidu.com/s/1fApH4CQyVHy8ybGlx7rr3w?pwd=nk96

《知乎知识类问答合集》(3300多篇)
链接:https://pan.quark.cn/s/426eebb7800a

网红17种口味凤爪配方教程
链接:https://pan.quark.cn/s/b4d3763519e2
VideoTranslator

⭐️ 项目功能:视频翻译

📁 项目简介:一款开源的视频翻译工具,集成了OpenAI Whisper语音识别引擎和多种翻译API。

提供了一整套视频翻译解决方案,包括从视频中提取音频、进行语音识别、翻译文本、生成字幕以及导出视频等功能。

🌐 项目地址:点击直达
The Mother of AI Project:构建高质量生产级RAG系统,远离“一开始就向量搜索”的误区,掌握业界标准的关键词+向量混合检索技术:

• 从零搭建:Docker、FastAPI、PostgreSQL、OpenSearch、Airflow 等基础设施全覆盖
• 自动化数据管道:集成 arXiv API + Docling,实现论文自动抓取与结构化解析
• 关键词检索为基石:BM25算法实现精准、高效的全文检索,解析搜索背后逻辑,提升可解释性
• 智能分块+混合搜索:基于语义的文档切片,结合关键词与向量检索(RRF融合),兼顾速度与理解深度
• 本地LLM集成:Ollama本地模型支持,隐私安全、6倍响应速度提升,支持流式输出,交互体验流畅
• 生产级监控与缓存:Langfuse全链路追踪,Redis高性能缓存,实现150-400倍响应加速与60%+缓存命中率
• 分阶段学习路径:六周系统课程,从基础设施搭建到完整RAG系统上线,代码、笔记本、API文档全开放
• 面向AI工程师、软件开发者、数据科学家,全面掌握生产环境下RAG系统打造的关键技能

这套以实践驱动的项目,摒弃盲目追求AI优先的做法,强调搜索基础的重要性,真正还原业界顶尖公司的研发流程,助你构建可维护、高效、可扩展的智能研究助手。
Spec Kit:颠覆传统编程,打造更高效的软件开发流程。

• 以 Spec-Driven Development 为核心,规范文档不再是废纸,直接执行规格生成代码,聚焦产品场景,减少重复造轮子。
• 通过 /specify 命令精准描述需求,强调“做什么”和“为什么”,而非技术细节,适合多样化团队协作。
• 支持多 AI 编码助手(Claude、Copilot、Gemini、Cursor 等),灵活选型,兼容多种技术栈与架构。
• 细分开发阶段:从零起步、平行探索多方案到渐进迭代升级,满足创新与遗留系统改造双重需求。
• 旨在打破技术边界,支持企业设计系统与合规要求,保证关键任务级应用开发稳定可靠。
• 配套完整 CLI,涵盖项目初始化、系统检测、任务拆解与调试,降低入门门槛并提升开发效率。
• 适用环境:Linux/macOS(含 WSL2),依赖 Python 3.11+、Git 及现代包管理工具 uv。
1
谷歌出品,面向全球开发者的5天AI Agents密集课程即将上线,系统深度剖析自主智能体构建与部署全流程:

• 涵盖AI Agent设计模式、Agent工具链、上下文工程、记忆管理及Agent评估等核心技术
• 着重打造生产级多智能体系统(multi-agent systems)及Agent-to-Agent(A2A)交互实战
• 继去年42万开发者参与GenAI课程后,专注自主Agent系统,免费公开,零门槛开放报名
• 课程由谷歌团队主导,配合Kaggle平台,支持实操与理论并重,适合追求落地应用的开发者
• 资源全开源,包含100+ AI Agents和RAG(Retrieval-Augmented Generation)教程,助力持续学习与创新
• 业内专家反馈:课程聚焦生产级系统,远超基础知识,强调整体架构与长效运行机制

点击报名 | 代码地址
1
机器学习全栈工程师的技能图谱,浓缩了从数学基础到大规模部署的全链条技术栈,勾勒出现代 ML 工程的全貌 | #机器学习

• 数学/统计 → Python → Pandas、NumPy(数据处理与数值计算)
• Matplotlib(数据可视化)
• MySQL(关系型数据库管理)
• Scikit-learn → XGBoost(传统机器学习模型)
• PyTorch → Transformers → SBERT(深度学习与预训练语言模型)
• FastAPI(高性能接口开发)
• DVC、MLflow(数据版本管理与实验追踪)
• PySpark(大数据处理)
• Docker(容器化部署)
• Airflow(工作流调度)
• Ultralytics、SpaCy、OpenCV(计算机视觉与NLP工具)
• Langchain、Qdrant(现代大模型应用与向量数据库)

这条路径体现了从理论到实践、从模型训练到工程落地的全流程能力,远超单点技能积累。真正的价值在于整合这些工具解决复杂问题,而非单纯“收集”技术。无论是构建高效流水线还是实现端到端部署,掌握上述栈意味着你已经具备了全面驾驭机器学习系统的能力。
提升大语言模型性能的关键技术清单

• LoRA(低秩适配):高效微调,节省计算资源
• 量化(Quantization):降低模型精度需求,显著减小模型体积
• 剪枝(Pruning):剔除冗余参数,提升推理速度
• 蒸馏(Distillation):通过小模型学习大模型知识,实现轻量化
• 权重共享(Weight Sharing):减少参数数量,降低存储需求
• Flash Attention:优化注意力计算,提升内存利用与速度
• KV-Cache 压缩:缩减键值缓存,降低推理延迟
• 稀疏专家模型(Sparse MoE):动态激活部分专家节点,极大提升效率
• 梯度检查点(Gradient Checkpointing):节省训练显存,支持更大模型
• 混合精度训练(Mixed Precision Training):兼顾速度与精度,降低硬件要求
• 参数高效微调(Parameter-Efficient Fine-Tuning):减少微调参数量,快速适配任务
• 分片训练(Sharded Training):分布式分片,突破单机内存瓶颈
• CPU 卸载(CPU Offloading):利用 CPU 辅助减轻 GPU 负担
• 检索增强压缩(Retrieval-Augmented Compression):结合外部知识库优化模型表现
• 推测解码(Speculative Decoding):提前预测,缩短生成时间

这些技术在实际应用中往往组合使用,单靠算法改进难以突破硬件瓶颈,需结合硬件优化(如 DeepEP、DualPipe)及性能指标(roofline 模型)进行系统设计,才能实现真正的“快”与“廉”。

深入掌握并灵活应用,才能在模型推理成本与速度间找到最佳平衡,推动大模型高效普及。
专为 AI 优化的安全、高性能 PDF 解析工具,助力大规模文档智能处理。

• 多格式输出:支持将 PDF 转换为结构化 JSON、Markdown、HTML,便于 LLM、向量搜索及 RAG 等 AI 应用直接调用
• 智能布局重构:准确识别标题、列表、表格、图片及阅读顺序,极大提升分块、索引和查询效率
• 高效轻量:基于规则的启发式推断,运行于本地,无需 GPU,保障处理速度和数据隐私
• AI 安全防护:默认自动过滤潜在的 prompt 注入风险,降低下游模型安全隐患
• 可视化辅助:生成带结构注释的 PDF,直观展示识别结果,便于调试与验证
• 即将支持 OCR 扫描件解析及 AI 表格识别,持续提升对复杂文档的适配能力
• 多语言支持:Python、Node.js、Java 等多端集成,满足多样化开发需求
• 开源透明:Mozilla 公共许可证 2.0,活跃社区持续贡献,安全策略和性能基准公开

OpenDataLoader PDF | #工具
ApeRAG:面向生产的多模态 Graph RAG 平台,融合多维索引与智能 AI Agent,助力构建企业级知识图谱与上下文工程。

• 多类型索引支持:向量、全文检索、图谱、摘要及视觉索引,实现文档多模态深度理解和检索。
• 智能 AI Agents:内置基于 MCP 协议的智能代理,自动识别相关知识集合,支持自然语言查询和 Web 搜索,提升问答准确度。
• 图谱增强:基于深度定制 LightRAG,支持实体归一化,构建更清晰的知识关系网络,改善推理能力。
• 多模态处理与视觉支持:不仅处理文本,还能解析图像、表格、公式,适应复杂文档场景,集成 MinerU 加速解析。
• 混合检索引擎:结合图谱、向量、全文、摘要及视觉检索,打破单一检索瓶颈,实现全方位知识获取。
• 企业级部署:支持 Kubernetes 集群部署,配套 Helm charts 和 KubeBlocks 自动化数据库安装(PostgreSQL、Redis、Qdrant、Elasticsearch、Neo4j),保障高可用与弹性扩展。
• 完善管理功能:日志审计、LLM 模型管理、图谱可视化、文档管理及 Agent 工作流管理,满足企业合规和运营需求。
• 开发友好:FastAPI + React 架构,支持异步任务调度(Celery),详尽开发文档和贡献指南,便于定制和二次开发。
#资源参考 #工具 #RAG
ComoRAG:面向长文本与多文档的认知启发式记忆组织RAG系统,突破传统RAG单步无状态限制,实现动态、迭代的叙事推理🧠

• 适用场景:长篇故事、多文档问答、信息抽取与知识图构建
• 核心理念:推理-探查-检索-整合-解决,模拟大脑记忆动态交互,支持状态化长篇叙事理解
• 技术融合:多种LLMs与本地/远程embedding模型,图增强检索与推理,灵活数据预处理与分块
• 迭代推理循环:遇阻即发起多轮探查查询,持续扩充全局记忆池,逐步形成连贯上下文
• 性能优势:在4个超长上下文基准测试(20万+ Token)中,相较强基线提升最高11%,特别擅长复杂全局认知任务
• 设计模块化且可扩展,支持多种评测指标(F1、EM等),适合科研和工业应用
• 两种运行ComoRAG 打破传统 RAG 单步检索的局限,采用类脑认知机制,实现长文档和多文档的状态化推理,显著提升复杂叙事理解能力。🧠

• 迭代推理循环:遇阻即发起多轮推理,动态交互记忆工作区,类似人脑记忆整合过程
• 针对性探查查询:每轮生成探针,精准挖掘新证据路径,避免信息冗余与遗漏
• 全局记忆池:持续整合新旧信息,构建连贯上下文,实现长期记忆式检索
• 多任务适用:支持长文QA、信息抽取、知识图谱构建,兼容多种LLM与本地/远程Embedding模型
• 图增强推理:结合图结构提升实体关系理解,助力复杂推理与知识融合
• 丰富评测指标:F1、EM等多维度量化模型表现,确保结果科学可靠
• 开源且模块化设计,支持灵活定制与扩展,适合科研与落地应用

实现细节涵盖Python 3.10+,支持OpenAI API和本地vLLM部署,满足速度、隐私及成本多样需求。相较传统RAG,在四大长文本基准上最高提升11%表现,针对长距离、动态多步复杂推理展现显著优势。

核心流程:Reason → Probe → Retrieve → Consolidate → Resolve,重塑检索增强生成的认知深度。
#资源参考 #工具 #RAG
机器学习全阶段学习路线图,书单一览,助你系统掌握从入门到高级的核心知识 | #机器学习

• 基础篇(Fundamentals):
- 《Mathematics of Machine Learning》:扎实数学基础,理解机器学习核心原理。
- 《Artificial Intelligence: A Modern Approach》:AI全景视角,奠定理论框架。
- 《Deep Learning》:深度学习经典教材,理论与实践结合。
- 《An Introduction to Statistical Learning》:统计学习方法入门,实用且易懂。

• 实战篇(Hands-on):
- 《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》:涵盖主流框架,注重动手实践。
- 《Deep Learning with Python》:结合Keras,快速实现深度学习项目。
- 《Generative Deep Learning》:生成模型实操,拓展高级应用。
- 《Deep Reinforcement Learning Hands-On》:强化学习实战,前沿技术落地。

• 工程篇(ML/AI Eng):
- 《Designing Data-Intensive Applications》:大规模数据系统设计,提升架构能力。
- 《Scaling Machine Learning with Spark》:分布式机器学习框架应用。
- 《AI Engineering》:AI系统工程实践,跨学科融合。
- 《LLMs for Production》 & 《LLM Engineer’s Handbook》:大模型部署与工程指南,前沿趋势必备。
- 《Generative AI with LangChain》和《Building Agentic AI Systems》:生成式AI与智能代理系统开发,开启未来智能应用大门。
#资源参考 #书单 #机器学习书籍
AI Todo

⭐️ 网站功能:任务清单生成

📁 网站简介:一个基于人工智能的任务规划工具,可以轻松地描述目标,AI会自动生成详细的执行计划,从而提高工作效率和生产力。

AI会分析用户输入的信息,识别任务的核心要素,比如时间、地点、资源和参与者等,从而为任务制定合理的框架。

🔗 网站网址:点击打开
self.so

⭐️ 网站功能:个人网站生成

📁 网站简介:一个开源的个人网站生成器,帮助用户将他们的LinkedIn资料转化为个人网站。

可以通过创建账户并上传PDF简历,系统会自动提取相关信息并生成动态网站。

🔗 网站网址:点击打开

🔗 项目地址:点击访问
Videomass 是一款功能丰富的 FFmpeg 图形界面前端,专为各种技能水平的用户设计。

该程序提供丰富的功能,包括转换各种视频和音频格式、连接、修剪、创建缩略图以及音频标准化。

Videomass 是一款免费软件,兼容 Linux、macOS、Windows 和 FreeBSD。

🧬 https://github.com/jeanslack/Videomass
Scraperr是一款强大的网站数据提取工具,无需编程知识即可使用。

它支持用户通过XPath精确定位页面元素,管理抓取任务,并从单个域名的所有页面收集数据。

核心功能包括:添加自定义标头、自动下载媒体文件、结果可视化、数据导出为markdown和csv格式,以及通过多种渠道接收任务完成通知。

Scraperr仅适用于允许抓取的合法网站。

🧬 https://github.com/jaypyles/Scraperr/

#tools
Maildrop 是一款可自行托管且易于使用的临时电子邮件服务,允许在您的域名下接收随机电子邮件地址的邮件。

这款工具非常适合在注册网站时保护您的主邮箱地址隐私。

它还提供创建安全邮箱和自定义邮箱地址的功能。

🧬 https://github.com/haileyydev/maildrop/

#tools
得到12.6-13
每天听本书
链接:https://pan.baidu.com/s/18fUshiLyX3kAMtmidt1OEw?pwd=fs5z

科技参考4
链接:https://pan.baidu.com/s/1sf-DMsjFvOptlZq3qrS2CQ?pwd=eyt4

商业参考4
链接:https://pan.baidu.com/s/17TP5RvlkB7u7b_ktbKagCg?pwd=5mv6

政经参考
链接:https://pan.baidu.com/s/1ClUozshjkiR1sxKMaSnz2A?pwd=c33a

国际参考
链接:https://pan.baidu.com/s/1VurXb1PacyzAte2c-uD6Uw?pwd=k9e1

商业报告解读
链接:https://pan.baidu.com/s/14TMIEH7jNJKGJLU4s2bLMA?pwd=n653

教育的方法50讲
链接:https://pan.baidu.com/s/1Ik5CZHjbuULi-d9eah1FcA?pwd=px69

严飞的社会学课
链接:https://pan.baidu.com/s/1rQZjWCPpaGL7g1dRLxuw5g?pwd=24g6

AI学习圈
链接:https://pan.baidu.com/s/1Z6Q3u0pvwlz8OEKWP8PpbQ?pwd=91o4

年度人文课堂
链接:https://pan.baidu.com/s/1zJPPGo2gC6TMAs5fX0sOgw?pwd=y1go

营养健康100讲
链接:https://pan.baidu.com/s/1L9UBYP8SixDYS_ou7IzJ-Q?pwd=uyw3

刘勃讲中国史
链接:https://pan.baidu.com/s/1QSQPadz5mgzSQcNUCt57XQ?pwd=3476

讲透战争史
链接:https://pan.baidu.com/s/18xm3bE9Qs0j-TayCJ4Varw?pwd=9412

资治通鉴西汉·余绪
链接:https://pan.baidu.com/s/1l8WsWDrPf4cQ2oA1NplwMA?pwd=16di

《阅读季·非虚构的魅力》
链接:https://pan.baidu.com/s/19P9RTwodwFOKTG07MzjTbQ?pwd=gcg6

周之江书院
链接:https://pan.baidu.com/s/1LtyRP055BzRZiA_g0WboxA?pwd=m94e
——资源——
生财有术10-11月
链接:https://pan.quark.cn/s/1f81c111d966

马年元旦PPT模板合集,200多联欢晚会课件+发言稿
链接:https://pan.quark.cn/s/9232af76e86f

2026年会策划 年会背景 颁奖 PPT模板
链接:https://pan.baidu.com/s/1hVmrLQB_pQ8x0PTarIfuCw?pwd=8w92

2026年日历
链接:https://pan.quark.cn/s/e18ab5b610a5

飞书视频文案提取
https://lcn3rltkh823.feishu.cn/app/DBnBb8ARIaRDzqsOZ3ZcU1CTnWe?pageId=pgefjvUNBkjafNx6

抖音热点信息差变现教程,大V爆款方法
链接:https://pan.quark.cn/s/f3aa6656cf30

剪映婚礼模板
链接:https://pan.baidu.com/s/1ifnXL57uh8iI1SbgFFxRjQ?pwd=gwze

自然光电商平铺手机摄影课
链接:https://pan.quark.cn/s/59ddd9d8d65d

红商联盟小红书虚拟项目掘金 变现指南
链接:https://pan.quark.cn/s/ee7d43952c50

小红书虚拟资料变现系统课程
链接:https://pan.quark.cn/s/b58d9014aa5d

外贸社媒获客训练营
❶链接:https://pan.baidu.com/s/1VZaaX40Jggki1LG_SW_gSg?pwd=5s4p
❷链接:https://pan.quark.cn/s/7a88880e6293

强人设IP打造短视频训练
链接:https://pan.quark.cn/s/6778fb608b9b

AI时代短视频:修仙类型短视频创作指南
链接:https://pan.baidu.com/s/1PETamsSy_Qr2ouDHCOwE2A?pwd=91cc

腾讯视频分成计划系统课2025
链接:https://pan.quark.cn/s/49c04585145c

约泡指南:探探+soul+聊天玩法
链接:https://pan.baidu.com/s/1MUN2PoknzXcCkeVA6bbJkw?pwd=587d

AI漫剧实战课
❶链接:https://pan.baidu.com/s/1L_PFCBU5AH6SrtxHhJwHrw?pwd=542w
❷链接:https://pan.quark.cn/s/6f84f597d8db

漫剧实战班 第二期
❶链接:https://pan.baidu.com/s/1mbCG-FM00fmJODfYcU5TVQ?pwd=94dc
❷链接:https://pan.quark.cn/s/3343f122c2a9
NCE(新概念英语全四册点读)是一个开源项目,汇聚了全册课文朗读和单句点读功能,帮你随时随地高效学英语。| #英语

不仅有标准发音的课文朗读,还能单句点读,方便反复练习;覆盖基础到高级四册内容,系统提升听说读写。

核心亮点:

- 全四册《新概念英语》课文在线朗读,标准发音,助你纠正口音;
- 单句点读,精准定位难句,随时复习巩固;
- 涵盖初级到高级的语法和词汇,循序渐进科学学习;
- 适合零基础到高级备考人群,支持在线使用,无需安装;
- MIT开源许可,代码公开透明,欢迎贡献和改进