黑洞资源笔记
76.9K subscribers
19.7K photos
895 videos
962 files
16.7K links
Download Telegram
TernFS:面向大规模机器学习场景设计的分布式文件系统,专注于存储海量不可变大文件,支持高达10EB数据量和上万亿文件级别规模。

• 设计目标精准:主要处理上亿级文件(平均10MB),极少目录变更,适配单数据中心最大负载,涵盖1百万客户端。
• 高可靠性保障:写入原子性确保文件非半写状态,断电或节点故障不破坏元数据,数据腐败概率极低,支持灾难级恢复策略。
• 多区域复制支持:跨数据中心复制,避免单点故障,提升计算扩展灵活性。
• 关键组件分工明确:
- Registry:C++实现,管理元数据分片与Block服务地址,5节点共识持久化。
- Metadata Shard:256逻辑实例,存储文件/目录属性及映射。
- CDC(Cross Directory Coordinator):协调跨目录操作,确保事务串行执行。
- Block Service:百万级实例,分散存储文件块,实现多点冗余。
- 客户端支持多协议(FUSE、S3、web UI、CLI等)。
• 运维友好:支持在线维护和故障迁移,具备自动坏块修复和数据迁移工具。
• 开发与测试:
- 采用Docker容器构建环境,支持Alpine和Ubuntu两种镜像。
- 提供详尽集成测试及内核模块测试,确保核心组件稳定。
- VS Code友好,支持Go、C++代码智能提示与调试。
• 开源协议兼容性强:GPL-2.0-or-later主协议,核心协议与客户端库采用Apache-2.0 + LLVM例外,支持构建闭源客户端。

TernFS凭借其对超大规模不可变文件的深度优化和健壮设计,为高性能计算和机器学习数据存储提供了极具前瞻性的解决方案。
ComfyDeploy 重新开源,带来完整的云端部署解决方案,适合需要灵活自托管和按需付费的团队与企业。

• 完整前后端平台开源,支持在本地或云端无缝部署 ComfyUI,解决复杂服务器环境下的部署难题。
• 创始团队从零起步,经历 YC 加速器认可,当前月收入达 $29K,仍积极支持现有客户,保障服务持续稳定。
• 面对闭源大模型冲击,推出按需付费云服务,无需人工对接,降低试用门槛,适应市场变化。
• 兼容多种云组件:Modal(云函数)、Neon(数据库)、Vercel(前端托管)、Railway(后端)、Clerk(认证)、Upstash(Redis)、AWS S3(存储)。
• 适合技术团队和创意团队,既可选择自托管完全掌控,也可按使用量付费灵活扩展,未来若官方推出相似方案,ComfyDeploy将予以推荐。
• 现有用户服务不受影响,团队将继续维护并探索新方向,体现从产品到业务的务实调整和长远眼光。
1
Media is too big
VIEW IN TELEGRAM
Spec Kit:颠覆传统编程,打造更高效的软件开发流程。

• 以 Spec-Driven Development 为核心,规范文档不再是废纸,直接执行规格生成代码,聚焦产品场景,减少重复造轮子。
• 通过 /specify 命令精准描述需求,强调“做什么”和“为什么”,而非技术细节,适合多样化团队协作。
• 支持多 AI 编码助手(Claude、Copilot、Gemini、Cursor 等),灵活选型,兼容多种技术栈与架构。
• 细分开发阶段:从零起步、平行探索多方案到渐进迭代升级,满足创新与遗留系统改造双重需求。
• 旨在打破技术边界,支持企业设计系统与合规要求,保证关键任务级应用开发稳定可靠。
• 配套完整 CLI,涵盖项目初始化、系统检测、任务拆解与调试,降低入门门槛并提升开发效率。
• 适用环境:Linux/macOS(含 WSL2),依赖 Python 3.11+、Git 及现代包管理工具 uv。
GPU 编程入门资源精选,助你快速突破学习瓶颈:

JAX 官方 GPU 指南详解架构与性能优化,适合初学者系统理解:
• Modal 的性能瓶颈词汇表,精准识别与解决 GPU 运行障碍:
Multimodal AI 工程师入门指南,涵盖实践与理论结合的学习路径:
Bytes of Intelligence 深度解析 GPU 效率最大化战术,揭示常见误区与优化方法:

此外,社区讨论中建议初学者聚焦 JAX 而非 Triton,降低学习曲线,快速入门。实践平台如 tensarahq 也被推荐用来加深理解。

GPU 编程虽复杂,但系统资源整合与循序渐进的学习策略,将让你有效避开“野地”陷阱,实现高效上手
1
由日本国际交流基金会创办推出的日语学习平台,分级学习,有多个辅助站点,学习方法多样,但并不是都有中文翻译,主站需要注册登录,其余部分内容可直接用。

Minato | #日语
Научная литература,俄语,科学文献网站,可以在线阅读或者下载俄语科学书籍,主要是教科书和部分论文 | #文献
OBUCHALKA.org 俄国教科书免费下载网站,范围从学龄前到11年级,主要科目为数学、俄语、文学、计算机科学、物理、化学、地理、历史、社会科学、生物学。
一个免费下载俄罗斯教科书的网站,各学科各年级都有,pdf和djvu电子书。 ​​​

11klasov.ru | 11klasov | #电子书
日本的近代教科书存档网站,可以下载PDF

国立教育政策研究所教育图书馆 | #图书馆
Kallipos,希腊开放存取教育资源网站,教科书(pdf与epub)、幻灯片、数据图和一些文章,都可以免费下载,涵盖范围很广,文史方面能找到希腊语学习教程、欧洲及奥斯曼历史,也有数学和信息学、自然与农业科学、工程科学与技术、医学和健康科学等等
Mythlab:希腊神话研究项目网站,三部分,一是MANTO,数字地图,可以查询神话之间的空间联系(速度较慢)。二是The Greek Myth Files 希腊神话题材播客。三是Canopos,部分神话文本英语翻译
2
谷歌出品,面向全球开发者的5天AI Agents密集课程即将上线,系统深度剖析自主智能体构建与部署全流程:

• 涵盖AI Agent设计模式、Agent工具链、上下文工程、记忆管理及Agent评估等核心技术
• 着重打造生产级多智能体系统(multi-agent systems)及Agent-to-Agent(A2A)交互实战
• 继去年42万开发者参与GenAI课程后,专注自主Agent系统,免费公开,零门槛开放报名
• 课程由谷歌团队主导,配合Kaggle平台,支持实操与理论并重,适合追求落地应用的开发者
• 资源全开源,包含100+ AI Agents和RAG(Retrieval-Augmented Generation)教程,助力持续学习与创新
• 业内专家反馈:课程聚焦生产级系统,远超基础知识,强调整体架构与长效运行机制

点击报名 | 代码地址
6