codedump的电报频道
5.39K subscribers
203 photos
6 videos
7 files
765 links
发布个人博客(主页 codedump.info)、想法、推荐等。RSS订阅地址:https://rsshub.app/telegram/channel/codedump_notes,过往汇总搜索可以到:https://app.shokichan.com/c/tg/codedump_notes。
Download Telegram
#数据库
PGSimCity - PostgreSQL 工作原理可视化解析

PGSimCity 是一个 PostgreSQL 数据库引擎的 3D 可视化模拟工具,将数据库内部机制映射为一座虚拟城市,便于用户理解。它展示如 TPS、缓存命中率、WAL 流量等关键指标,并允许用户自定义事务频率、读写比例等参数,模拟数据库性能变化。用户可通过回放控制、交互建筑和预设场景(如检查点风暴、缓存激冷等)深入观察 PostgreSQL 的内部运作,包括缓冲池、检查点进程、自动清理与复制机制。该项目主要用于教学与原理展示,参考了大量权威资源,包含一个 4 分钟的引导教程,目前仍为早期原型。
8
#数学
周末看了两个科普挂谷猜想的视频:李永乐老师的《挂谷猜想究竟是什么》,《一口气看懂王虹获菲尔茨奖》,个人觉得后者更好,有动画解释。勉强看懂了一些二维空间下的解释。

另外,也是从这个视频里,知道了豪斯多夫维数 。我们经常说的二维空间、三维空间指的是拓扑维度或者几何维度,这些维度都是自然数。而拓扑维度在描述分形的时候就遇到了困难,于是引入了这个豪斯多夫维数,它并不像拓扑维度一样总是自然数,而可能是非整数的有理数或者无理数。具体可以看上面第二个视频的解释。
👍5🤔1
#人工智能
传统的软件行业,是有“边际效益”的:成本主要集中在软件开发期内,开发完毕之后,同一份软件给一个人用和给一万个人用,成本差不多。当然,如果是互联网行业的软件,多一个用户会多一些带宽和存储成本,但是总体而言,多出来用户之后的成本可以认为是满足边际效应的。

但是如今大模型领域则不是这样。姑且把大模型领域分为训练和推理两个阶段,前期花费大量成本训练模型完毕了还不算,模型部署上线后,推理的成本是实打实的:多一个用户的请求,就多一份不能被忽略的推理成本。

从这个意义上来说,就现阶段而言,模型推理服务(Model As A Service,MAAS)其实更像是制造业。区别在于:传统制造业,原材料和产出物,都是实体;而模型服务,输入和输出,是虚拟的数字物件token。
11
#sqlite
How We Built a Zero-Disk, S3-Tiered Storage Engine for SQLite

如何给 sqlite 加上远程备份一直是一个热点问题,这个文章提供另一种思路:通过 sqlite 的 VFS 接口,给 sqlite 的数据存储提供冷、热分层存储。
👏2
图解分布式系统原理-样章.pdf
1.9 MB
#分布式
#图解分布式系统原理

《图解分布式系统原理》在小报童上线,本系列的完整初稿全部在本人博客公开

付费专栏提供的是排版后的精美pdf版本的下载,在pdf版本中:润色了文字,对比博客初稿多出了前言、目录、参考文献。

选择小报童的原因是因为跟微信强绑定,对国内的读者而言相对友好。附件提供了pdf版本的样章,有兴趣的读者可以看看。
5
#开源项目
#人工智能

我正在做的一个开源项目docq:一个基于本地文档的问答引擎。

考虑这样的场景:在本地目录积累了很多私人文档,突然想起来某个问题,又不知道具体在哪个文件(甚至可能是需要结合多个文件)和答案。这时候就可以利用这个本地文档问答引擎来提问。也就是说,这个本地问答引擎,可以基于本地的一大堆文件,提出问题并且得到回答。

市面上有类似的产品吗?比如anythingLLM,它是将一个特定的文档拖到它的UI界面再进行提问,也就是说,此时要求用户清楚知道答案在哪个文档里面再进行提问;再比如开源的 qmd,它更像是一个“语义搜索版本的 grep”,提供的是搜索功能,而不是回答。

除此以外,这个产品是完全离线的,第一次使用时会把需要用到的embedding、reranker、推理模型下载下来,绝不上传用户的文档到云端,保证安全和隐私。默认采用的几类模型是:embedding(Xenova/bge-small-zh-v1.5)、reranker(BAAI/bge-reranker-base)、LLM(Qwen/Qwen2.5-3B-Instruct-GGUF)。

现在我的第一步的 poc 已经跑通,我将我博客上的共识算法系统模型这两个章节的 markdown 文档放在同一个目录(加起来一共几万字),然后提出了一个问题:“multi paxos 相比 paxos 有哪些改进点”,回答的质量还不错,耗时有点多,花了将近 40 秒才完成回答(不过,里面有相当时间耗费在了加载模型上),我的机器配置是 Mac M1 Max 的 CPU、64GB 内存。
9