C’s Random Collection
207 subscribers
98 photos
5 videos
20 files
1.09K links
Personal tech notes, all opnions are mine.
Download Telegram
Design_and_Evaluation_of_IPFS.pdf
1.8 MB
IPFS evaluation paper 很全面的 revisit,值得一读,啥时写个总结的 tech notes #IPFS #Paper #toread
https://r2.chenxi.dev/snowflake-nsdi22.pdf Snowflake paper on building an elastic query engine on disaggregated storage. 里面有个很有趣的点,就是 Snowflake 的 storage elasticity 是不需要 reshuffling 的,就是加多一个 node,不需要像 share-nothing 那种把以前的一个或几个机器上的data 移到新的机器上这个过程(technically 不是说不需要移 data,只是把这个过程变成了 lazy 的)Section 6.1 解释,其实方法很简洁,Lazy Consistent Hashing:先加一个新 node,scheduler 不会立刻移之前的 data 到新 node,而是等到下一次执行的时候,把其他 node 的数据已过去然后 cache,以前 node 的数据未来会 evict。所以可以随便加减 Node,只是在下一次执行的时候才去做 reshuffle 这个动作而已。 这个设计从用户的角度来看,简直就是平滑的随意加减 Nodes #snowflake #paper #database #distributedsystem #scalability #storagesystem