https://r2.chenxi.dev/snowflake-nsdi22.pdf Snowflake paper on building an elastic query engine on disaggregated storage. 里面有个很有趣的点,就是 Snowflake 的 storage elasticity 是不需要 reshuffling 的,就是加多一个 node,不需要像 share-nothing 那种把以前的一个或几个机器上的data 移到新的机器上这个过程(technically 不是说不需要移 data,只是把这个过程变成了 lazy 的)Section 6.1 解释,其实方法很简洁,Lazy Consistent Hashing:先加一个新 node,scheduler 不会立刻移之前的 data 到新 node,而是等到下一次执行的时候,把其他 node 的数据已过去然后 cache,以前 node 的数据未来会 evict。所以可以随便加减 Node,只是在下一次执行的时候才去做 reshuffle 这个动作而已。 这个设计从用户的角度来看,简直就是平滑的随意加减 Nodes #snowflake #paper #database #distributedsystem #scalability #storagesystem
https://arxiv.org/pdf/1308.6297.pdf interesting paper on NRC-Emotion-Lexicon #paper #emotion #sentiment_analysis