HopsFS: Scaling Hierarchical File System Metadata Using NewSQL Databases

http://salmanniazi.com/files/2018-Springer-Chapter.pdf

#hopsfs #hdfs

Open source mainstream distributed file system brief introduction

Большой материал с описанием различных распределённых ФС

https://www.programmersought.com/article/21368223938/

#напочитать #cephfs #nfs #hdfs #lustre #gfs #moosefs #gluster #gridfs

Why spark on ceph?

Серия постов в которой сравнивается работа apache spark на ceph с работой на hdfs.

Первая часть призвана ответить на вопрос «зачем»
https://www.redhat.com/en/blog/why-spark-ceph-part-1-3

Вторая часть отвечает на вопрос «как»
https://www.redhat.com/en/blog/why-spark-ceph-part-2-3

И третья часть отвечает на вопрос насколько быстрее/медленее схема с ceph в сравнении с hdfs
https://www.redhat.com/en/blog/why-spark-ceph-part-3-3

#ceph #spark #hdfs #s3 #apache #hadoop #redhat #bigdata

Сказ о нескольких багах hdfs которые привели к порче данных и потере нескольки сотен петобайт уникальных данных.

https://www.youtube.com/watch?v=e8gU7-nF350&list=PLeN_80lmoMY05blJdqyQIFtDQQqOe5P6v&index=7

#hadoop #hdfs #sds #ec