Выбираем кластерную файловую систему 😳 (скорее всё же распределённую систему хранения данных)

#cephfs #s3 #minio #linstor #nfs #beegfs #lustre #glusterfs #lizardfs

MinIO Introduces Continuous Availability and Active-Active Bucket Replication

Пост в блоге MinIO про репликацию.

https://blog.min.io/active-active-replication/

#s3 #minio #storage #чтиво

HopsFS: 100x Times Faster than AWS S3

#hopsfs #aws #s3

https://altinity.com/blog/clickhouse-and-s3-compatible-object-storage

#s3 #clickhouse

https://habr.com/ru/company/veeam/blog/517392/

#minio #s3

Kopia -
Cross-platform backup tool for Windows, macOS & Linux with fast, incremental backups, client-side end-to-end encryption, compression and data deduplication. CLI and GUI included.

#backup #windows #linux #macos #s3

Про ceph в DigitalOcean

https://www.youtube.com/watch?v=k_bTg72eOhU

#ceph #rbd #s3

Why spark on ceph?

Серия постов в которой сравнивается работа apache spark на ceph с работой на hdfs.

Первая часть призвана ответить на вопрос «зачем»
https://www.redhat.com/en/blog/why-spark-ceph-part-1-3

Вторая часть отвечает на вопрос «как»
https://www.redhat.com/en/blog/why-spark-ceph-part-2-3

И третья часть отвечает на вопрос насколько быстрее/медленее схема с ceph в сравнении с hdfs
https://www.redhat.com/en/blog/why-spark-ceph-part-3-3

#ceph #spark #hdfs #s3 #apache #hadoop #redhat #bigdata

Ceph Days NYC: Optimizing RGW Object Storage Mixed Media through Storage Classes and Lua Scripting

Отличный пример того зачем могут пригодиться скрипты в RGW

https://youtu.be/Mj3HokDiN6Y

#ceph #s3 #rgw #radosGW #lua #scripting #optimization

Доклад о проблемах эксплуатации minio.

p.s. особенно интересно смотреть после вступления «мы не рассматривали #ceph потому, что там большая команда нужна».

https://www.youtube.com/watch?v=XiJVC9nzAW4

#s3 #minio

radosgw_usage_exporter

Мониторинг и предоставление статистики использования S3 – достаточно стандартная задача, но в стандартном экспортере MGR отсутствуют данные по пользователям и тому, как они утилизируют S3.

Для решения этой задачи я рекомендую использовать https://github.com/blemmenes/radosgw_usage_exporter.

#rgw #prometheus #monitoring #s3

Auto-tiering Ceph Object Storage

Серия постов показывающая как можно автоматически раскладывать объекты с3 по разным слоям хранения с помощью lua скриптов появивишихся в RGW.

PART 1 - Ceph Object storage basics and why you’d want to set up different storage classes
PART 2 - How to use Lua scripting to automatically assign objects to different storage classes based on size
PART 3 - More advanced Lua scripting to dynamically match objects to storage classes based on regex matching to object names

Так же про это рассказывали год назад на конфиренции в NY
https://t.me/cephexpert/37

#ceph #s3 #rgw #radosGW #lua #scripting #optimization #blog