Forwarded from AWS Notes
Полезное видео для понимания тонкостей работы S3.
AWS re:Invent 2017: Deep Dive on Amazon S3 & Amazon Glacier Infrastructure, with spe (STG301)
Ссылка на начало видео, где немного рассказывается, как работает Amazon S3 под капотом (на картинке).
#s3 #video
AWS re:Invent 2017: Deep Dive on Amazon S3 & Amazon Glacier Infrastructure, with spe (STG301)
Ссылка на начало видео, где немного рассказывается, как работает Amazon S3 под капотом (на картинке).
#s3 #video
Сравнение производительности MinIO на intel и ARM серверах.
https://blog.min.io/intel_vs_gravitron/
#s3 #minio #arm #intel #nvme
https://blog.min.io/intel_vs_gravitron/
#s3 #minio #arm #intel #nvme
MinIO Blog
Intel + ARM Performance Characteristics for S3 Compatible Object Storage
This post looks at the relative strengths of Intel and ARM as it relates to object storage. Specific attention is paid to single core vs. multi-core.
MinIO Introduces Continuous Availability and Active-Active Bucket Replication
Пост в блоге MinIO про репликацию.
https://blog.min.io/active-active-replication/
#s3 #minio #storage #чтиво
Пост в блоге MinIO про репликацию.
https://blog.min.io/active-active-replication/
#s3 #minio #storage #чтиво
MinIO Blog
Continuous Availability and Active-Active Bucket Replication
MinIO introduces active-active bucket replication - ensuring that geographically distinct datacenter can by continuously synced.
Forwarded from Sysadmin Tools 🇺🇦
Forwarded from Sysadmin Tools 🇺🇦
Kopia -
#backup #windows #linux #macos #s3
Cross-platform backup tool for Windows, macOS & Linux with fast, incremental backups, client-side end-to-end encryption, compression and data deduplication. CLI and GUI included.
#backup #windows #linux #macos #s3
GitHub
GitHub - kopia/kopia: Cross-platform backup tool for Windows, macOS & Linux with fast, incremental backups, client-side end-to…
Cross-platform backup tool for Windows, macOS & Linux with fast, incremental backups, client-side end-to-end encryption, compression and data deduplication. CLI and GUI included. - kopia/kopia
Forwarded from ceph.expert
Why spark on ceph?
Серия постов в которой сравнивается работа apache spark на ceph с работой на hdfs.
Первая часть призвана ответить на вопрос «зачем»
https://www.redhat.com/en/blog/why-spark-ceph-part-1-3
Вторая часть отвечает на вопрос «как»
https://www.redhat.com/en/blog/why-spark-ceph-part-2-3
И третья часть отвечает на вопрос насколько быстрее/медленее схема с ceph в сравнении с hdfs
https://www.redhat.com/en/blog/why-spark-ceph-part-3-3
#ceph #spark #hdfs #s3 #apache #hadoop #redhat #bigdata
Серия постов в которой сравнивается работа apache spark на ceph с работой на hdfs.
Первая часть призвана ответить на вопрос «зачем»
https://www.redhat.com/en/blog/why-spark-ceph-part-1-3
Вторая часть отвечает на вопрос «как»
https://www.redhat.com/en/blog/why-spark-ceph-part-2-3
И третья часть отвечает на вопрос насколько быстрее/медленее схема с ceph в сравнении с hdfs
https://www.redhat.com/en/blog/why-spark-ceph-part-3-3
#ceph #spark #hdfs #s3 #apache #hadoop #redhat #bigdata
Redhat
Why Spark on Ceph? (Part 1 of 3)
A couple years ago, a few big companies began to run Spark and Hadoop analytics clusters using shared Ceph object storage to augment and/or replace HDFS.We set out to find out why they were doing it and how it performs.Specifically, we wanted to know first…
Forwarded from ceph.expert
Ceph Days NYC: Optimizing RGW Object Storage Mixed Media through Storage Classes and Lua Scripting
Отличный пример того зачем могут пригодиться скрипты в RGW
https://youtu.be/Mj3HokDiN6Y
#ceph #s3 #rgw #radosGW #lua #scripting #optimization
Отличный пример того зачем могут пригодиться скрипты в RGW
https://youtu.be/Mj3HokDiN6Y
#ceph #s3 #rgw #radosGW #lua #scripting #optimization
Доклад о проблемах эксплуатации minio.
p.s. особенно интересно смотреть после вступления «мы не рассматривали #ceph потому, что там большая команда нужна».
https://www.youtube.com/watch?v=XiJVC9nzAW4
#s3 #minio
p.s. особенно интересно смотреть после вступления «мы не рассматривали #ceph потому, что там большая команда нужна».
https://www.youtube.com/watch?v=XiJVC9nzAW4
#s3 #minio
YouTube
Свой распределённый S3 на базе MinIO — практический опыт наступания на грабли / Алексей Плетнёв
Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке: https://clck.ru/3DD4yb
--------
Saint HighLoad++ 2022
Презентация и тезисы:
https://highload.ru/spb/2022/abstracts/9072
Любому…
Программа, подробности и билеты по ссылке: https://clck.ru/3DD4yb
--------
Saint HighLoad++ 2022
Презентация и тезисы:
https://highload.ru/spb/2022/abstracts/9072
Любому…
Forwarded from ceph.expert
radosgw_usage_exporter
Мониторинг и предоставление статистики использования S3 – достаточно стандартная задача, но в стандартном экспортере MGR отсутствуют данные по пользователям и тому, как они утилизируют S3.
Для решения этой задачи я рекомендую использовать https://github.com/blemmenes/radosgw_usage_exporter.
#rgw #prometheus #monitoring #s3
Мониторинг и предоставление статистики использования S3 – достаточно стандартная задача, но в стандартном экспортере MGR отсутствуют данные по пользователям и тому, как они утилизируют S3.
Для решения этой задачи я рекомендую использовать https://github.com/blemmenes/radosgw_usage_exporter.
#rgw #prometheus #monitoring #s3
GitHub
GitHub - blemmenes/radosgw_usage_exporter: Prometheus exporter for scraping Ceph RADOSGW usage data.
Prometheus exporter for scraping Ceph RADOSGW usage data. - blemmenes/radosgw_usage_exporter
Forwarded from ceph.expert
Auto-tiering Ceph Object Storage
Серия постов показывающая как можно автоматически раскладывать объекты с3 по разным слоям хранения с помощью lua скриптов появивишихся в RGW.
PART 1 - Ceph Object storage basics and why you’d want to set up different storage classes
PART 2 - How to use Lua scripting to automatically assign objects to different storage classes based on size
PART 3 - More advanced Lua scripting to dynamically match objects to storage classes based on regex matching to object names
Так же про это рассказывали год назад на конфиренции в NY
https://t.me/cephexpert/37
#ceph #s3 #rgw #radosGW #lua #scripting #optimization #blog
Серия постов показывающая как можно автоматически раскладывать объекты с3 по разным слоям хранения с помощью lua скриптов появивишихся в RGW.
PART 1 - Ceph Object storage basics and why you’d want to set up different storage classes
PART 2 - How to use Lua scripting to automatically assign objects to different storage classes based on size
PART 3 - More advanced Lua scripting to dynamically match objects to storage classes based on regex matching to object names
Так же про это рассказывали год назад на конфиренции в NY
https://t.me/cephexpert/37
#ceph #s3 #rgw #radosGW #lua #scripting #optimization #blog
Ceph
Auto-tiering Ceph Object Storage - PART 1 - Ceph
Ceph is an open source distributed storage system designed to evolve with data.