1TB/s

В статье рассказывается как собрать кластер который выдаёт 1ТБ/с.

https://ceph.io/en/news/blog/2024/ceph-a-journey-to-1tibps/

#ceph #reef #blog #performance

Silver bullet for RocksDB performance

https://ceph.com/en/news/blog/2024/silver-bullet-rocksdb-performance/

#ceph #blog #rocksdb #performance

Вышел ceph 16.2.15 (pacific)

Ожидается что это будет последний релиз 16 ветки, а значит пора подумать над апгрейдом.

Разработчики отметили:

* Вывод

shell ceph config dump --format <json|xml>

будет отображать локализованные названия опций вместо их нормализованной версии. Например, будет отображаться

mgr/prometheus/x/server_port

вместо

mgr/prometheus/server_port

.

* CEPHFS: MDS выгоняет клиентов, не подверждающих свои идентификаторы запросов, что приводит к большому накоплению метаданных и, в результате, к переходу MDS в режим ro из-за превышения порога размера операции RADOS. Конфигурация mds_session_metadata_threshold контролирует максимальный размер, до которого метаданные могут расти.

* RADOS: C++ API get_pool_is_selfmanaged_snaps_mode объявлен устаревшим из-за его подверженности ложно негативным результатам. Его безопасной заменой является pool_is_in_selfmanaged_snaps_mode.

* RBD: При сравнении с началом времени (fromsnapname == NULL) в режиме fast-diff (whole_object == true с включенной и допустимой функцией fast-diff изображения), diff-iterate теперь гарантированно выполняется локально, если доступна эксклюзивная блокировка. Это приводит к значительному улучшению производительности для синхронизации live дисков QEMU и резервного копирования.

Подробнее тут:

https://ceph.com/en/news/blog/2024/v16-2-15-pacific-released/

#ceph #pacific #release #cephexpert

Вышел ceph 18.2.1 (reef)

Вышел выторой релиз в ветке reef, это хотфикс релиз устранящий несколько багов влключая поадения порма.

Разработчики отметили следующие изменеия:

* mgr/Prometheus: усовершенствовали проверку доступности оркестратора для предотвращения сбоев в модуле prometheus во время запуска. Введены дополнительные проверки для обработки идентификаторов daemon_id, сгенерированных в среде Rook, это должно предотвратить потенциальные проблемы при генерации метаданных RGW metrics.

Еще больше подробностей тут:

https://ceph.com/en/news/blog/2024/v18-2-2-reef-released/

#ceph #reef #release #cephexpert

Auto-tiering Ceph Object Storage

Серия постов показывающая как можно автоматически раскладывать объекты с3 по разным слоям хранения с помощью lua скриптов появивишихся в RGW.

PART 1 - Ceph Object storage basics and why you’d want to set up different storage classes
PART 2 - How to use Lua scripting to automatically assign objects to different storage classes based on size
PART 3 - More advanced Lua scripting to dynamically match objects to storage classes based on regex matching to object names

Так же про это рассказывали год назад на конфиренции в NY
https://t.me/cephexpert/37

#ceph #s3 #rgw #radosGW #lua #scripting #optimization #blog

Вышел ceph 18.2.4 (reef)

Вышел четвёртый бекпорт релиз в ветке reef.

Ранняя сборка этого релиза была случайно упакована и опубликована как 18.2.3 проектом Debian в апреле. Этот релиз 18.2.3 не должен использоваться, поэтому официальный релиз был переименован в v18.2.4, чтобы избежать дальнейшей путаницы.

Образы контейнеров v18.2.4 основанны на CentOS 9 и могут быть несовместимы с более старыми ядрами (например, Ubuntu 18.04) из-за различий в методах создания потоков. Пользователи, обновляющиеся до контейнеров v18.2.4 на более старых версиях ОС, могут столкнуться со сбоями во время выполнения pthread_create. Для обходных путей обратитесь к связанному трекеру https://tracker.ceph.com/issues/66989. Однако разработчики рекомендуют обновить вашу ОС, чтобы избежать этой неподдерживаемой комбинации.

Разработчики отметили следующие изменеия:

* RBD: При сравнении с началом времени (fromsnapname == NULL) в режиме fast-diff (whole_object == true с включенной и допустимой функцией fast-diff образа), diff-iterate теперь гарантированно выполняется локально, если доступна эксклюзивная блокировка. Это приводит к значительному улучшению производительности для синхронизации live дисков QEMU и резервного копирования.
* RADOS: C++ API get_pool_is_selfmanaged_snaps_mode был объявлен устаревшим из-за возможности ложноотрицательных результатов. Его безопасной заменой является pool_is_in_selfmanaged_snaps_mode.
* RBD: Добавлена опция --image-id для командной строки rbd children, чтобы она могла работать с образами в корзине.

Еще больше подробностей тут:

https://ceph.io/en/news/blog/2024/v18-2-4-reef-released/

#ceph #reef #release #cephexpert

Некоторый сюрприз ожидает тех кто живет на пакетах и el8 (centos 8, rocky 8 etc). Под эту платформу 18.2.4 не собрали 🫣

40GiB/s S3 Throughput With 22TB Spinners

В статье рассказывают как выжимали 40ГБ из s3 на достаточно плотных 1u серверах к которым подключены экспандеры по 60х22тб дисков.

Part I

#ceph #s3 #performance #tests #rgw

Вышел ceph 19.2.0 (squid)

Вышел первый стабильный релиз 19 ветки с кодовым названием squid.

Пользователям iSCSI рекомендуется ознакомиться с трекером перед обновлением т.к. разработчики сталкивались с проблемами при обновлении с 19.1.1 до 19.2.0.

Краткое содержание основных изменений, которые принесла 19 ветка:

-RADOS: BlueStore был оптимизирован для лучше производительности при snapshot-intensive сценариях.
- RADOS: Сжатие LZ4 в BlueStore RocksDB теперь включено по умолчанию для повышения средней производительности и использования пространства на быстрых дисках.
- RADOS: Другие улучшения включают в себя более гибкие конфиги EC, OpTracker для помощи отладки проблем в модулях mgr, и улучшеный планировщик скраба.
- Dashboard: Улучшение в навигационном слое
- CephFS: Поддержка управления снапшотами и клонами CephFS, а также управление расписанием снапшотов.
- CephFS: управление возможностями авторизации для ресурсов CephFS
- CephFS: помощники монтирования cephfs volumes
- RBD: Функция diff-iterate теперь может выполняться локально, что значительно повышает производительность при использовании QEMU для оперативной синхронизации дисков и резервного копирования.
- RBD: Добавлена поддержка клонирования из снапшотов non-user типа.
- RBD: windows драйвер rbd-wnbd получил возможность мультиплексировать мапинг образов.
- RGW: Функция "Учетные записи пользователей" открывает несколько новых AWS совместимых IAM API для самостоятельного управления пользователями, ключами, группами, ролями, политиками и многим другим.
- RADOS: Это первый релиз в котором crimson, в качестве tech preview, доступен для широкого круга пользователей. Пока поддерживается только RBD на реплицируемых пулах. Для получения дополнительной информации про Crimson смотрите https://ceph.io/en/news/crimson

И многое другое.

Как всегда release notes первого стабильного релиза достаточно объемные и там много чего интересного.

Подробнее тут:

https://ceph.com/en/news/blog/2024/v19-2-0-squid-released/

P.S. Как обычно не рекомендую катить в прод с ценными данными первый релиз, даже не смотря на то, что его называли стабильным ;)

#ceph #squid #release #cephexpert

Вышел ceph 17.2.8 (Quincy)

Контейнеры 17.2.8 собранны на базе CentOS 9 и могут быть несовместимы с OS со старыми ядрами (например Ubuntu 18.04).
Пользователи, обновляющие контейнерные образы до версии v17.2.8 на старых версиях ОС, могут столкнуться с падениями при вызове pthread_create.
Поэтому рекомендуется проагрейдить ваши OS чтоб избежать этой неподдерживаемой комбинации.

RPM пакеты v17.2.8 собраны под centos 9 вместо centos 8.
Команда dnf не будет работать с версией 17.2.8 т.к. сабдириктория el8 будет пуста.
Вы можете взять пакет 17.2.8 от CERN или продолжить сидеть на версии 17.2.7. Если следовать инструкции
https://docs.ceph.com/en/latest/install/get-packages/#rhel то
ceph.repo файл должен указывать на https://download.ceph.com/rpm-17.2.7/el8 вместо https://download.ceph.com/rpm-quincy/el8

CERN пакеты предоставляются без гарантий и не были полностью протестированы.

Репа CERN для el8 https://linuxsoft.cern.ch/repos/ceph-ext-quincy8el-stable/

GPG key https://linuxsoft.cern.ch/repos/RPM-GPG-KEY-Ceph-Community

Разработчики отметили:

- RADOS: C++ API get_pool_is_selfmanaged_snaps_mode был помечен как устаревший из-за склонности к ложным отрицательным результатам. Рекомендуемое безопасное заменяющее API — pool_is_in_selfmanaged_snaps_mode.
- RBD: При выполнении операции diff относительно начала времени (`fromsnapname == NULL`) в режиме fast-diff ( whole_object == true c fast-diff фича образа включена и валидна), теперь гарантируется локальное выполнение diff-итерации, если доступна эксклюзивная блокировка. Это значительно улучшает производительность в сценариях синхронизации дисков QEMU в реальном времени и резервного копирования.
- RBD: В команду rbd children добавлена опция -image-id, что позволяет выполнять её для образов в корзине.
- RBD: Опция RBD_IMAGE_OPTION_CLONE_FORMAT была добавлена в Python-биндинги через необязательный параметр clone_format для методов clone, deep_copy и migration_prepare.
- RBD: Опция RBD_IMAGE_OPTION_FLATTEN была добавлена в Python-биндинги через опциональный параметр flatten для методов deep_copy и migration_prepare.

Подробнее тут:

https://ceph.io/en/news/blog/2024/v17-2-8-quincy-released/

#ceph #quincy #release #cephexpert

В блоге цефа вышла серия статей про растянутые кластера

Ceph Stretch Clusters Part 1: Key Concepts
Ceph Stretch Clusters Part 2: Two Sites Plus Tiebreaker
Ceph Stretch Clusters Part 3: Handling Failures

#ceph #blog #stretch

Вышел ceph 18.2.5 (reef)

Вышел пятый бекпорт-релиз в ветке reef.

Разработчики отметили:

- RBD: Опция try-netlink стала опцией по умолчанию для rbd-nbd. Если ядро не поддерживает NBD netlink-интерфейс, то будет использоваться устаревший ioctl-интерфейс.
- RADOS: Новая команда ceph osd rm-pg-unmap-primary-all позволяет пользователю зачистить все pg-upmap-primary связи в osdmap.

Всего ченжлог содержит более 700 строк, подробнее тут:

https://ceph.io/en/news/blog/2025/v18-2-5-reef-released/

#ceph #reef #release #blog #cephexpert

Вышел ceph 18.2.6 (reef)

Вышел шестой бекпорт-релиз в ветке reef.

Разработчики отметили:

- ceph-volume: Пофиксили баг связанный с версией cryptosetup
- RADOS: Пофиксили баг связанный с поддержкой IPv6.

подробнее тут:

https://ceph.io/en/news/blog/2025/v18-2-6-reef-released/

#ceph #reef #release #blog #cephexpert

Вышел ceph 18.2.7 (reef)

Вышел седьмой бекпорт (хотфикс) релиз в ветке reef.

Разработчики отметили:

Этот релиз исправляет критическую проблему с BlueStore, которая приводит к сбоям OSD. Она проявляется в релизах 18.2.5 и 18.2.6 (https://github.com/ceph/ceph/pull/61653). Пользователям, работающим с этими релизами, настоятельно рекомендуется обновиться.

Также этот релиз включает ещё несколько важных исправлений для BlueStore:

- https://github.com/ceph/ceph/pull/62840
- https://github.com/ceph/ceph/pull/62054
- https://github.com/ceph/ceph/pull/62152

подробнее тут:

https://ceph.io/en/news/blog/2025/v18-2-7-reef-released/

#ceph #reef #release #blog #cephexpert

Вышел ceph 19.2.3 (squid)

Вышел третий бекпорт релиз в 19 ветке (squid). Всем юзера 19 ветки рекомендуют обновиться.

Разработчики отметили:

* RGW: PutObjectLockConfiguration теперь можно использовать для включения S3 Object Lock в существующем бакете с включённым версионированием, даже если этот бакет изначально был создан без Object Lock.
* RADOS: Добавлена новая команда ceph osd rm-pg-upmap-primary-all, которая позволяет очистить все сопоставления pg-upmap-primary в osdmap при необходимости.
Связанные задачи:
* https://tracker.ceph.com/issues/67179
* https://tracker.ceph.com/issues/66867
* RBD: Теперь запрещено перемещать в корзину образ, который является членом группы. В этом случае команда rbd trash mv теперь ведёт себя так же, как rbd rm.
* MGR: Постоянно включённые (always on) модули/плагины MGR теперь можно принудительно отключать. Это может быть необходимо, если нужно предотвратить «засыпание» MGR командами модуля, когда соответствующая служба Ceph недоступна или деградировала.
* RGW: Исправлена уязвимость обхода аутентификации в STS [CVE-2023-43040].
* RGW: Политики S3 теперь строго применяют условия, основанные на ARN.
* RGW: Копирование объекта в самого себя больше не приводит к потере данных. Также исправлена возможная порча данных при ошибке ETIMEDOUT (по умолчанию не включена).

Подробный changelog тут

#ceph #squid #release #cephexpert

Что-то с новой работой совсем забил на канальчик, даже про 20 релиз не написал (когда нибудь обязательно исправлюсь)

Сейчас же предупреждение для тех кто любит тестить новинки в проде.

В 20.2 привезли новый крутой EC (FastEC), а вместе с ним такой баг https://tracker.ceph.com/issues/71642 который может доставить много весёлых приключений.

Поэтому если вы поставили 20.2 подождите врубать FastEC.

Вышел ceph 18.2.8 (reef)

Вышел восьмой, и скорее всего последний, бекпорт (хотфикс) релиз в ветке reef.

Разработчики отметили:

Известные проблемы

- Во время тестировния обнаружился баз при котором во время апргейда с pacific на reef сообщение OSD_UPGRADE_FINISHED может выводиться до того как все OSD реально обновились. Зафиксированных проблем найдено не было, но в целях безопасности больше не рекомендуется выполнять прямой апгрейд pacific → reef.

Фиксы безопасности

- CephFS client: Добавлено исправление запрещающее измение sgid и suid непривелигеровным пользователям.
- Mgr Alerts: Принудительно включен SSL для SMTP с целью устранения уязвимости (GHSA-xj9f-7g59-m4jx).

Важные изменения

RGW

- пофиксили баг при котором удаление с помощью bucket rm —bypass-gc по ошибке могло удалять head объекты вместо tail объектов.
- покфиксили работу rgw-restore-bucket-index
- пофиксили локи которые могли вызывать зависания при закрытии соединений
- добавили настройку rgw_enable_jwks_url_verification для совместимости с AWS

CephFS

- Убраил лаги которые могли составлять до 5 секунд на операциях rename/stat
- Исправили баг в cephfs-journal-tool который мог приводить к мертвым объектам в мете.
- Исправили обработку абсолютных путей
- Добавлена настройка mds_allow_batched_ops для контроля может ли MDS батчевать lookup или getattr вызовы.
- Добавили команду ceph fs subvolume snapshot getpath позволяющую получить абсолютный путь к снапшоту сабволума.

BlueStore

- пофиксили баг при котором метрки bytes_written_slow некорректно возвращала 0 при использовании aio_wtire.

подробнее тут:

https://ceph.io/en/news/blog/2026/v18-2-8-reef-released/

#ceph #reef #release #blog #cephexpert

Оказывается есть hard limit количества снапшотов на один имидж в 16к. Никогда бы не подумал, но вот кто-то в него уперся :)

Спасибо за помощь, нашел багу https://tracker.ceph.com/issues/75253
фикса скорее всего не будет

.. note:: Each RBD image may hold a maximum of 16383 snapshots due to
   internal limitations.