ceph.expert
199 subscribers
3 photos
2 videos
70 links
Ceph это лучший sds общего назначения.
Есть вопросы про ceph? Заходите на https://ceph.expert
Download Telegram
Что-то с новой работой совсем забил на канальчик, даже про 20 релиз не написал (когда нибудь обязательно исправлюсь)

Сейчас же предупреждение для тех кто любит тестить новинки в проде.

В 20.2 привезли новый крутой EC (FastEC), а вместе с ним такой баг https://tracker.ceph.com/issues/71642 который может доставить много весёлых приключений.

Поэтому если вы поставили 20.2 подождите врубать FastEC.
🔥6
Вышел ceph 18.2.8 (reef)

Вышел восьмой, и скорее всего последний, бекпорт (хотфикс) релиз в ветке reef.

Разработчики отметили:

Известные проблемы

- Во время тестировния обнаружился баз при котором во время апргейда с pacific на reef сообщение OSD_UPGRADE_FINISHED может выводиться до того как все OSD реально обновились. Зафиксированных проблем найдено не было, но в целях безопасности больше не рекомендуется выполнять прямой апгрейд pacific → reef.

Фиксы безопасности

- CephFS client: Добавлено исправление запрещающее измение sgid и suid непривелигеровным пользователям.
- Mgr Alerts: Принудительно включен SSL для SMTP с целью устранения уязвимости (GHSA-xj9f-7g59-m4jx).

Важные изменения

RGW

- пофиксили баг при котором удаление с помощью bucket rm —bypass-gc по ошибке могло удалять head объекты вместо tail объектов.
- покфиксили работу rgw-restore-bucket-index
- пофиксили локи которые могли вызывать зависания при закрытии соединений
- добавили настройку rgw_enable_jwks_url_verification для совместимости с AWS

CephFS

- Убраил лаги которые могли составлять до 5 секунд на операциях rename/stat
- Исправили баг в cephfs-journal-tool который мог приводить к мертвым объектам в мете.
- Исправили обработку абсолютных путей
- Добавлена настройка mds_allow_batched_ops для контроля может ли MDS батчевать lookup или getattr вызовы.
- Добавили команду ceph fs subvolume snapshot getpath позволяющую получить абсолютный путь к снапшоту сабволума.

BlueStore

- пофиксили баг при котором метрки bytes_written_slow некорректно возвращала 0 при использовании aio_wtire.

подробнее тут:

https://ceph.io/en/news/blog/2026/v18-2-8-reef-released/

#ceph #reef #release #blog #cephexpert
🔥3
Оказывается есть hard limit количества снапшотов на один имидж в 16к. Никогда бы не подумал, но вот кто-то в него уперся :)
🤯2
Forwarded from Ivan
Спасибо за помощь, нашел багу https://tracker.ceph.com/issues/75253
фикса скорее всего не будет
.. note:: Each RBD image may hold a maximum of 16383 snapshots due to
internal limitations.
👍1
Вышел ceph 19.2.4 (Squid)

Четвёртый багфикс-релиз из ветки 19 с кодовым названием Squid. Разработчики рекомендуют всем обновиться.

Разработчики отметили:

- BlueFS: увеличен дефолтный размер WAL-тома до 1GB — чтобы реже получать ENOSPC
- Health: свежедобавленные мониторы больше не будут ложно триггерить MON_DOWN
- RADOS pybind: пофиксили баг в WriteOp.zero() — offset и length были перепутаны местами при вызове C API
- RGW Notifications: исправлена утечка в 2pc_queue, приводившая к ENOSPC, и исправлена утечка из-за которой оверхед не уменьшался корректно при commit/abort
- RGW Multipart Uploads: теги объектов, созданных через multipart upload, теперь нормально читаются
- RGW: поддержка Kafka обновлена до версии 3.9.2
- CephFS Fragments: Упрощён вывод фрагментов и скорректировано преобразование последовательности байт frag_t для обеспечения согласованности сети и хранилища.
- FUSE: уточнено, что fallocate для резервирования места на диске работает только со специфическими флагами типа FALLOC_FL_KEEP_SIZE
- CephFS Metadata: обновлён MDS для дампа frag_t как объекта и включил sysinfo в вывод команды status для улучшения диагностики.
- librbd: добавлен новый режим блокировки RBD_LOCK_MODE_EXCLUSIVE_TRANSIENT — позволяет пиру временно захватить эксклюзивный лок без немедленного abort I/O у остальных
- Dashboard: пофиксили баг с созданием нового MDS-сервиса при изменении placement на label
- Dashboard: Исправлены RBAC пермишены и добавлены отсутствующие типы в список mgr-модулей.

Подробнее тут: https://ceph.io/en/news/blog/2026/v19-2-4-squid-released/

#ceph #squid #release #cephfs
👍6
Вышел ceph 20.2.1 (tentacle)

Это первый минорный релиз в серии тенаклей. Рекомендуется обновится всем пользователям данной ветки.

Разработчики отметили:

• EC Recovery: пофиксили баг в расчёте длины в erase_after_ro_offset() — пустые шарды сохраняли данные, что приводило к assert shard_size >= tobj_size при восстановлении мелких объектов в EC-пулах
• BlueFS: исправлен выбор тома с учётом изменения размера файла при восстановлении WAL в envelope-режиме, плюс починен stat(), который не видел реальный размер файла после индексации WAL envelope
• Fast EC Restrictions: запретили включать EC-оптимизации (fast EC) для размеров чанка не кратных 4K — на невыровненных размерах fast EC работает плохо и багует, теперь такие попытки отклоняются
• Peering: ceph pg repeer теперь предлагает pg temp корректного размера — оптимизированный EC не переваривает несовпадение размеров
• NVMeoF: добавлена команда nvme-gw listeners для показа всех listener'ов (включая авто) внутри пула/группы, и переработана логика fast-failover шлюза — таймауты beacon'ов теперь считаются внутри prepare_beacon для поддержки коротких интервалов
• librbd: добавлен новый режим блокировки RBD_LOCK_MODE_EXCLUSIVE_TRANSIENT — позволяет пиру временно захватить эксклюзивный лок, остальные пиры приостанавливают активность и ждут освобождения вместо немедленного abort I/O. Переключаться между EXCLUSIVE и EXCLUSIVE_TRANSIENT можно даже при удержанном локе
• RGW: исправлена обработка условной валидации в MultiWrite, Delete и MultiDelete
• Dashboard: переделан главный лендинг — пункт «Dashboard» переименован в «Overview» с новой раскладкой, формы массово переведены на Carbon Design System, починен показ IP-адресов хостов
• cephadm: подняты дефолтные версии стека мониторинга — Prometheus 3.6.0, Node-exporter 1.9.1, Alertmanager 0.28.1, Grafana 12.2.0 (заодно подтянули upstream-фиксы безопасности)
• mon_nvmeofgw_beacon_grace: дефолтный grace-период до пометки шлюза как упавшего снижен с 10 до 7 секунд
• nvmeof_mon_client_tick_period: дефолтный интервал beacon-тиков снижен с 2 до 1 секунды
• bluefs_check_volume_selector_on_mount: бывший ..._on_umount переименован и теперь проверяет несогласованность volume selector и на mount, и на umount

подробнее тут:

https://ceph.io/en/news/blog/2026/v20-2-1-tentacle-released/

#ceph #tentacle #release #blog #cephexpert
👍1
Вышел ceph 20.2.2 (Tentacle)

Второй минорный релиз в ветке Tentacle, как обычно всем пользователям этой ветки рекомендуют обновиться.

Из отмеченных изменений:

* Платформы: добавлена поддержка пакетных установок на Rocky Linux 10 , полный сипсок тут
* MDS: пофиксили segfault возникавший из-за некорректной постановки ретрай запросов в очередь
* OSD
* PGLog: исправлен баг чтоб точно атачить правильную версию к missing list когда игнорятся логи.
* Data Integrity: добавлены ассерты поволяющие явно поймать потенциальную порчу данных в OSD missing list
* RGW
* Lifecycle: починены lifecycle-переносы зашифрованных multipart-объектов
* REST: RESTArgs::get_string() теперь корректно декодирует URL в котором есть параметры запроса.
* RADOS
* Linger: пофиксили много косяков в проверках, устранили use-after-free уязвимость, убрали утечку памяти в LingerOp, и что-то еще.
* neorados Watch/Notify: Теперь overflow маркер добовляется в очередь только на первом сообщение. Устранён двойной вызов cleanup при получении ошибки после запуска maybe_cleanup(). И что-то еще.
* Async Utilities: пофиксили некорректное удаление объектов из списка async-сервисов
* Dashboard
* NVMeoF: полный редизайн UI с поддержкой DHCHAP controller key, шифрованием namespace и настройкой secure listeners
* Pools & RGW: добавлена валидация stretch-кластера, исправлены проблемы с остановкой\рестартом RGW, баги sync policy, добавлена поддержка MSR EC профиля.
* NFS: добавлен тоггл видимости снапшотов CephFS, пофиксили создание экспортов и исправлена проблема с консистентностьб значения path
* ceph-volume: при сканировании инвентаря теперь автоматически пропускаются RAM-диски (/dev/ram*)
* extblkdev: пофиксили assert в FCM-плагине при работе с multivolume-устройствами

Подробнее тут:
https://ceph.io/en/news/blog/2026/v20-2-2-tentacle-released/

#ceph #tentacle #release #blog #cephexpert
👍6
Вышел Ceph v19.2.5 Squid

Пятый бэкпорт-релиз в серии Squid. Рекомендуется обновиться всем пользователям.

Из отмеченных изменений:

* MDS: пофиксили segfault, связанный с завершением MDSContext и постановкой запросов в очередь.
* OSD: поправили логику отката для object info (OI) при частичной записи и оптимизировали Erasure Coding — Twiddle теперь создаёт вектор полного * размера.
* RGW: добавили опцию ssl_ciphersuites для фронтенда Beast — теперь можно настраивать TLS 1.3 cipher.
* RGW: пофиксили баг, из-за которого PutObject-запросы ошибочно отклонялись при включённом BlockPublicAcls — некорректное сравнение в canned_acl.compare().
* RGW: в мультисайте устранили бесконечный цикл в RGWBucketFullSyncCR, когда исходный бакет удаляли посреди синка — добавили очистку stateful-данных в переиспользуемых объектах bucket_list_result.
* RGW: ListTopics (SNS) теперь использует ARN рута аккаунта при оценке политик, если вызов идёт не от root пользователя, что предотвращает непредвиденные неявные запреты возникавшие ранее.
* RGW: пофиксили internal server error при аутентификации presigned URL.
* RGW: prerequest-хук теперь выполняется после авторизации, а не до.
* RGW: добавили обработку plain-text тегов объектов в RGWObjTags::decode().
* RGW: Beast timeout timer перевели на strand executor для предотвращения конкурентного доступ к сокету и потенциальных гонок.
* RGW: поправили bucket stats, когда индекс бакета не существует.


Подробнее тут: https://ceph.io/en/news/blog/2026/v19-2-5-squid-released/

#ceph #squid #release #blog
👍1
Вышел ceph 20.2.3 (Tentacle)

Третий минорный релиз в ветке Tentacle, как обычно всем пользователям этой ветки рекомендуют обновиться.

Из отмеченных изменений:

* MDS
* Пофиксили краш и зависание при шатдауне, если были активны эфимерные пины, а max_mds выставлен в 0
* Session reclaim мог пропустить блоклистинг старой сессии — теперь обрабатывается корректно
* Исправлен случай, когда скраб не мог опознать повреждение из-за неремонтируемой хардлинки

* OSD
* BlueStore: пофиксили баг envelope-режима BlueFS WAL, приводивший к рассогласованию выравнивания write-буфера
* Erasure Coding: исправлено планирование truncate+write для размеров EC-шардов
* Исправлено условие, мешавшее roll forward записей PG log
* OSDMap::check_health() больше не падает в assert при обнаружении новых OSD в subtree
* Scrub: репеир скрабы (deep scrub, перезапущенный ради починки уже найденной неконсистентности) больше не ограничены настроенными часами и днями скраба — теперь могут запускаться в любое время

* RGW
* Добавлена опция ssl_ciphersuites для Beast — можно кастомизировать наборы шифров TLS 1.3
* Пофиксили баг сравнения canned_acl в PutObject, ломавший BlockPublicAcls
* Исправлены краши при перезагрузке realm
* Реализован CopyObject для зашифрованных объектов
* Добавлена поддержка mTLS-аутентификации по клиентскому сертификату для Kafka-нотификаций
* Починено удаление delete markers при обработке lifecycle

* RADOS / librados / neorados
* neorados: устранён бесконечный цикл trim на пустых шардах data log
* Пофиксили очистку cancellation slot в associated executor в librados/asio

* Dashboard
* Добавлен дашборд мониторинга железа на метриках node-proxy
* Исправлена регрессия bind address, приехавшая с изоляцией CherryPy
* Добавлена возможность добавлять хосты через загрузку CSV
* NVMeoF: пачка бэкпортов CLI и UI — поддержка EC-пулов, IO-статистика, управление ролями
* Object: глобальная вкладка RGW Roles убрана, управление ролями переехало внутрь RGW Accounts — список, создание, редактирование и удаление ролей теперь в контексте выбранного аккаунта

* ceph-volume
* Переработан жизненный цикл OSD mapper (LVM + raw) для activate
* Улучшено определение rotational-носителей под dm-crypt для корректного обхода workqueue
* Пофиксили проблемы передеплоя OSD с фильтрами выбора дисков и DB-устройствами
* Добавлены ретраи lvs при пустом результате или ошибке «devices file is missing»

* NVMe-oF
* Добавлен настраиваемый отложенный failback (по умолчанию 0, без задержки) — для инициаторов, восстанавливающих пути с лагом
* Шлюзы в состоянии DELETING теперь игнорируют beacon'ы и отдают пустые мапы вместо их обработки
* rbd_with_crc32c включён по умолчанию через cephadm
* Появился новый mgr-модуль NVMeoF. Модуль сам создаёт метаданный пул ".nvmeof", если его ещё нет, и хранит там файлы состояния групп шлюзов (если не указан другой пул). На свежих инсталляциях включается автоматически, при апгрейде со старого кластера — включать вручную

* RBD
* Пофиксили use-after-free при освобождении локов object map во время deep copy
* Устранены утечки памяти в discard-операциях Persistent Write Log
* Устаревшие primary mirror снапшоты теперь вычищаются после relocation

Подробнее тут:
https://ceph.io/en/news/blog/2026/v20-2-3-tentacle-released/

#ceph #tentacle #release #blog #cephexpert
👍4
Вышли ceph 20.2.4 (Tentacle) и 19.2.6 (Squid) — срочные hotfix-релизы с исправлением CVE

Внеочередные релизы от 19 августа 2026 сразу в двух ветках, закрывающие четыре CVE в разных компонентах. Шестой backport-релиз в ветке Squid и четвёртый в Tentacle. Разработчики настоятельно рекомендуют обновляться как можно скорее.

❗️❗️❗️ Перед обновлением внимательно изучите пост и доку (особенно кто живёт без cephadm), в этот раз всё не так просто как обычно.

Что важно знать перед обновлением:

* CephX: фикс CVE-2025-30156 вводит новый тип ключа — aes256k. Это первый случай появления нового типа ключей для CephX-кред, поэтому под него сделали отдельную процедуру обновления и ротации ключей. Перед обновлением кластера обязательно ознакомьтесь с ней — [дока тут](https://docs.ceph.com/en/latest/rados/configuration/auth-config-ref/index.html#upgrading-and-rotating-cephx-keys). Описанные шаги рассчитаны на пакетные инсталляции; там же разобраны процедуры ротации ключей, контроль аутентификации на мониторах и аварийное восстановление
* cephadm: процесс автоматизирован, кроме клиентских ключей. Апгрейд после обновления образов демонов займёт заметно больше времени, чем обычно — это ротация ключей OSD и MDS, так и задумано, надо просто подождать. Обещают в будущем ускорить
* Rook: часть клиентских ключей ротируется автоматически, есть какие-то исключения — подробности будут в анонсе Rook
* Клиенты и ядро: для поддержки aes256k рекомендуется обновить и их. В upstream-ядре поддержка появилась начиная с 7.0, забэкпорчена в CentOS Stream 9 и 10. Перед ротацией клиентских ключей, используемых kernel-клиентом, стоит уточнить наличие бэкпорта в своём дистрибе ядра.
* Health checks: в процессе обновления вылезут шесть новых warning'ов и ошибок — это нормально, они закрываются по мере прохождения процедуры ротации ключей ([описание](https://docs.ceph.com/en/latest/rados/operations/health-checks/index.html#auth-insecure-keys-creatable))
* Multisite: из-за фикса CVE-2026-54330 RGW теперь отклоняет Sigv4-запросы, где заголовки host и x-amz- не попали в подписанный набор. REST-клиент, используемый в multisite, как раз генерировал такие некорректно подписанные запросы. Если у вас multisite — перед началом обновления выставьте rgw_sigv4_insecure в true, а после апгрейда всех кластеров верните обратно в false
* Monitor config-key store: по фиксу CVE-2026-50152 формальная инструкция по ротации всех секретов из config-key store будет позже. Пока что операторам cephadm-кластеров настоятельно советуют [ротировать SSH-ключ cephadm](https://docs.ceph.com/en/latest/cephadm/host-management/#ssh-configuration) по уже существующей процедуре. Ротация остальных секретов желательна, но процесса под неё пока нет — оценивайте потенциальные риски для своего кластера самостоятельно
* Документация: обновли раздел [про CephX](https://docs.ceph.com/en/latest/architecture/index.html#high-availability-authentication)

Закрытые уязвимости:

* [CVE-2025-30156](https://docs.ceph.com/en/latest/security/CVE-2025-30156) — обход аутентификации в CephX из-за некорректного использования AES-CBC
* [CVE-2026-39944](https://docs.ceph.com/en/latest/security/CVE-2026-39944) — та же первопричина (unauthenticated encryption), но применительно к STS session tokens в RGW: некорректная проверка криптографической подписи
* [CVE-2026-50152](https://docs.ceph.com/en/latest/security/CVE-2026-50152) — некорректная авторизация в обработчике подписок Ceph Monitor
* [CVE-2026-54330](https://docs.ceph.com/en/latest/security/CVE-2026-54330) — RGW неправильно верифицирует SigV4-подписи в своём SigV4-верификаторе

Так же детали нового процесса ротации CephX-ключей разбирали в [докладе на Cephalocon 2025](https://cephalocon2025.sched.com/event/27f2O/rotating-heads-and-cephx-keys-patrick-donnelly-ibm-yehuda-sadeh-weinraub-ubiquiti).

Подробнее тут:
https://ceph.io/en/news/blog/2026/v20-2-4-v19-2-6-combo-released/

#ceph #tentacle #squid #release #cve #security #blog #cephexpert
🔥2
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7