Forwarded from ceph.expert
Спустя 2 месяца выпустили хотфикс-релиз 19.2.2, исправляющий баг в RGW, который приводил к потере данных, когда вызывался CopyObject для копирования объекта самого в себя.
Обычно клиенты так делают, когда хотят поменять метаданные.
Всем, кто сидит на 19-м релизе и использует RGW, сильно рекомендуется обновиться как можно быстрее.
Подробнее тут:
https://docs.ceph.com/en/latest/releases/squid/#v19-2-2-squid
#ceph #squid #release #cephexpert
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👏1
Forwarded from ceph.expert
Вышел ceph 18.2.5 (reef)
Вышел пятый бекпорт-релиз в ветке reef.
Разработчики отметили:
- RBD: Опция try-netlink стала опцией по умолчанию для rbd-nbd. Если ядро не поддерживает NBD netlink-интерфейс, то будет использоваться устаревший ioctl-интерфейс.
- RADOS: Новая команда
Всего ченжлог содержит более 700 строк, подробнее тут:
https://ceph.io/en/news/blog/2025/v18-2-5-reef-released/
#ceph #reef #release #blog #cephexpert
Вышел пятый бекпорт-релиз в ветке reef.
Разработчики отметили:
- RBD: Опция try-netlink стала опцией по умолчанию для rbd-nbd. Если ядро не поддерживает NBD netlink-интерфейс, то будет использоваться устаревший ioctl-интерфейс.
- RADOS: Новая команда
ceph osd rm-pg-unmap-primary-all
позволяет пользователю зачистить все pg-upmap-primary связи в osdmap.Всего ченжлог содержит более 700 строк, подробнее тут:
https://ceph.io/en/news/blog/2025/v18-2-5-reef-released/
#ceph #reef #release #blog #cephexpert
Ceph
v18.2.5 Reef released - Ceph
Ceph is an open source distributed storage system designed to evolve with data.
👍1🤯1
Forwarded from Network Warrior
Forwarded from Записки админа
📎 А вы знали, что в файле authorized_keys можно не только хранить ключи, но ещё и указать команду, которая будет выполнена при подключении, и даже описать условия, при которых команда будет выполняться?
Небольшая заметка по этому поводу - Using ~/.ssh/authorized keys to decide what the incoming connection can do...
https://dan.langille.org/2025/04/17/using-ssh-authorized-keys-to-decide-what-the-incoming-connection-can-do/
#ssh #будничное
Небольшая заметка по этому поводу - Using ~/.ssh/authorized keys to decide what the incoming connection can do...
https://dan.langille.org/2025/04/17/using-ssh-authorized-keys-to-decide-what-the-incoming-connection-can-do/
#ssh #будничное
Forwarded from Записки админа
🛠 Что может пойти не так при записи данных на диск или чтении данных с него? А вот что, например - Things that go wrong with disk IO...
https://notes.eatonphil.com/2025-03-27-things-that-go-wrong-with-disk-io.html
#io #filesystem #будничное
https://notes.eatonphil.com/2025-03-27-things-that-go-wrong-with-disk-io.html
#io #filesystem #будничное
Forwarded from Мониторим ИТ
Grafana 12 release: observability as code, dynamic dashboards, new Grafana Alerting tools, and more
Вышла Grafana 12! Что нового:
🚀 наблюдаемость как код. В Grafana 12 появился новый набор инструментов наблюдения в виде кода, которые помогут автоматизировать процессы наблюдения в организации. Новая функциональность позволяет версионировать, проверять и развертывать дашборды. Кроме того, есть возможность использования шаблонов кода.
🚀 динамические дашборды. Динамические дашборды упрощают навигацию и ускоряют поиск необходимой информации с помощью вкладок, которые позволяют сегментировать дашборды по контексту, группе пользователей, а отображать или скрывать панели или целые строки в зависимости от выбора переменных или наличия на панели данных для отображения. Видео на Youtube с описанием функционала.
🚀 улучшенное отображение таблиц. В Grafana 12 можно загружать, сортировать и фильтровать большие таблицы быстрее, чем раньше. Визуализация таблиц была переработана для использования библиотеки react-data-grid. Дашборд в Grafana теперь легко обрабатывает огромные наборы данных: по 40 000+ строк и почти 20 столбцов с производительностью CPU на 97,8% выше.
🚀 новые темы в дашбордах. Появились темы Sapphire dusk, Tron, Gilded grove, Gloom и Desert bloom.
🚀 объединение и преобразование данных из нескольких источников. Теперь одним выражением в формате SQL-синтаксиса можно забирать данные из разных источников: Loki, MySQL, PostgreSQL и пр.
🚀 легкая миграция в Grafana Alerting. Упрощена миграция правил оповещений, которая позволяет импортировать правила оповещений Prometheus и Loki в правила оповещений, управляемые Grafana.
🚀 Grafana Drilldown в GA. Теперь возможность перехода из одного дашборда в другой перестала быть экспериментальной функцией.
Больше подробностей в блоге Grafana
Вышла Grafana 12! Что нового:
🚀 наблюдаемость как код. В Grafana 12 появился новый набор инструментов наблюдения в виде кода, которые помогут автоматизировать процессы наблюдения в организации. Новая функциональность позволяет версионировать, проверять и развертывать дашборды. Кроме того, есть возможность использования шаблонов кода.
🚀 динамические дашборды. Динамические дашборды упрощают навигацию и ускоряют поиск необходимой информации с помощью вкладок, которые позволяют сегментировать дашборды по контексту, группе пользователей, а отображать или скрывать панели или целые строки в зависимости от выбора переменных или наличия на панели данных для отображения. Видео на Youtube с описанием функционала.
🚀 улучшенное отображение таблиц. В Grafana 12 можно загружать, сортировать и фильтровать большие таблицы быстрее, чем раньше. Визуализация таблиц была переработана для использования библиотеки react-data-grid. Дашборд в Grafana теперь легко обрабатывает огромные наборы данных: по 40 000+ строк и почти 20 столбцов с производительностью CPU на 97,8% выше.
🚀 новые темы в дашбордах. Появились темы Sapphire dusk, Tron, Gilded grove, Gloom и Desert bloom.
🚀 объединение и преобразование данных из нескольких источников. Теперь одним выражением в формате SQL-синтаксиса можно забирать данные из разных источников: Loki, MySQL, PostgreSQL и пр.
🚀 легкая миграция в Grafana Alerting. Упрощена миграция правил оповещений, которая позволяет импортировать правила оповещений Prometheus и Loki в правила оповещений, управляемые Grafana.
🚀 Grafana Drilldown в GA. Теперь возможность перехода из одного дашборда в другой перестала быть экспериментальной функцией.
Больше подробностей в блоге Grafana
Forwarded from IT Friday (Sabbath)
DevOps Topologies - отличная статья про паттерны и антипаттерны ДевОпс команд от создателей Team Topologies. Причем в жизни оно не обязательно так, конкретной вашей модели может тут и не быть, но признаки указанные в статье могут присутвовать, как хорошие, так и плохие. Интересно сматчить свою команду с тем, что в статье 😏
Мне, например, не хватило модели DevOps как внутренний сервис - гибридная Enabling / Platform Team, которая делала платформенные инструменты и разносила бы добрые практики, не замыкая на себе и не изолируя себя от команд разработки и эксплуатации
https://devopstopologies.ru/
Мне, например, не хватило модели DevOps как внутренний сервис - гибридная Enabling / Platform Team, которая делала платформенные инструменты и разносила бы добрые практики, не замыкая на себе и не изолируя себя от команд разработки и эксплуатации
https://devopstopologies.ru/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Мониторим ИТ
VictoriaMetrics : Effective alerts, from theory to practice
Golden Signals, PromQL/MetricsQL и VMalert. В статье разобраны подходы к алертингу из VM.
Golden Signals, PromQL/MetricsQL и VMalert. В статье разобраны подходы к алертингу из VM.
Forwarded from Мониторим ИТ
Prometheus Monitoring: Functions, Subqueries, Operators, and Modifiers
Статья из блога VictoriaMetrics о функциях, подзапросах, операторах и модификаторах.
Статья из блога VictoriaMetrics о функциях, подзапросах, операторах и модификаторах.
Forwarded from Мониторим ИТ
Prometheus Alerting 101: Rules, Recording Rules, and Alertmanager
Четвертая статья цикла в блоге VictoriaMetrics.
Первые три статьи:
🚀 Counters, Gauges, Histograms & Summaries
🚀 Instant Queries and Range Queries Explained
🚀 Functions, Subqueries, Operators, and Modifiers
Четвертая статья цикла в блоге VictoriaMetrics.
Первые три статьи:
🚀 Counters, Gauges, Histograms & Summaries
🚀 Instant Queries and Range Queries Explained
🚀 Functions, Subqueries, Operators, and Modifiers
Forwarded from linkmeup
Хороший заход на попытку объяснить, как работает DNS в линуксах. Но только это не та история, которой уже всем глаза натёрли, про кэши и то, как магия из имени делает циферки, а низкоуровневый заход в ядро, системные вызовы и библиотеки на С.
Начало одобряем, посмотрим, что будет дальше.
https://habr.com/ru/companies/k2tech/articles/919194/
Начало одобряем, посмотрим, что будет дальше.
https://habr.com/ru/companies/k2tech/articles/919194/
Хабр
Как работает DNS в Linux. Часть 1: от getaddrinfo до resolv.conf
Привет, Хабр! Меня зовут Анатолий Кохан, я — DevOps-инженер в К2Тех. Когда мы вводим в браузере имя сервера или доменное имя сайта, выполняем ping или запускаем любое удаленное приложение,...
Forwarded from Programmer & IT Memes
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁3❤1
Forwarded from ITTales :(){ :|:& };:
Вот вам небольшая пятничная история. Что делать когда Talos Linux сдох, и вот непонятно из-за чего.
Kubernetes API недоступен (не запускается CRI), у вас нет ничего, кроме доступа к Talos API.
Казалось бы всё. SSH нет, доступа на запись тоже нет. Только ребут или как предлагают сами разработчики Talos Linux:
<irony>нода сдохла, выкинь и заведи новую</irony>
Но не всё так просто, а как же отдебажить что там произошло. Собрать информацию, подготовить баг-репорт, отослать разработчикам containerd и Kubernetes.
Я не хочу чтобы такая ситуация повторялась в принципе когда-либо. Встаёт вопрос: как же нам войти в запущенную дефектную систему.
Здесь стоит немного уточнить что в логике Talos заложено запуск двух containerd.
Один - системный, он запускает контейнеры с талосовые демонами и экстеншенами, а так же etcd и kubelet.
Второй - прикладной, он запускает всё что в кубе, в том числе статик поды.
Сделано это намерено, чтобы кубовый ворклоад не мог заафектить систему. Т.к. чаще всего проблемы возникают именно со вторым ввиду активного пуллинга имаджей, а первый containerd остаётся живым. Но как же запустить контейнер для дебага без работающего Kubernetes API? Ответ - никак. Придётся хитрить.
Talos позволяет указать кастомные image для запуска kubelet и etcd. Этим мы и воспользуемся.
Для начала соберём кастомный образ kublet. Добаляем busybox в имадж и слегка модифицируем код:
https://github.com/kvaps/kubernetes/commit/3e45ecd4a2718bc50f2d951c344b4c439f79e3ae
Собираем Dockerfile, пушим его куда-то и заменяем путь до образа в конфиге Talos.
Вуаля, у нас появляется доступ к системе:
kubelet работает с полными административными правами, поэтому его привилегий должно быть достаточно для дебага всего что необходимо.
Kubernetes API недоступен (не запускается CRI), у вас нет ничего, кроме доступа к Talos API.
Казалось бы всё. SSH нет, доступа на запись тоже нет. Только ребут или как предлагают сами разработчики Talos Linux:
<irony>нода сдохла, выкинь и заведи новую</irony>
Но не всё так просто, а как же отдебажить что там произошло. Собрать информацию, подготовить баг-репорт, отослать разработчикам containerd и Kubernetes.
Я не хочу чтобы такая ситуация повторялась в принципе когда-либо. Встаёт вопрос: как же нам войти в запущенную дефектную систему.
Здесь стоит немного уточнить что в логике Talos заложено запуск двух containerd.
Один - системный, он запускает контейнеры с талосовые демонами и экстеншенами, а так же etcd и kubelet.
Второй - прикладной, он запускает всё что в кубе, в том числе статик поды.
Сделано это намерено, чтобы кубовый ворклоад не мог заафектить систему. Т.к. чаще всего проблемы возникают именно со вторым ввиду активного пуллинга имаджей, а первый containerd остаётся живым. Но как же запустить контейнер для дебага без работающего Kubernetes API? Ответ - никак. Придётся хитрить.
Talos позволяет указать кастомные image для запуска kubelet и etcd. Этим мы и воспользуемся.
Для начала соберём кастомный образ kublet. Добаляем busybox в имадж и слегка модифицируем код:
https://github.com/kvaps/kubernetes/commit/3e45ecd4a2718bc50f2d951c344b4c439f79e3ae
Собираем Dockerfile, пушим его куда-то и заменяем путь до образа в конфиге Talos.
Вуаля, у нас появляется доступ к системе:
echo 'uname -r' | nc 192.168.1.21 12345
6.12.18-talos
kubelet работает с полными административными правами, поэтому его привилегий должно быть достаточно для дебага всего что необходимо.
GitHub
Add busybox shell for Talos · kvaps/kubernetes@3e45ecd
Signed-off-by: Andrei Kvapil <kvapss@gmail.com>
👍1
Forwarded from Vadim Rutkovsky
Хвалюсь тулзой на основе VictoriaLogs: https://github.com/vrutkovs/audit-log-stats
Нам часто приходится анализировать audit log кубернетесовских аписерверов и вытягивать оттуда инфу о том какой юзер чаще всего достает ресурсы, сколько времени занимает ответ и разбивка этого времени на части - etcd / webhook / сериализация и т.д. В графане сразу сделан дашборд, который позволяет быстро найти виновника тормозов.
Сами аудит логи это простой jsonl, но зато их очень много и кардинальность улетает в небеса. После долгого мучения с перфомансом локи переделал на VLogs и теперь всё 🚀быстро🚀
cc @valyala
Нам часто приходится анализировать audit log кубернетесовских аписерверов и вытягивать оттуда инфу о том какой юзер чаще всего достает ресурсы, сколько времени занимает ответ и разбивка этого времени на части - etcd / webhook / сериализация и т.д. В графане сразу сделан дашборд, который позволяет быстро найти виновника тормозов.
Сами аудит логи это простой jsonl, но зато их очень много и кардинальность улетает в небеса. После долгого мучения с перфомансом локи переделал на VLogs и теперь всё 🚀быстро🚀
cc @valyala
GitHub
GitHub - vrutkovs/audit-log-stats: Build grafana dashboards from k8s audit logs
Build grafana dashboards from k8s audit logs. Contribute to vrutkovs/audit-log-stats development by creating an account on GitHub.
👍1
Сложность метастабильных состояний отказа на примере Такси
Хороший доклад про то как даже при незначительных сбоях системы могут попадать в состояния из которых сложно выбраться и что с этим можно поделать.
https://vk.com/video-17796776_456240927?to=L3ZpZGVvLTE3Nzk2Nzc2XzQ1NjI0MDkyNz8-
#SRE #video #metastable
Хороший доклад про то как даже при незначительных сбоях системы могут попадать в состояния из которых сложно выбраться и что с этим можно поделать.
https://vk.com/video-17796776_456240927?to=L3ZpZGVvLTE3Nzk2Nzc2XzQ1NjI0MDkyNz8-
#SRE #video #metastable
VK Видео
Сложность метастабильных состояний отказа на примере Такси, Алексей Быков
Митап про отказоустойчивость от команды Яндекс Такси Присоединяйтесь к нам в https://t.me/yandexgoinfa — телеграм-сообщество, в котором специалисты обмениватся опытом работы с инфраструктурами, делятся анонсами митапов и полезными материалами. Сайт мероприятия:…
Forwarded from Мониторим ИТ
Kubernetes Monitoring — полное руководство
Это цикл из 10 статей, который объясняет принципы мониторинга кубера по всем канонам наблюдаемости.
Part 1: Architecture
Part 2: Instrumentation, Telemetry, Dashboarding, and Alerting
Part 3: Metrics using the victoria-metrics-k8s-stack
Part 4: Automatically extracting etcd certificates into a secret in Talos with VictoriaMetrics
Part 5: VictoriaMetrics Operator
Part 6: Visualizing with Grafana
Part 7: Alerting
Part 8: Logging with VictoriaLogs
Part 9: Talos Linux System Logs with VictoriaLogs and Vector
Part 10: Kubernetes Event Logging to VictoriaLogs
Сохраняйте в закладки!
❗️Цикл статей опубликован на платформе medium.com
@monitorim_it
Это цикл из 10 статей, который объясняет принципы мониторинга кубера по всем канонам наблюдаемости.
Part 1: Architecture
Part 2: Instrumentation, Telemetry, Dashboarding, and Alerting
Part 3: Metrics using the victoria-metrics-k8s-stack
Part 4: Automatically extracting etcd certificates into a secret in Talos with VictoriaMetrics
Part 5: VictoriaMetrics Operator
Part 6: Visualizing with Grafana
Part 7: Alerting
Part 8: Logging with VictoriaLogs
Part 9: Talos Linux System Logs with VictoriaLogs and Vector
Part 10: Kubernetes Event Logging to VictoriaLogs
Сохраняйте в закладки!
❗️Цикл статей опубликован на платформе medium.com
@monitorim_it