Советы по подготовке Postmortems с примерами.

Подойдет как для публичных, так для приватных разборов инцидентов. Примеры, конечно же, из публичных.

Среди прочего:
- Использовать визуализацию (графики, например)
- Пытаться докопаться до сути вещей и причин происходящего (я лично не верю, что "root cause всегда один", поэтому сознательно избегаю этого понятия)
- Не тянуть с Постмортемом: чем раньше начать разбор - тем свежее память у людей
- Blameless
- Tell a story: справедливо больше для публичных постмортемов, но если при разборе у вас присутствует люди из другого контекста (менеджеры, инженеры команд, которые не принимали непосредственного участия в решении проблемы, etc.) совет может сработать и для приватных pm

#postmortem #culture

A List of Post-mortems!

Table of Contents
- Config Errors
- Hardware/Power Failures
- Conflicts
- Time
- Uncategorized
- Other lists of postmortems
- Analysis
- Contributors

#postmortem #github #google #microsoft #heroku #cloudflare

Истории сбоев

У freedesktop немного развалился ceph и отказал gitlab который на нем жил.

https://www.opennet.ru/opennews/art.shtml?num=57341

Сбой произошел в результате выхода из сторя 2 ссд дисков, а так же наложившехся проблем.

Самое занимательное, на мой взгляд, чат инженеров востанавливющих работоспособность.

https://people.freedesktop.org/~cbrill/dri-log/?channel=freedesktop&highlight_names=&date=2022-06-12&show_html=true

Зы в результате сбой данные не постардали.

#ceph #rook #failure #cephfs #ssd #postmortem