Инструментов для расследования сложных инцидентов пост

Значительная часть моей работы сейчас — расследование сложных инцидентов, на стыке многих команд. Инструмент, который я использую чаще всего — это схемы. Они позволяют быстро ориентироваться, наглядно объяснять и понимать друг друга.
Если вы сталкиваетесь с подобными задачами, думаю, вам помогут следующие схемы:

1. Карта зон ответственности и контактов
- Кто из вашей команды за какую часть отвечает, какие у них контакты
- Кто из соседних команд, от которых вы зависите, за что отвечает, какие у них контакты и пути эскалации

2. Карту того, как идут запросы на уровне инфраструктуры — верхнеуровнево, без фанатизма, на уровне компонентов. Со ссылками на инструменты диагностики каждого из компонентов.

3. Sequence диаграммы, на которых фиксируем ход идущего расследования со всеми ключевыми показателями, скриншотами и выводами

Для удобства понимания — визуализировал для вас примеры:
https://miro.com/app/board/o9J_l5D3LgE=/?share_link_id=594302631362

Нежно люблю инженерный подход. Сегодня - не про айтишечку, но про него.

Прекрасное видео про то, как группа инженеров упоролась, чтобы спустить яйцо из космоса и оно не разбилось. Про гипотезы, попытки, провалы и новые попытки.

https://youtube.com/watch?v=BYVZh5kqaFg

Некоторые руководители, кажется, воспринимают команду как аудиторию для своего моноспектакля. Но сценарий там пишется на ходу, и актеры играют в темноте.
Привычный сценарий в таких спектаклях — долгие рассуждения на тему задачи вместо чёткой постановки, включающие в себя переживания о том как бы чего не случилось, пересказы прошлых событий из жизни и цунами ассоциаций. Ассоциативное мышление – это здорово, но, черт возьми, когда весь разговор похож на калейдоскоп, логика задачи теряется.
Все это образует ситуацию, когда проекты плывут без руля и компаса: нет планов, нет чётко обозначенных зон ответственности. Основная цель, похоже, "не отвечать за ничего". Когда пытаешься разобраться, задаешь вопросы, ответы с горем пополам: "Я не знаю, все само как-нибудь рассосётся". К восхитительной безответственности еще добавляется и пассивность!

Как бороться с таким поведением?
- Поговорите об этом: не факт, что человек не сольётся, но глупо продолжать не попробовав. Подготовьтесь с конкретными ситуациями, обязательно опишите влияние и последствия (как если бы ваш собеседник вообще первый день на работе), и предложите решения. Адская работёнка, но быть клоуном в цирке может выйти бОльшими проблемами.
- Требуйте конкретики: если задача сформулирована размыто — её надо конкретизировать. Возможно переписывать за руководителя и потом обсуждать. Возможно на это уйдёт больше времени, чем на саму задачу. Если человек не безнадёжен — постепенно вы начнёте приближаться к взаимопониманию. И фиксируйте, визуализируйте и создавайте артефакты.
- Проясните ответственности: четкое разделение обязанностей облегчит процесс работы и уменьшит количество недопониманий. Явно обозначайте, что считаете своей зоной ответственности и явно проговаривайте, что ей не является. Если вы ждёте, что руководитель что-то сделает, а вы этого делать не будете — это так же надо явно проговаривать, не давая съехать с разговора в страну неопределённости и фиолетовых поней.

Увы, незрелым балбесом может оказаться человек на должности любой высоты. Не позволяйте им писать для вас хреновые сюжеты, нежно но настойчиво берите ситуацию в свои руки.

Поверхностности пост

Что меня дико до дрожи бесит — это непогружённость руководителя в работу его подчинённого, поверхностность суждений.

Это хорошо вылезает, когда приходит время давать обратную связь. Там как правило:
- общие слова
- упоминание какого-то ровно одного недавнего случая, который как правило уже 100500 раз проговорен и не актуален, потому что работа перестроилась. И из этого одного случая делаются далекоидущие выводы.
- рекомендации в стиле “мыши станьте ежиками” или “не делай плохо делай хорошо”

Ну и, конечно, этот фидбэк тоже даётся исключительно в одну сторону, без диалога. А при попытке этот диалог начать — “руководитель” начинает активно сливаться и уходить от взаимодействия.
Ну нафига эта имитация работы с сотрудниками, скажите на милость?

На мой взгляд это прямая работа руководителя — взаимодействовать со своим сотрудником о качестве работы и погружаться в то, что реально происходит, прикладывать интеллектуальные усилия, чтобы помочь сотруднику развиться. А если он этого не делает — либо надо менять профессию, либо хотя бы не позориться такой “обратной” связью.

Один очень классный руководитель научил меня, что краткость — хороший индикатор сильного менеджера.

Начинающий использует много слов не по делу. Эксперт умеет сказать ровно то, что нужно, тому кому нужно.

Интересно смотреть, как компьютер учится решать те или иные задачи.
Отличный видос для пятничного вечера, как обучали AI проходить старый добрый Pokemon Red:

https://youtube.com/watch?v=DcYLT37ImBY

В комплекте — увлекательная борьба за правильную модель подкрепления, травматический опыт, метрики и даже исходники.

Приколитесь: немцы снифали и расшифровывали зашифрованный трафик на серверах jabber.ru в датацентре Hetzner.

Выпустили отдельный SSL сертификат и проксировали коннекты к TCP:5222. Ого! Вскрылось случайно из-за ошибки их админов. Если бы не эта ошибка, скорее всего, так никто бы и не заметил.

Скорее всего это правительственная атака и хостеров просто обязали накручивать эти редиректы. Интересно сколько таких джаббер серверов прослушивается в данный момент. Ведь кулхацкеры скамеры чаще всего используют именно джаббер. Еще один эпизод оправдывающий параною красноглазых криптоманьяков.

Мораль:

1. Проверяйте фингерпринты сертификатов даже если лень.

2. Безопаснее E2E шифрования ничего не придумали, но и там всем лень проверять отпечатки ключей.

Лично мне больше все нравится подход Телеграм с 4 эмоджи в качестве отпечатка ключа, это не сложно сверить при звонке.

Пост на HN: https://news.ycombinator.com/item?id=37955264

Само расследование https://notes.valdikss.org.ru/jabber.ru-mitm/

Дейлики.
Ну — те самые дейлики, где один говорит, а несколько человек изображают что внимательно его слушают, но неизбежно занимаются другими делами.
По идее мы обсуждаем, что сделали, с какими преградами столкнулись, что будем делать, какая помощь нужна.

И разумный человек задаётся вопросом: “А нафига мне вот это всё слушать?”.

Мол, понадобится.

Но позвольте, а что если я верю, что если бы мне это действительно было нужно, я бы и сам вник?
Если мне банально скучно и я достаточно самоуверен?

А ничего, упущу что-то важное как пить дать 🙂

Думаю, именно здесь и кроется одна из тайн успешных дейликов: акцентирование внимания. Вместо того чтобы рассказывать все подряд, нужно явно указывать, кого это касается. "Вася, послушай, это про твой следующий спринт", или "Маша, это твой компонент, будь внимательна".

Когда сообщение напрямую связано с конкретным участником команды, дейлики перестают быть рутиной. Они становятся мостом, который соединяет задачи и ресурсы. Они действительно становятся инструментом, а не просто обязательной процедурой.

Давайте делать статус-встречи осмысленными!

Многие знают, что числа с плавающей запятой нельзя сравнивать простым равенством.
То есть если есть условно


b=0.3-0.1


Нельзя потом делать


if (0.2 == b)


и надеяться на адекватный результат.

Нужно делать


if ((0.199<b) and (b<0.201))


Это связано с тем, как хранятся такие числа в памяти.

А как правильно производить сравнение дат?
(говорим про языки без строгой типизации)

Вариант №2, в котором мы пишем ДД.ММ.ГГГГ — он для наркоманов. Верю, что все, кто ткнул в него просто хотели рандомно во что-то ткнуть, чтобы посмотреть ответы. Или пошутили.
Ну пожалуйста.

Фактически, выбор есть только между вариантами №3 и №4.
Теоретически (раз в условии сказано "сравнение дат") мог бы подойти вариант №3. Не сказано же "дата и время". И вообще у нас параметр строкой передаётся, должны же быть какие-то валидаторы, ну я не знаю.

Но на практике, даже если вы обмазались всеми возможными соглашениями, рано или поздно там, где дата — её сравнят с датой-временем. И если вы используете вариант №3 — все mydate вида 2023-01-31 15:55:00 пролетят мимо вашего условия.
"До конца января" — это всегда 2023-01-31 23:59:59.

Ну и в комментах к посту есть интересные заходы. В частности, конечно, про таймзоны 🙂 Ведь если вам сказали "выбери записи, которые сделаны до конца января 2023" нужно очень чётко понимать — в какой таймзоне этот конец января наступает.

Скоро выступаю на конференции KnowledgeConf 2023, которая пройдёт в рамках TeamLeadConf 2023. Если тоже будете там — давайте встретимся!

Когда-то я столкнулся с задачей создания базы знаний по DevOps с нуля. Начальник хотел превратить ее в коммерческий продукт, но предоставил примерно ноль ресурсов и поддержки.

Подход компании был странным: они начали фокусироваться на структуре и оформлении, но не на содержании. Прям скажем, я был взволнован, когда увидел пустой репозиторий с "правилами оформления", но без, собственно, содержательных статей.

Для успешного создания базы знаний сначала определите ее цели и задачи. Начните с написания статей по частым проблемам, начинайте внедрять и реально использовать и развивайте их, опираясь на обратную связь. Начните с написания статей.

Базу знаний создать мне удалось. И даже структура была, какую хотело видеть начальство, однако, ее качество и полнота оставляли желать лучшего. Совпадение? Не думаю. Ни о каком коммерческом продукте речь, конечно, уже не шла.

Я пришёл к выводу, что для качественной базы знаний необходимо РЕГУЛЯРНОЕ интервьюирование экспертов и выделение ресурсов. Рассуждать о создании продукта без ресурсов — офигенная, но бессмысленная тема.

Чему я научился? Больше общаться с коллегами по цеху, посещать конференции, чтобы видеть дальше того “как тут принято”. Фокусироваться на скором получении выигрыша вместо строительства идеализированных баз знаний. Не лезть в истории, которые не имеют внятных целей и задач, или если лезть — то хотя бы не расчитывать на результат 🙂

Если вы вдруг не знали — в диалоге с chatgpt можно создавать, например, свободные от лицензий картинки для презентаций.

Можно просить сделать картинки по мотивам вашего примера, переспрашивать, менять стилистику и просить усовершенствовать детали.

Вау, вы посмотрите
https://www.brainboard.co/
Визуальный редактор для terraform!
Сразу и схема, и код! 🧡

Прямо сейчас ваш покорный слуга будет рассказывать в главном зале TeamLeadConf про корпоративный поиск на коленке. Можно бесплатно посмотреть трансляцию главного зала, записываться тут: https://docs.google.com/forms/d/e/1FAIpQLSf24FGEMaXlpHysQKZqVKVxE6-hvKPHgqjKgPCouPfePG726w/viewform

С чего начать расследование инцидента? Приходит к вам коллега и говорит, мол, 502-ые летят, давай, мол, давай, чини скорее!
Может быть с логов? Или с метрик? Может быть найти документацию? Или открыть базу знаний “самые частые обращения”?

Начать надо с того, чтобы проверить слова коллеги. Так уж получается, что все врут.
Пусть покажет, почему он решил, что летят 502-ые. Хоть в режиме шаринга экрана. Может быть он один раз браузером открыл страничку и запаниковал.
Нужно сверить это с имеющимися у тебя инструментами мониторинга. Может быть его инструменты не так хороши, как твои и дадут новый взгляд на ситуацию.
И крайне нужно проверить то, что человек как бы подразумевает, но не проговаривает явно — а какое влияние? Встали продажи? Не работают регистрации? Пользователям-то что с этого?

Люди плохо выражают свои мысли. В кризисные моменты — выражают отвратительно. Кто-то начинает верещать как чайка по любой незначительной фигне. Кто-то просто не знает, что нужно отличать “инцидент на проде” от “расследования в спокойном режиме”. Кто-то говорит одно, а подразумевает другое.

Не сжигайте свои нервы на каждое обращение и формулировку, помните, что на другой стороне тоже живые люди, они бывает ошибаются, но с ними можно поговорить, и их можно научить. Чтобы ваша совместная работа была лучше, спокойнее, эффективнее.

Нет ничего более бесполезного, чем делать с большой эффективностью то, что вообще не следует делать.

#Понравилось

Кстати, видео поспело:
https://www.youtube.com/watch?v=RliDj4kWUa8

Мы тут с chatgpt сделали новогодний фон для зум-созвонов. Атмосферненький.
С неизбежно наступающим, коллеги :)