#allslo-talk Ребята, мы записали первое видео-обсужение вопросов, которые волнуют наше сообщество. Коллеги @shaman_s_bubnom из AvitoTech помогли нам сделать профессиональную запись и смонтировать видео.

Что у нас получилось, смотрите в видео по ссылкам.

❤️ Очень рады будем обратной связи. Кидайте ваши лайки, если понравилось.

В этот раз мы @shaman_s_bubnom, @r3code, @login40k собрались, чтобы обсудить:

➡️ разницу между показателями;
➡️ опыт внедрения;
➡️ пользу для бизнеса.

Слушаем и смотрим
📺 YouTube
🔵 ВК Видео
💻 RuTube

Также рекомендуем канал Кирилла Юркова про надежность

Это канал SRE - инженера по надежности, Дмитрия Синявского (r3code.ru).

Поменял лого. Почему кит, да в облаках?
- Он фильтрует тонны воды (=данных), чтобы найти криль (=проблемы)
- К нам летит туча логов! - Укрощаем!
- Спокойствие, даже когда вокруг шторм – SLO нам как маяк
- и очень близкое к SRE: "Не создавай волн, но будь готов к цунами"
——
❓❓❓Частые вопросы, с которыми ко мне приходят СТО и лиды:
- У нас всё горит, а мы только туштм, с чего начать внедрение SRE?
- Кого будить первым, когда продакшен упал?
- Кто отвечает за решение инцидента SRE или команда?
- Как компенсировать дежурства, чтобы команда не выгорела?


Помогаю ответить на «глупые» вопросы, которые на самом деле решают всё.
Отвечаю на них в канале и на консультациях - мой опыт с примерами из практики.

Не верь глазам своим — тебя обманывают

Мы у себя давно используем SLI/SLO и считаем их по метрикам VictoriaMetrics. Запросы для формулы пишутся на PromQL/MetricsQL.
Все было прекрасно пока мы использовали простые SLI вида
SLI=sum(increase(good_events))/sum(increase(total_events))
Потому появились более сложные составные, где пришлось учитывать, что один компонент может и не вернуть данных. А в PromQL/MetricsQL ничего + число = ничего. Чтобы такое обходить приходиться добавлять в выражение часть с or on() vector(0) - вернуть ноль вместо "ничего". И вот мы так и делали:
SLI=(
sum(increase(a_good_events) or on() vector(0)) + sum(increase(b_good_events) or on() vector(0))
)
/ (
sum(increase(a_total_events) or on() vector(0)) + sum(increase(b_total_events) or on() vector(0))
)
Но вот при создании очередного SLI, что то пошло не так, видимо копипаста напакастила, и выражение стало чуть другим:
SLI=(
sum(increase(a_good_events)) or on() vector(0) + sum(increase(b_good_events)) or on() vector(0)
)
/ (
sum(increase(a_total_events)) or on() vector(0) + sum(increase(b_total_events)) or on() vector(0)
)
Кажется это тоже самое, но это не так. Приоритет операций тут не такой, как привык видеть мозг.
Обманываешься. Ожидаешь, что
sum(increase(a_good_events)) or on() vector(0) + sum(increase(b_good_events)) or on() vector(0)
равносильно
( sum(increase(a_good_events)) or on() vector(0) ) + ( sum(increase(b_good_events)) or on() vector(0) ), но на самом деле это вычисляется иначе, если расставить скобки (все что в них точно вычисляется в первую очередь), то аналог будет такой:
( sum( increase(a_good_events) ) + sum( increase(b_good_events) ) ) or on() vector(0)

Как это проявляется в поведении? Да просто вы получаете неправильные данные SLI. В сырых данных может оказаться, что у вас good событий больше, чем total! Это происходит, потому что, если один из sum(increase(...)) пуст, то весь запрос вернёт 0, даже если другой sum(increase(...)) содержит данные.

🫴🏻 Вот такие грабельки.

🔎 А какие грабли грабли запомнились вам при работе с метриками?

#грабли #promql #slo

#Лонгрид. О базах знаний

В определенный момент год назад я понял, что ёмкости мозга хоть и безграничны, но искать в них становиться труднее, так как информации меньше не становится.
Тогда же несколько раз попадались статьи о Second brain, цетелькастен. Не зацепило. Раньше скидывал иногда в Livejournal (олдсукулы свело кому?😁) и стати писал на Хабр. Но в первом тяжко искать, во втором готовить. В итоге решился попробовать что-то типа локальной wikipedia.

Одно время использовал Workflowy - аутлайнер, где все пишешь списками. Его советовал Кирилл Анастасин https://t.me/komikaki для заметок при подготовке доклада, чтобы быстро фиксировать мысли где бы они вас не застигли.

Нашел упоминания про Obsidian и Logseq.

Первый показался комбайном огромным, тут мне стало страшно, т.к. я люблю поковыряться когда много кнопочек-настроечек и это может длиться долго в поисках идеального сета плагинов и настроек, но я решительно это отринул. Надо было быстро начать записывать и скидывать мысли и заметки в персональный омут памяти. Потому Logseq.

Logseq хранит все просто в markdown файлах. Есть возможность все это скинуть через GitHub репозиторий приватный.

Но я что-то пошел путем со своими граблями: Яндекс диск и синхронизация с ним. Тут нет никакого умного улаживания конфликтов в файлах, просто стараюсь писать на одном устройстве в одну статью синкать и если надо дописывать на другом. В общем у меня 3 копии моих баз знаний.

И по итогу года хочу сказать, что это классно даже без всяких специальных систем ведения. Пишешь так как понятно тебе, добавляешь шаблоны для однотипной информации, что ускоряет внесение ее. Мне это позволило готовить доклады на конференции. Один активно, второй в фоне обрастал данными. И это все рядом, ссылки на уже известное мне добавляются быстро.

Твоя база знаний - твоя сила! У твоей бабушки была поваренная книга с рецептами и еще не поздно завести свою )

Спасибо, что дочитал до конца - улыбнись 😇

Я же говорил, что один человек посчитал сколько в #ansible мест, где можно определить переменные. Так вот его #статья https://www.adaltas.com/en/2022/03/15/ansible-variables/ В ней он дает ответ, что таких места 22, а также рассказывает как правильно подобрать место для переменной.

Я буду выступать на конференции для QA https://perfconf.ru/ 9 сентября с докладом про SLO. Расскажу как это может быть полезно QA и про готовый набор инструментов для SLO.

Если собираетесь сами, или кто-то из знакомых QA хотел пойти, то для покупок за свой счет дают скидку 20% по промокоду

PC20

Если от компании оплачиваете – не действует, к сожалению 🤷

Но можно попросить скидку - приходите ко мне в личку, выведу на нужных людей 😘

#конференция #скидка

Галюцинации?

В первый раз в ответе гуглового #GPT Gemini попался такой артефакт. Раньше я встречал много подобных в DeepSeek, когда окончание слова на китайском, а иногда одно слово на английском между русских.

Самое эпичное было увидеть ссылки на диалоги ChatGPT в DeepSeek - при этом при расспросах он сначала утверждал, что это ссылки на его же диалоги. Но позже все же признался, что могло попасть в базу при обучении случайно...

Встречали подобное?

#ai

В продолжение к прошлому посту про Галлюцинации GPT. Не о них самих. А про эти 2 иероглифа.

Я их понял! По вечерам учу китайский по карточкам AnkiDroid чисто для себя, потому что интересно. Так попадалась карточка про плаванье, я не мог запомнить долго. Но вот оказывается помню. Эти 2 иероглифа вниз и течение - дословно получилось вниз+течение, т.е. дословно написано "доступны для downstream систем".

Для меня это было схоже с моментом, когда я начал понимать о чем поют на английском до того как прочитать слова к песне.

У вас были схожие инсайты?

Гоняетесь ли вы за Root cause инцидентов? Или видите как и я в этом ограничения ⛔?

Я считаю, что это ограничивает инженеров искусственно заставляя их думать - достаточно найти одно и все будет хорошо! И они ищут одну причину, находят и успакатвпются.

Для меня это, как при падении с табуретки 🦵🦵🦵 трехногой причиной определить поломку одной ножки ❌. Затем посмотреть только на нее, понять что она была склеяна из 2 частей и просто починить эту ножку, усилив ее стальным стержнем 🍢.

В следующий раз вы снова падает с табуретки 🤦 и сразу идете смотреть на опоры. Они все целые 🤷, но у одной вырвало болт с резьбы. Снова инцидент тот же - вы лежите на полу потирая бок.

И это лишь табуретка, а не сложная система из десятков компонент.

#инцидент_менеджмент #обучение

Уже совсем скоро - 9 сентября в 13:00 расскажу QA на https://perfconf.ru/, как SLO может быть им полезно и про наше решение для тех кто впервые решил попробовать SLO. Приходите - буду рад.

А ваши QA знают, чем для них полезны SLO?

#доклад #конференция