On-call без паники: как настроить умный мониторинг в Zabbix

3 часа ночи. Звонит телефон, в Telegram сыплются алерты: CPU load > 90%. Вы судорожно открываете ноутбук, заходите на сервер и видите, что нагрузка уже упала. Это был плановый бэкап или тяжелый батч-процесс, который запускается каждую ночь. Итог: вы не выспались, инженер рассержен, а проблема оказалась ложной.

По статистике, высокая нагрузка во время дежурств (on-call) — одна из главных причин выгорания инженеров. До 30% алертов от систем мониторинга являются «шумом» и не требуют мгновенной реакции. Из-за обилия ложных срабатываний замыливается глаз, и реальный критический инцидент можно легко пропустить.

Zabbix позволяет решить проблему «шума» с помощью гибких триггеров, зависимостей, временных окон и механизмов эскалации.

Чтобы избежать ложных срабатываний на кратковременные пики, используйте функции усреднения. В современных версиях Zabbix (6.0+) синтаксис триггера выглядит так:

avg(/Template OS Linux/system.cpu.load[percpu,avg1],5m) > 5

Благодаря функции avg(5m), кратковременный скачок процессора (например, при запуске утилиты) не поднимет дежурного среди ночи. Алерт сработает только в том случае, если высокая нагрузка стабильно держится более 5 минут.

Следующий шаг - настройка умной эскалации:
1️⃣ Сначала уведомление отправляется в некритичный чат Telegram.
2️⃣ Если инцидент не закрыт в течение 10 минут — отправляется SMS дежурному инженеру.
3️⃣ Если реакции нет 30 минут — включается автозвонок или оповещение тимлида.

Для кастомных уведомлений (например, отправки алертов в Slack или корпоративный мессенджер) Zabbix поддерживает вебхуки и скрипты оповещений:

#!/bin/bash
# Скрипт оповещения (Zabbix Alert Script)
# $1 — получатель (канал/webhook URL), $2 — тема, $3 — текст сообщения
ALERT_MSG=$(echo "$3" | sed 's/"/\\"/g')

curl -X POST -H 'Content-type: application/json' \
--data "{\"text\":\"⚠️ *${2}*:\n${ALERT_MSG}\"}" \
"$1"

Zabbix также отлично автоматизирует рутину: с помощью LLD (Low-Level Discovery) он сам находит новые сетевые интерфейсы, диски или сервера в сети и сразу вешает на них нужные шаблоны мониторинга.

Чек-лист для настройки эффективного мониторинга:
✅ Используйте шаблоны (Templates): не настраивайте метрики вручную для каждого хоста.
✅ Сглаживайте графики: применяйте функции avg(), max(), min() за промежуток времени вместо мгновенных значений.
✅ Ранжируйте приоритеты: делите алерты на *Information*, *Warning* и *Average/High/Disaster*. Ночью должны будить только последние два.
✅ Используйте макросы: выносите пороги срабатывания (например, `{$CPU.UTIL.CRIT} = 90`) в макросы шаблона, чтобы менять их в один клик.
✅ Регулярно проводите ревизию: удаляйте неактуальные триггеры, снижающие фокус команды.

Чтобы научиться настраивать Zabbix на экспертном уровне, создавать кастомные шаблоны, работать с API и автоматизировать сбор метрик - 🔥открывайте бесплатный демодоступ🔥 к нашим курсам с практикой:

🔹Zabbix - установка, архитектура, LLD, триггеры, макросы и эскалации.
🔹Linux Advanced - траблшутинг системы, оптимизация производительности, логи.
🔹Networks - сетевые протоколы, tcpdump, SNMP и мониторинг сетевого оборудования.

📍 Всем привет! Сегодняшний вебинар «Загруженность сервера 100% по CPU. Кто виноват и что делать?» отменяется.

После дополнительного обсуждения со спикером мы решили не проводить встречу в текущем формате. Сожалеем, что планы по этому вебинару меняются уже второй раз.

От самой темы отказываться не хотим — вернёмся к ней позже с другим спикером. О новой встрече обязательно расскажем в комьюнити 🤝

Всем привет!

Сегодняшний вебинар GameDay (или Chaos Day): «Тяжело в учении — легко в бою» отменяется в связи с техническими неполадками у спикера.

Позже сообщим новую дату и время проведения вебинара.

Приносим извинения за доставленные неудобства!

🗓️ Расписание вебинаров на сегодня

⏰ 20:00 МСК - Первое знакомство с ZFS
🔗 Регистрация и программа

О вебинаре напомним за 5 минут до начала на этом канале.
Также вы сможете зайти через личный кабинет.

🔥 Задать вопросы и обсудить детали можно в нашем чате

Всем привет!👋

Нам очень важно, чтобы наши курсы были полезны для вас. Хотим двигаться в правильном направлении - а для этого нужна ваша обратная связь! 👇

📝 Просим пройти вас небольшой опрос из 4 вопросов - это займёт не больше 2-3 минут.
Самый главный для нас - вопрос №4. Именно там мы ждём ваших идей, пожеланий. Помогите нам стать лучше! 💡

🔗 Ссылка на опрос

Спасибо, что развиваете Rebrain вместе с нами! ❤️

Открытый практикум Первое знакомство с ZFS начнётся сегодня в 20:00 МСК. Практикум будет проходить на площадке Zoom.US

Важно!!! Чтобы вы смогли без проблем к нам присоединиться, заранее протестируйте комнату по ссылке: https://zoom.us/test

Ссылку для доступа отправим вам за 5 минут до начала. Либо заходите через личный кабинет в разделе «Вебинары».

🔥 Задать вопрос по практикуму и обсудить детали можно в нашем чате

❗Начало Открытого практикума Первое знакомство с ZFS уже через 5 минут

Встречаемся в 20:00 МСК.

Ссылка для входа: https://my.rebrainme.com/live-class/566

Также вы можете подключиться к вебинару через личный кабинет, в разделе «Вебинары».

🔥 Задать вопрос по практикуму и обсудить детали можно в нашем чате

❗ Открытый практикум Первое знакомство с ZFS идёт уже 30 минут

Если вы ещё не с нами, скорее подключайтесь!

Ссылка для входа: https://my.rebrainme.com/live-class/566

🔥 Задать вопрос по практикуму и обсудить детали можно в нашем чате