Telegram стал одним из основных каналов получения уведомлений от мониторинга. Я сам его использую в этом качестве, но только для самых критичных событий. Основной канал у меня - email. В рабочее время я регулярно проверяю почту.

Буквально в эту пятницу вечером у меня перестают отправляться уведомления в Telegram от Gatus и от Zabbix. При этом уведомления отправляются через разные VPS, расположенные у разных хостеров. Честно говоря, вообще нет желания со всем этим разбираться. Нормальной работы с Telegram в ближайшее время не предвидится, так что лично я считаю, что уведомления от мониторинга лучше перенести на другие каналы доставки.

У меня в последнее время часто спрашивали и тут в личке, и в комментариях на сайте, и в комментариях к заметкам, как починить доставку через Telegram, на что заменить, как настроить уведомления в MAX и т.д. Решил сделать небольшую подборку альтернатив. Сам пока ещё думаю, куда перевести критичные уведомления.

1️⃣ Самый простой вариант, которым я пользовался очень давно, когда Zabbix ещё толком не поддерживал без костылей отправку в Telegram. Существуют боты - imap клиенты. Они проверяют ящики и шлют уведомления в Telegram о новых письмах. Конкретно я использовал бота от Gmail (@gmailbot) и отдельный ящик, куда отправлялись только сообщения от мониторингов. Писал об этом заметку на сайте.

Таких ботов много, я не проверял, какие из них сейчас работают. Сразу предупрежу, что подобные боты получают полный доступ к ящику, так как вы им передаёте логин с паролем. Используйте отдельные ящики, пересылая туда нужные уведомления.

Это самый простой и быстрый способ настроить уведомления в Telegram, если вы решительно настроены использовать именно его.

2️⃣ Сервис ntfy.sh. Про него многие упоминали в последнее время. Я про него писал и тестировал. Настраивается он очень просто и быстро. В заметке есть примеры. Можно установить на смартфон родное приложение и получать туда пуши. Код серверной части открыт, можно развернуть у себя и заменить в скриптах отправку с telegram на ntfy. Там принцип отправки такой же - через curl.

3️⃣ Сервис Gotify. Это практически полный аналог предыдущего сервиса. Я тоже про него писал. Не знаю, кто из них лучше и популярнее. Например, Proxmox поддерживает gotify из коробки в своих настройках уведомлений. Я в равной степени в различных приложениях видел поддержку как ntfy, так и gotify.

4️⃣ Сервис Apprise. Он отличается от предыдущих двух, так как является сам по себе шлюзом для отправки в другие каналы доставки, в качестве которых могут выступать тот же ntfy, gotify, telegram, whatsapp, rocket.chat, irc и многие другие. О нём тоже писал заметку. Это тоже self-hosted сервис с открытым кодом.

Внедрив себе такой сервис, можно раз и навсегда решить вопрос с каналами доставки уведомлений. И если один из них будет недоступен, то можно быстро без перенастройки систем мониторинга, поменять его на другой.

Иронично, что в комментариях ко всем трём представленным сервисам люди писали, что они не нужны, потому что есть Telegram. И только изредка некоторые люди напоминали, что Telegram - внешний сервис, который может быть недоступен или заблокирован. Так в итоге и произошло.

5️⃣ Настроить уведомления в VK Workspace или MAX. Для обоих мессенджеров на прошлой неделе мне добрые люди предлагали готовое решение, так как они уже успели его реализовать. Мне лично без надобности пока, так что я не вникал, но задача не особо сложная и при желании решаемая.

Лично я пока склоняюсь к внедрению у себя ntfy или gotify. Мне видится это наиболее простым и удобным способом. Главное, чтобы пуши в смартфоне работали. Без них особого смысла во всём этом не вижу, так как традиционный email и так неплохо решает поставленную задачу. При желании, можно установить обычный клиент или Delta Chat и настроить уведомления в нём. Но на смартфоне не хочется постоянно держать в фоне запущенный клиент с регулярными проверками ящиков.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#мониторинг

Я наконец-то дописал статью про сбор и хранение логов в Loki:

⇨ Настройка Grafana Loki для сбора логов

Написал в формате, как делал раньше - достаточно бездумного копипаста, чтобы всё получилось. То есть если вам не хочется вникать, то можно этого не делать. Просто копируете то, что я предлагаю, и всё получится. Я постарался зафиксировать все нюансы, ничего не пропуская.

В статье рассказано, как развернуть Loki и отправить туда:

◽️Системные логи Linux и Windows
◽️Логи Docker контейнеров
◽️Логи веб сервера Nginx или Angie
◽️Логи сетевых устройств

То есть дана база для внедрения системы в разнородной инфраструктуре, чтобы собрать вообще все логи в одном месте. База не в плане внедрения, а в плане обзора возможностей и технических нюансов работы непосредственно с Loki. Автоматизацию этого процесса нужно будет делать самостоятельно по месту.

Помимо сбора логов я показал на примере веб сервера, как делать свои дашборды, и как выборочно удалять данные из хранилища.

Весь текст написан и проверен полностью мной. ИИ привлекал только для изучения и подготовки своих конфигураций. Я сам изучал продукт с нуля, поэтому старался разобраться с основными моментами. Вообще все материалы, которые я пишу, я делаю сам от и до. После ИИ всё перепроверяю и дополняю.

В целом, система мне понравилась. Много лет я собираю логи в ELK Stack. Он более функциональный, порог входа у него выше, и потребление ресурсов тоже заметно выше, чем у Loki. У них разный формат хранения и обработки данных, из-за этого сильно отличаются возможности по визуализации. Некоторые вещи по выборке и подготовке данных, которые сразу работают в ELK, в Loki в лоб не работают.

Например, нельзя просто взять и сформировать топ 10 IP адресов клиентов сайта, которые сделали больше всего запросов за сутки или неделю. Если в ELK я просто брал и делал это на дашборде, то Loki выдаёт ошибки на слишком большой объём данных, который нужно обработать для выполнения запросов. Там нужно это реализовывать по другому. Ну и других различий много: аутентификация, очистка данных, отказоустойчивость и многое другое в ELK более развито.

Если нужно что-то проще и легковеснее, чем Loki, то можно взять VictoriaLogs. Там всё проще и быстрее, чем в Loki. По крайней мере год назад так было, когда я тестировал этот продукт. Он активно развивается, так что в планах ещё раз его попробовать в таком же формате, как Loki, собрав туда разнородные логи со всех систем. Это если время найду на это. Особой нужды лично у меня в этом нет.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#loki #logs #статья

Сколько лет настраиваю веб сервера Nginx и только недавно случайно узнал, когда настраивал отправку логов в Loki, что веб сервер может одновременно писать логи в разных форматах. Просто в голову не приходило попробовать, что так можно.

Речь вот про что. Допустим, вы отправляете логи в какое-то хранилище. Туда удобнее отправлять формат json. Он удобен для машины, но не для восприятия человеком. Да, можно взять jq или что-то подобное для удобства, но это всё равно не то. Глазами удобнее всего смотреть на обычные текстовые логи.

Если хотите оставить себе возможность смотреть на логи глазами и грепать их, то можно сделать вот так. Показываю сразу пример конфигурации Angie/Nginx.

http {
    ...................
    log_format  main  
    '$remote_addr - $remote_user [$time_local] "$request" '
    '$status $body_bytes_sent "$http_referer" '
    '"$http_user_agent" "$http_x_forwarded_for"';

    log_format json escape=json
 '{'
  '"time_local":"$time_local",'
  '"remote_addr":"$remote_addr",'
  '"remote_user":"$remote_user",'
  '"request":"$request",'
  '"status": "$status",'
  '"body_bytes_sent":"$body_bytes_sent",'
  '"request_time":"$request_time",'
  '"http_referrer":"$http_referer",'
  '"http_user_agent":"$http_user_agent"'
 '}';

    ...................

    access_log  /var/log/angie/access.log main;
    access_log  /var/log/angie/access.json.log json;

    ...................
}

Разумеется, без особого основания так делать не надо, потому что нагрузка на запись от логирования возрастёт в 2 раза. Но если очень хочется, то можно. Будут писаться одновременно оба лога в разных форматах.

У меня, к примеру, куча башевских костылей написана под обычный формат логов. Иногда бывает нужно прямо на хосте что-то быстро сделать. Если нет обычных логов, мне неудобно. Конечно, тут можно возразить, что от этого надо избавляться и использовать другие подходы. Ну уж какие есть. Я не работаю с большими нагрузками. Для меня всё это некритично. Можно ручками сходить на сервер и что-то там проверить, сделать.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#logs #angie #nginx

Я регулярно пользуюсь сервисом Virustotal. Все незнакомые файлы обязательно проверяю там. Обычно через веб интерфейс. Случайно узнал, что у этого сервиса есть бесплатный консольный клиент - VirusTotal CLI.

Для того, чтобы им пользоваться, нужно получить API ключ, а для этого пройти регистрацию. Особых проблем с этим нет, сервис поддерживает аутентификацию через тот же github. Зашёл через свою учётку там и сразу забрал API ключ из отдельного раздела API Key. Ограничение бесплатной версии - 500 проверок в день. Для единоличного использования хватит за глаза.

Дальше забираем бинарник под свою систему: Windows, Lunux, MacOS или FreeBSD. Я взял линуксовую версию, несмотря на то, что моя основная рабочая система - Windows. Использовать его буду в WSL. Разработчики советуют запускать vt-cli под виндой не в стандартном терминале, а хотя бы в cygwin из-за того, что в стандартном окружении Windows утилита будет подтупливать при выводе портянок текста. Если вам это некритично, то можно сразу в винду поставить:

# winget install VirusTotal.vt-cli

Я в итоге поставил так:

$ wget https://github.com/VirusTotal/vt-cli/releases/download/1.3.0/Linux64.zip
$ unzip Linux64.zip
$ sudo mv vt /usr/local/bin

Дальше хотел добавить встроенное автозаполнение для bash, но у меня ничего не получилось:

$ sudo vt completion bash > /etc/bash_completion.d/vt
bash: /etc/bash_completion.d/vt: Permission denied

Кто догадается, почему эта команда не сработала с sudo? Я когда набирал, не подумал об этом, но как получил ошибку, сразу понял в чём дело. Тут есть один важный нюанс, из-за которого такая конструкция не работает. Пришлось сделать, как обычно 😁:

$ sudo su
# vt completion bash > /etc/bash_completion.d/vt
# exit

После этого регистрируем свой API Key:

$ vt init

Теперь можно в консоли делать различные проверки:

$ vt scan file awscliv2.zip
awscliv2.zip M2UwMDJjNjU2MTZjRlZmY6MTc3NjM2NDgzNQ==

Файл загрузился и ему назначен ID. Нужно некоторое время, чтобы завершилась проверка. Обычно минута-две. Смотрим результат проверки по этому ID:

$ vt analysis M2UwMDJjNjU2MTZjRlZmY6MTc3NjM2NDgzNQ==

Вываливается портянка проверок. Большого смысла читать всё нет. Нас интересует только результат:

$ vt analysis -i=stats M2UwMDJjNjU2MTZjRlZmY6MTc3NjM2NDgzNQ==
- stats:
  confirmed-timeout: 0
  failure: 1
  harmless: 0
  malicious: 0
  suspicious: 0
  timeout: 11
  type-unsupported: 8
  undetected: 56

Таким же образом можно сайты и их IP адреса проверять:

$ vt url https://serveradmin.ru
$ vt url last_serving_ip_address https://serveradmin.ru

Можно ограничить вывод, чтобы не читать всё:

$ vt -i=**.result url https://serveradmin.ru
$ vt -i=**.result url last_serving_ip_address https://serveradmin.ru

Я погонял разные проверки. Сначала вроде воодушевился, что можно использовать CLI. Но на деле анализировать вывод глазами не очень удобно. В браузере привычнее. Возможно вам где-то это пригодится больше, чем мне. У кого какие привычки.

Это решение скорее для каких-то небольших своих проектов типа телеграм бота или скриптов автоматизации с проверками доменов или IP адресов, если их не очень много. Например, с помощью этой утилиты можно автоматически проверять свои IP адреса на предмет попадания в списки нежелательных адресов.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX 😩

#security

▶️ Очередная подборка авторских IT роликов, которые я лично посмотрел и посчитал интересными/полезными. Это видео из моих подписок за последнее время (обычно беру период в 2 недели), что мне понравились.

⇨ I Was Wrong About OpenClaw
Небольшое предостережение для тех, кто использует ИИ-агента OpenClaw. Компании Anthropic и Google начали банить тех, кто использует свои учётки с оплаченными месячными тарифами в OpenClaw. Подразумевается, что вы должны работать с ИИ через веб интерфейс в ручном режиме, а не круглосуточно через агентов.

⇨ OpenClaw | УСТАНОВКА и НАСТРОЙКА | ЛОКАЛЬНО НА НОУТБУКЕ | ШАГ за ШАГОМ
Установка и настройка ИИ OpenClaw на компьютер с Windows. Сам агент установлен в виртуалку с Ubuntu, но работа с ним ведётся на винде через Ollama и локальную модель. Автор показал пример с написанием простенькой игры через агента.

⇨ Как запустить Claude Code в России: GLM-5.1 без VPN и карты
Пошаговая инструкция настройки окружения для работы с Claude Code в России через посредника, который принимает оплату в рублях. Помимо подключения к ИИ, автор показывает поэтапно создание и работу с проектом на примере небольшой странички на python. Кстати, сам сервис из видео им же полностью написан с нуля клодом. Сразу поясню, кто не знает - работа по API с ИИ очень дорогая, тем более через посредника. Подходит только для тестов. Для постоянной работы нужен месячный тариф. Там токенов в разы больше за те же деньги, что съест API.

⇨ Учим OLLAM'у ВЕБ ПОИСКУ! Openwebui ollama web search
Интеграция веб поиска в олламу для работы локальных моделей. Это если у вас нет отдельного агента. Обычно поиск подключают к агентам.

⇨ SearXNG - Ваш Личный Анонимный Поисковик
Настройка своего локального поисковика на базе открытого SearXNG. Мне знаком этот движок. Я его в своё время тестировал и писал о нём. Его в то время банил Yandex, не было с ним интеграции, поэтому пользоваться им так и не стал. Сейчас автор показал, что Яндекс поддерживается.

⇨ Loki 3 + Vector + Grafana - тестовый стенд и рабочий helm-чарт
Настройка кластера Loki с хранением S3. Вариант для нагруженного продакшена.

⇨ Полезные советы по Zabbix: Запуск зависимостей
Наглядная демонстрация работы зависимостей триггеров в Zabbix. Это помогает избежать лишних уведомлений. Иногда это спасает от шквала сообщений, когда отвалится какой-то удалённый филиал. В идеале их надо бы всегда настраивать, но и я иногда ленюсь и получаю этот спам.

⇨ I Built a Real 3-2-1 Backup System
Автор рассказал, как он бэкапит свои 30TB данных: TrueNas, ZFS, б.у. диски и так далее. Его, кстати, тоже удивляют цены на диски. Так что это не только у нас они заоблачные. Год назад покупал себе диск на 3ТБ, сейчас он в 2 раза дороже.

⇨ Программное обеспечение с открытым исходным кодом, которое я буду использовать и в 2026 году — Часть 2
Первая часть была в прошлой подборке, в этой - вторая. Автор рассказывает про открытое ПО, которое использует: OpenWRT, Technitium, RustDesk и другие.

⇨ Виртуалки, Docker или LXC - что выбрать для твоей HOMELAB?
Автор подробно и наглядно разобрал тему с хорошей визуализацией. Интересно будет тем, кто до конца не понимает разницу.

#видео