🎥 Prometheus - Как мониторить Динамичное количество серверов на AWS ?

Привет, повелитель терминала! Сегодня мы погрузимся в мир мониторинга серверов в динамичной инфраструктуре с помощью Prometheus. В этом видео ты узнаешь, как настроить автоматический мониторинг серверов на AWS и EKS. Давай начнем!

Тайминги к видео:

00:00 Введение
- Мониторинг серверов в динамичной инфраструктуре.
- Настройка Prometheus для автоматического мониторинга серверов.
- Пример с AWS и EKS.

00:22 Статический конфиг
- Прописывание IP-адресов серверов в Prometheus.
- Динамическая инфраструктура в AWS.
- Настройка Prometheus для мониторинга новых серверов.

01:21 Динамический конфиг
- Использование тегов для фильтрации серверов.
- Пример с тегами "environment" для разных сред.
- Возможность добавления нескольких фильтров.

02:32 Практическое применение
- Создание двух групп серверов: продакшн и девелопмент.
- Настройка Prometheus для чтения тегов.
- Пример с EKS и Grafana.

03:16 Настройка Launch Template
- Создание Launch Template для серверов.
- Использование Ubuntu и установка Node Exporter.
- Вставка скрипта для установки Node Exporter.

05:10 Создание групп серверов
- Создание групп серверов для продакшн и девелопмента.
- Фильтрация серверов по тегам.
- Проверка установки Node Exporter на серверах.

08:56 Настройка Prometheus
- Редактирование Prometheus YAML для динамической конфигурации.
- Добавление конфигураций для продакшн и девелопмента.
- Перезапуск Prometheus для применения изменений.

10:05 Проверка и исправление
- Проверка доступа Prometheus к данным.
- Создание роли для Prometheus.
- Перезапуск Prometheus и проверка мониторинга.

12:07 Заключение
- Добавление и удаление серверов в группах.
- Проверка автоматического мониторинга новых серверов.
- Демонстрация работы Prometheus в динамичной инфраструктуре.

13:06 Установка и настройка серверов
- Два дополнительных сервера запущены, но без статуса "даун".
- Один сервер еще не удален, но скоро будет.
- Нод экспортер установлен на все серверы автоматически.

13:42 Обновление и мониторинг серверов
- Обновление трех серверов по берегу.
- Прометеус автоматически обновляет метрики с новых серверов.
- В дешбордах все серверы отображаются по группам.

14:37 Динамическая конфигурация и фильтрация
- Прометеус фильтрует серверы по тегам.
- Возможность мониторинга серверов из другого аккаунта.
- Важно, чтобы прометеус мог достучаться до серверов по сети.

Источник: https://youtu.be/RICJljsn8jE?si=PAdv2SfJeTjTPdJi

📩 Завтра: Автоматизация: Удаление старых файлов на сервере
Включи 🔔 чтобы не пропустить!
____________________

Дополнительный материал:
🧠 - Мастерство Linux: Управление файлами и каталогами через командную строку
🧠 - Сталкивались ли вы с необходимостью быстро найти нужную информацию в man-страницах Linux
🧠 - История, которая изменила мир Linux: Путешествие файловой системы ext2

#Linux_youtube @LinuxSkill #prometheus #aws #monitoring #linux #automation

🚀 Твой незаменимый помощник: Скрипт для мониторинга Linux!

Привет, повелитель терминала! 🖥️ Сегодня я поделюсь с тобой скриптом, который поможет тебе следить за производительностью твоей Linux-системы. Этот инструмент быстро оценит состояние системы и выявит узкие места. Давай посмотрим, как он работает!

Скрипт для мониторинга:

#!/bin/bash
# Colors for readability
GREEN='\033[0;32m'
YELLOW='\033[1;33m'
RED='\033[0;31m'
NC='\033[0m' # No Color
echo -e "${GREEN}===== System Monitoring Script =====${NC}"

# 1. CPU Usage
echo -e "${YELLOW}\n>> CPU Usage: ${NC}"
mpstat | awk '/all/ {print "CPU Load: " $3 "% idle"}'

# 2. Memory Usage
echo -e "${YELLOW}\n>> Memory Usage: ${NC}"
free -h | awk '/Mem/ {print "Total Memory: " $2 "\nUsed: " $3 "\nFree: " $4}'
echo -e "Swap:\n"$(free -h | awk '/Swap/ {print "Total: " $2 ", Used: " $3 ", Free: " $4}')

# 3. Disk Usage
echo -e "${YELLOW}\n>> Disk Usage: ${NC}"
df -h | grep '^/dev' | awk '{print $1 ": " $5 " used, " $4 " available"}'

# 4. Network Traffic
echo -e "${YELLOW}\n>> Network Traffic: ${NC}"
ifstat -i eth0 1 1 | awk 'NR==3 {print "RX: " $1 " KB/s, TX: " $2 " KB/s"}'

# 5. Top 5 Memory Consuming Processes
echo -e "${YELLOW}\n>> Top 5 Memory Consuming Processes: ${NC}"
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head -n 6

# 6. Top 5 CPU Consuming Processes
echo -e "${YELLOW}\n>> Top 5 CPU Consuming Processes: ${NC}"
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head -n 6

# 7. System Logs Monitoring
echo -e "${YELLOW}\n>> Recent Errors in System Logs: ${NC}"
journalctl -p 3 -xb | tail -n 10

echo -e "${GREEN}===== Monitoring Completed =====${NC}"

Что делает этот скрипт?

1. CPU Usage: Показывает загрузку процессора.
2. Memory Usage: Отображает использование оперативной памяти и swap.
3. Disk Usage: Информирует о занятом и доступном дисковом пространстве.
4. Network Traffic: Показывает входящий и исходящий трафик.
5. Top 5 Memory Consuming Processes: Выводит процессы, потребляющие больше всего памяти.
6. Top 5 CPU Consuming Processes: Выводит процессы, потребляющие больше всего CPU.
7. System Logs Monitoring: Показывает последние ошибки в системных логах.

Этот скрипт — твой надежный помощник в мониторинге системы. Запускай его, чтобы всегда быть в курсе состояния твоего сервера.

📩 Завтра: Открой секреты защиты от DDoS-атак с помощью экспертов!
Включи 🔔 чтобы не пропустить!
____________________

Дополнительный материал:
🧠 - Управление Особыми Режимами в Linux: Разблокировка Доступа с chmod
🧠 - Разбираемся с командой Basename: Ваш ключ к упрощению работы с файлами в Linux
🧠 - От MythTV до LibreELEC: Как Linux Перевернул Мир Мультимедиа

#Linux_Mastery @LinuxSkill #Linux #Bash #Monitoring

🔥 Быстрое обнаружение проблем в сети через массовый пинг

Привет, мастера мониторинга! 📡

Когда у тебя десятки серверов или рабочих станций, проверять их по одному — это адская рутина.
К счастью, в Linux есть удобные способы пинговать сразу несколько хостов параллельно!

⚙️ Самый простой способ: использовать fping

Установка:

sudo apt install fping

Массовый пинг по списку IP или доменов:

fping -a -f hosts.txt

Где hosts.txt — файл со списком адресов (один хост на строку).

🛠️ Альтернативный способ через bash-скрипт

Минималистичный скрипт:

!/bin/bash
for ip in $(cat hosts.txt)
do
  ping -c 1 $ip > /dev/null && echo "$ip is UP" || echo "$ip is DOWN"
done

Можно усложнить и добавить параллельность через & и wait, чтобы ускорить процесс. 🚀

🧠 Плюсик в карму:
- fping поддерживает опцию ограничения количества параллельных пингов (-C).
- Легко интегрируется в cron-джобы для ежедневных проверок.

🌐 Источник: https://spy-soft.net/ping-multiple-hosts-linux/

📩 Завтра: Полная шпаргалка по Bash: команды, синтаксис и фишки!
Включи 🔔 чтобы не пропустить!
____________________

Дополнительный материал:
🧠 - Команды в Linux, которые используются в повседневной работе
🧠 - Бесплатный курс по Linux c нуля до DevOps
🧠 - Работа с файлами и директориями

#Linux_Mastery #linux #networking #sysadmin #monitoring

📈 5 фишек Netdata, которые спасут твой сервер от падения

Привет, хранители серверов! 🛡️

Netdata — это лёгкий, но очень мощный инструмент мониторинга Linux-серверов в реальном времени. И вот 5 фишек, за которые его обожают:

1️⃣ Графики без задержек
Показывает все метрики в реальном времени — от CPU и RAM до дисков, сети и процессов.

2️⃣ Уведомления о сбоях
Netdata сам выявляет аномалии и может уведомить тебя через почту, Slack или другие каналы.

3️⃣ Низкая нагрузка на систему
Процесс мониторинга почти не влияет на производительность сервера. Даже на слабых VPS всё летает.

4️⃣ Готовые интеграции
Легко подключается к Prometheus, Grafana и другим системам для расширенного анализа.

5️⃣ Установка за 5 минут

bash <(curl -Ss https://my-netdata.io/kickstart.sh)

И через пару секунд сервер уже мониторится через браузер:
http://<IP-адрес-сервера>:19999

🎯 Совет: Следи за своими staging и прод-серверами с Netdata, чтобы ловить проблемы ДО того, как они взорвутся!

🌐 Источник: https://github.com/netdata/netdata

📩 Завтра: Базовая шпаргалка Tar
Включи 🔔 чтобы не пропустить!
____________________

Дополнительный материал:
🧠 - Транспортный уровень: трансляция адресов и формирование трафика
🧠 - Прикладной уровень: возможности системы
🧠 - Прикладной уровень: что нужно для полноценной работы?

#linux #monitoring #netdata #devops #server

🔥 Читаемые логи одной командой: секрет в xargs

Привет, укротитель логов!

Устал от нечитаемого месива в /var/log/messages? Покажу трюк с xargs, который превратит системные логи в аккуратный отчёт.

🔧 Скрипт мониторинга:

#!/bin/bash
# logfile.sh - создаём читаемый отчёт из системных логов

LINES=5

# Заголовок с датой и системой
( date; uname -a ) >>logfile
echo "----------------------------------------" >>logfile

# Магия: tail + xargs + fmt
tail -n $LINES /var/log/messages | xargs | fmt -s >>logfile

echo >>logfile
exit 0

💡 Как это работает:
- tail -n 5 — берём последние 5 строк
- xargs — объединяет строки в одну
- fmt -s — форматирует текст для читаемости

🚨 Защита от кавычек:

# Если в логах есть непарные кавычки
tail -n $LINES /var/log/messages | tr -d "\"'" | xargs | fmt -s >>logfile

🚀 Автоматический мониторинг:

# Каждые 20 минут
watch -n 1200 ./logfile.sh

# Или через cron
*/20 * * * * /path/to/logfile.sh

📝 Не забудь права:

# Чтобы скрипт работал не только от root
chmod 644 /var/log/messages

Теперь вместо каши получишь структурированный отчёт!
____________________

Дополнительный материал:
🧠 - Усиление безопасности веб-серверов Linux с помощью самоподписанных сертификатов
🧠 - Секретные техники от Linux Skill: Откройте для себя мир возможностей!
🧠 - Взгляд в прошлое: Историческая роль файла /etc/passwd в Linux

#bash_guide #bash_guide #bash #logs #xargs #monitoring #Linux #sysadmin

⚡ 15 строк кода = полный контроль над производительностью

Эй, повелитель серверов!

Надоело переключаться между htop, df и free? Сейчас соберём свой монитор системы, который покажет всё важное одной командой. Bash + Python = твоя личная панель управления.

📌 Что получишь:
- CPU, RAM и диск в одном месте
- JSON-формат для интеграции
- Легко расширить под свои нужды

🔧 Шаг 1: Python-сборщик данных

Создай monitor.py:

import psutil
import json

def get_system_stats():
    stats = {
        "cpu": psutil.cpu_percent(interval=1),
        "memory": psutil.virtual_memory().percent,
        "disk": psutil.disk_usage('/').percent
    }
    return json.dumps(stats)

if __name__ == "__main__":
    print(get_system_stats())

🔧 Шаг 2: Bash-обработчик

Создай monitor.sh:

#!/bin/bash
# Получаем данные от Python
stats=$(python3 monitor.py)

# Парсим JSON через jq
cpu=$(echo $stats | jq -r '.cpu')
memory=$(echo $stats | jq -r '.memory')
disk=$(echo $stats | jq -r '.disk')

# Красивый вывод
echo "CPU Usage: $cpu%"
echo "Memory Usage: $memory%"
echo "Disk Usage: $disk%"

🚀 Запускаем:

# Делаем исполняемым
chmod +x monitor.sh

# Смотрим магию
./monitor.sh

Результат:

CPU Usage: 12.3%
Memory Usage: 45.6%
Disk Usage: 67.8%

💡 Прокачай скрипт:
- Добавь алерты при превышении порогов
- Логируй данные для графиков
- Отправляй метрики в Telegram при критических значениях

Теперь один скрипт заменяет кучу утилит. А главное — ты можешь допилить его под свои задачи!
____________________

Дополнительный материал:
🧠 - Мастер-класс по выключению и перезагрузке Linux с помощью команды shutdown
🧠 - Прозрачность systemd: Освещаем теневые уголки системных процессов в Linux
🧠 - Управление питанием в Linux: Искусство выключения с помощью systemctl

#Linux_Mastery #Linux #Monitoring #Python #Bash #DevOps #Performance