Linux: grep — это не анализ. Считаем ошибки в логах как SRE с помощью awk

Ваш лог-файл access.log весит 5 ГБ. grep "ERROR" выдает 50 000 строк. Как понять, какая ошибка самая частая? Прокручивать less — это не работа.

awk — это не просто "еще один grep". Это полноценный язык обработки текста.

Задача: Найти ТОП-10 самых частых ошибок в error.log.
Решение в одну строку:
Bash

# Ищем строки со словом "error", вытаскиваем текст ошибки (предполагаем, что он после 5-го поля),
# считаем уникальные строки и сортируем по количеству.
grep -i "error" /var/log/nginx/error.log | \
    awk -F' ' '{ $1=""; $2=""; $3=""; $4=""; $5=""; print $0 }' | \
    sort | \
    uniq -c | \
    sort -nr | \
    head -n 10

Эта команда — ваш персональный анализатор логов. Она мгновенно покажет, какая именно ошибка "флудит" в логах, позволяя вам сфокусироваться на причине, а не на поиске.

Взгляд архитектора: Админ ищет одну ошибку. Архитектор ищет паттерны. awk в связке с sort и uniq — это базовый инструмент SRE-инженера для агрегации данных. Он позволяет превратить гигабайты хаотичных логов в осмысленную статистику для принятия решений.

#linux #awk #logging #sre #bash #команды #cli

🕵️‍♂️ Linux: Кто ломился в дверь, пока мы спали?

Пока вы доедали оливье, боты продолжали брутфорсить ваши SSH-порты.
Работа у них такая.
Полезно узнать, с каких IP идет основная атака, чтобы забанить подсети целиком, а не по одному.

Обычный lastb показывает слишком много мусора. Вытащим только "Топ-10" негодяев одной строкой.

Команда (Магия AWK):

# Для Debian/Ubuntu
grep "Failed password" /var/log/auth.log | awk '{print $(NF-3)}' | sort | uniq -c | sort -nr | head -10

(Для CentOS/RHEL замените файл на /var/log/secure и поле $(NF-3) на $11, так как формат лога чуть другой).

Результат: Вы увидите четкий список: 5421 192.168.x.x 1200 10.0.x.x

Если видите тысячи попыток с одного IP — это не забывчивый коллега. Это ботнет. В бан его! 🚫

#linux #security #logs #awk #bash #hardening #defense