Как находить зависшие задачи запущенные cron

Зависшие cron-задачи - это классика: скрипт повис в I/O, процесс ждет лок, завис ssh и сервер уже не делает регулярные бэкапы, не чистит кеши и не обновляет индексы. Но поймать такие случаи можно и нужно, я расскажу про самый простой способ: cron запускает процессы с PPID = PID cron’а или запускает их в окружении cron. Мы можем искать процессы, запущенные с COMMAND и PPID, и проверять их время жизни.

🛠 Скрипт

#!/usr/bin/env bash

# Максимальное время выполнения задачи (в секундах)
MAX=1800   # 30 минут

now=$(date +%s)

# Ищем процессы, которые запустил cron
ps -eo pid,ppid,etimes,cmd | grep -v grep | while read pid ppid et cmd; do
    # ppid == 1 и команды в /etc/cron* — частый кейс
    if [[ "$ppid" -eq 1 && "$cmd" == *cron* ]]; then
        continue
    fi
    
    # Задачи cron обычно запускаются как sh -c "..."
    if [[ "$cmd" == *"/etc/cron"* || "$cmd" == *"CRON"* ]]; then
        if (( et > MAX )); then
            echo "Зависшая задача: PID=$pid, работает уже ${et}s"
        fi
    fi
done

▪️ Настройка

Поставьте MAX под вашу норму времени выполнения задач.
Добавьте скрипт в /etc/cron.hourly - будете получать регулярный отчет.

BashTex 📱 #bash

Массовое переименование файлов по шаблону

▪️ Вариант 1: rename. Если нужно заменить часть имени:

# Заменить "old" на "new" во всех именах
rename 's/old/new/' *.txt

Удалить префикс:

rename 's/^prefix_//' *.log

Добавить суффикс перед расширением:

rename 's/\.jpg$/_edited.jpg/' *.jpg

▪️ Вариант 2: sed + цикл. Когда шаблон сложный или нужно сгенерировать новое имя:

for f in *.mp4; do
    new=$(echo "$f" | sed 's/episode_/ep-/; s/_final//')
    mv "$f" "$new"
done

Можно применять любую логику, хоть разбивать строку на части.

▪️ Вариант 3: Bash expansion. Если у файлов есть общий номер или маска:

# Добавить нумерацию
n=1
for f in *.png; do
    mv "$f" "img_$(printf "%03d" $n).png"
    ((n++))
done

Переименование 01 в 001:

for f in *.txt; do
    mv "$f" "$(printf "%03d".txt "${f%.txt}")"
done

⚠️ Совет: Перед mv всегда смотрите, что получится:

for f in *.txt; do
    echo mv "$f" "new-$f"
done

Если вывод выглядит правильно, то можно убирать echo.

BashTex 📱 #bash

Проверка целостности системных пакетов через пакетный менеджер

Если есть подозрение на вмешательство в систему: подмену бинарников, изменение конфигов, в таком случае первым делом стоит проверить: файлы пакетов соответствуют тому, что установлено из репозиториев?

Linux-дистрибутивы уже умеют делать это штатно. Нужно только правильно спросить.

▪️ RPM-базовые системы (CentOS, RHEL, Rocky, Fedora). Команда:

sudo rpm -Va

Она проверяет все файлы всех пакетов, сверяя:

размер
хеш
права
владельца
время модификации

Формат вывода:

S.5....T.  /usr/bin/ssh

Где:

S - размер отличается
5 - хеш не совпадает
T - время модификации изменено

Чтобы увидеть только реальные расхождения, можно отфильтровать шум:

sudo rpm -Va | grep -v '^..c'

..c - это конфиги, которые обычно меняются вручную.

▪️ Debian/Ubuntu: debsums. Если система на DEB-пакетах:

sudo apt install debsums
sudo debsums -s

-s выводит только файлы, чьи MD5-суммы не совпадают с эталоном из репозитория.

Проверка конкретного пакета:

sudo debsums -s openssh-server

BashTex 📱 #bash #security

Живой мониторинг процессов с цветом и сортировкой

watch - недооцененный инструмент. Он превращает любую команду в живую панель наблюдения, обновляя вывод каждые N секунд. Если добавить цвет, сортировку и фильтры у вас получается почти мини htop без внешних утилит.

▪️ Базовый пример: отслеживание топ-процессов

watch -n 1 'ps aux --sort=-%cpu | head -20'

-n 1 - обновление каждую секунду
--sort=-%cpu - сортировка по нагрузке
head -20 - только важные строки

▪️ Цветной вывод внутри watch. Если команда выводит ANSI-цвета, watch их покажет, но нужно включить -c:

watch -c 'ps aux | grep --color=always nginx'

Или:

watch -c 'ps aux --sort=-%mem | head -15'

▪️ Подсветка подозрительных процессов. Например, ищем процессы, использующие много памяти (>10%):

watch -n 1 -c '
  ps aux --sort=-%mem \
    | awk '\''$4>10{print "\033[31m"$0"\033[0m"} $4<=10{print}'\'''

Процессы >10% MEM подсвечиваются красным.

▪️ Отслеживание процессов конкретного пользователя

watch 'ps -u deploy --sort=-%cpu | head'

▪️ Комбинация watch + pgrep. Смотрим, что делает группа процессов по паттерну:

watch 'pgrep -fl python | sort'

▪️ Небольшой дашборд: несколько метрик за раз (через bash -c)

watch -n 2 -c '
  echo "== CPU =="; ps aux --sort=-%cpu | head -5;
  echo ""; 
  echo "== MEM =="; ps aux --sort=-%mem | head -5;
'

BashTex 📱 #bash #utils

🪞

BashTex 📱 #юмор

Проверка доступности сервисов с автоперезапуском

Иногда нужен не Zabbix, а простейший контроль жив или нет. Для HTTP-сервисов это легко решается связкой curl + systemctl.

▪️ Базовая проверка доступности

curl -sf http://127.0.0.1:8080/health || echo "DOWN"

-s - тихо
-f - ошибка, если HTTP ≠ 2xx
exit-код ≠ 0 - сервис недоступен

▪️ Автоперезапуск сервиса

SERVICE=myapp
URL=http://127.0.0.1:8080/health

if ! curl -sf --max-time 3 "$URL"; then
  logger "watchdog: $SERVICE is down, restarting"
  systemctl restart "$SERVICE"
fi

--max-time защищает от зависших запросов
logger пишет в syslog (удобно для аудита)

▪️ Защита от флаппинга (несколько неудач подряд)

FAILS=/run/myapp.watchdog.fail
MAX=3

if ! curl -sf "$URL"; then
  n=$(($(cat "$FAILS" 2>/dev/null || echo 0)+1))
  echo "$n" > "$FAILS"
  [[ $n -ge $MAX ]] && systemctl restart "$SERVICE"
else
  rm -f "$FAILS"
fi

Рестарт только если сервис падает несколько раз подряд.

▪️ Запуск по cron

*/1 * * * * /usr/local/bin/watchdog.sh

BashTex 📱 #bash #utils

Быстрый сбор системной информации одной командой

Когда нужно быстро понять, что за система перед тобой, без Ansible и inventory - достаточно одного короткого скрипта.

🛠 Мини-инвентаризация за один запуск

#!/usr/bin/env bash

echo "=== SYSTEM ==="
uname -a

echo -e "\n=== CPU / MEM ==="
free -h

echo -e "\n=== DISK ==="
df -hT | grep -v tmpfs

echo -e "\n=== NETWORK ==="
ip -br addr

Подходит для:

первичного осмотра сервера;
SSH-подключений к незнакомой машине;
логирования состояния перед изменениями.

▪️ Компактный вариант в одну строку

uname -srmo; free -h; df -hT | awk 'NR==1||!/tmpfs/'; ip -br a

Удобно кидать в чат или запускать на десятках хостов по SSH.

▪️ Формат для логов/отчетов

{
  uname -srmo
  free -h
  df -hT
  ip -br a
} > sysinfo.txt

Можно сохранять как снапшот состояния перед деплоем или обновлением.

BashTex 📱 #bash

Проверка подвисших NFS-монтов и их исправление

1️⃣ Находим NFS-монты

mount | grep nfs

И проверяем, жив ли маунт:

mountpoint -q /mnt/nfs && echo OK || echo BROKEN

2️⃣ Проверяем доступность сервера

showmount -e nfs-server

Если команда висит или падает - это означает, что сервер недоступен, маунт мертв.

3️⃣ Аккуратное отключение (без убийства процессов)

umount -l /mnt/nfs

-l (lazy umount) сразу убирает маунт из системы, а реальные дескрипторы закроются, когда процессы отпустят их.

4️⃣ Автовосстановление

mount /mnt/nfs && echo "NFS restored"

Или перезапуск через fstab:

mount -a -t nfs

Или мини-watchdog

check_nfs() {
  mountpoint -q "$1" || return
  timeout 3 ls "$1" >/dev/null || umount -l "$1"
}

BashTex 📱 #bash #utils

Анализ больших логов за секунды

▪️ Быстрый фильтр по событию

grep "ERROR" app.log

grep читает файл построчно, подходит даже для очень больших логов.

▪️ Извлечение нужных полей

Допустим, формат:

2026-01-20 12:01:33 ERROR user=alice ip=10.0.0.5

Берём только IP:

grep "ERROR" app.log | awk '{print $NF}'

▪️ Агрегация и подсчет

Топ источников ошибок:

grep "ERROR" app.log \
| awk '{print $NF}' \
| sort \
| uniq -c \
| sort -nr

Результат:

120 10.0.0.5
 87 10.0.0.3

▪️ Группировка по пользователям

grep "ERROR" app.log \
| awk -F'user=' '{print $2}' \
| awk '{print $1}' \
| sort | uniq -c

BashTex 📱 #bash

Зато там точно есть с кем обсудить топ дистрибутивы

BashTex 📱 #юмор

Массовое обновление конфигов через шаблоны

▪️ Шаблон конфига

configs/app.conf.tpl

server_name=${HOST};
listen=${PORT};
env=${ENV};
max_clients=${MAX_CLIENTS};

▪️ Задаём переменные

export HOST=bashtex.com
export PORT=8080
export ENV=prod
export MAX_CLIENTS=500

▪️ Массовая генерация конфигов

mkdir -p out

for tpl in configs/*.tpl; do
  envsubst < "$tpl" > "out/$(basename "${tpl%.tpl}")"
done

На выходе:

out/app.conf
out/other.conf
...

▪️ Dry-run перед применением

envsubst < configs/app.conf.tpl | diff -u /etc/app/app.conf -

▪️ Применение с бэкапом

for f in out/*.conf; do
  sudo cp -a "/etc/app/$(basename "$f")"{,.bak}
  sudo cp "$f" /etc/app/
done

▪️ Использование:

массовая смена портов/доменов
автогенерация конфигов при деплое
одинаковые шаблоны на разных хостах

BashTex 📱 #bash #utils

Замена части файла через временный буфер

Иногда sed слишком грубый инструмент: нужны условия, состояние, счетчики. В таких случаях проще пройтись по файлу построчно и собрать новый контент вручную.

▪️ Задача

Заменить блок между маркерами # BEGIN и # END, не трогая остальной файл.

▪️ Идея

читаем файл построчно;
отслеживаем, где мы находимся;
пишем результат во временный буфер;
атомарно подменяем файл;

🛠 Реализация

in_block=0
tmp=$(mktemp)

while IFS= read -r line; do
  case "$line" in
    "# BEGIN"*)
      in_block=1
      echo "$line" >>"$tmp"
      echo "new content line 1" >>"$tmp"
      echo "new content line 2" >>"$tmp"
      ;;
    "# END"*)
      in_block=0
      echo "$line" >>"$tmp"
      ;;
    *)
      (( in_block )) || echo "$line" >>"$tmp"
      ;;
  esac
done < config.conf

mv "$tmp" config.conf

▪️ Что здесь важно

IFS= read -r - сохраняет пробелы и \
mktemp - безопасный временный файл
mv - атомарная замена (без битых конфигов)

BashTex 📱 #bash #utils

Мониторинг логов с уведомлениями

Обычный tail -f - это пассивный просмотр. Но его легко превратить в активный мониторинг, который сам уведомит вас о проблеме.

Мы будем читать лог в реальном времени, искать по нужному шаблону и отправлять уведомление. Это отлично подойдет на случай, когда ошибку нужно отловить разово и не нужно городить новый пробник в забиксе.

▪️ Простой пример

LOG="/var/log/myapp/error.log"
PATTERN="ERROR|CRITICAL|FATAL"

tail -F "$LOG" | grep --line-buffered -E "$PATTERN" | while read -r line; do
  echo "[$(date)] $line" | mail -s "Ошибка в логе" admin@bashtex.com
done

▪️ Десктоп-уведомление

tail -F "$LOG" | grep --line-buffered "ERROR" | while read -r line; do
  notify-send "Ошибка в логе" "$line"
done

▪️ Полезные детали

-F - переживает logrotate и пересоздание файла
--line-buffered - мгновенная реакция, без задержек
grep -E - несколько шаблонов сразу
while read - обработка построчно без потери данных

BashTex 📱 #bash #utils

Автоочистка логов по размеру и времени

Логи имеют неприятную привычку расти бесконечно. Ниже простой скрипт, который следит за возрастом и размером логов: старые архивирует, слишком большие режет или удаляет.

▪️ Логика

логи старше N дней перемещаем в .gz;
логи больше X МБ убираем в архив или удаление;
все работает без logrotate;

🛠 Скрипт

LOG_DIR="/var/log/myapp"
MAX_DAYS=7
MAX_SIZE_MB=100

find "$LOG_DIR" -type f -name "*.log" | while read -r file; do
  size_mb=$(du -m "$file" | awk '{print $1}')

  # Архивируем старые логи
  if [[ $(find "$file" -mtime +$MAX_DAYS) ]]; then
    gzip -f "$file"
    continue
  fi

  # Архивируем слишком большие
  if (( size_mb > MAX_SIZE_MB )); then
    gzip -c "$file" > "${file}.gz"
    : > "$file"   # обнуляем без удаления
  fi
done

▪️ Что здесь важно

find -mtime - контроль по времени
du -m - размер в мегабайтах
: > file - безопасное обнуление без потери inode
gzip -c - архив без удаления исходника

BashTex 📱 #bash #utils

Одной тайной меньше

BashTex 📱 #юмор

Автоматическая очистка старых бэкапов по количеству копий

▪️ Исходные условия

Все бэкапы лежат в одном каталоге;
Имена содержат дату или время (важно для сортировки);
Нужно оставить, например, 7 последних копий.

🛠 Простой, но надежный скрипт

#!/bin/bash

BACKUP_DIR="/backups"
KEEP=7

cd "$BACKUP_DIR" || exit 1

ls -1t | tail -n +$((KEEP + 1)) | while read -r old_backup; do
    echo "Удаляю старый бэкап: $old_backup"
    rm -rf -- "$old_backup"
done

ls -1t - сортирует файлы по времени изменения (новые сверху)
tail -n +$((KEEP + 1)) - выбирает всё после N первых
rm -rf -- - безопасно удаляет, даже если имя начинается с -

▪️ Полезные улучшения

Проверка без удаления:

ls -1t | tail -n +$((KEEP + 1))

Фильтрация только нужных бэкапов:

ls -1t backup-* | tail -n +$((KEEP + 1))

Логирование:

rm -rf -- "$old_backup" >> /var/log/backup-cleanup.log 2>&1

BashTex 📱 #bash #utils

Проверка доступности DNS и fallback на другой сервер

Когда DNS внезапно падает, проблемы выглядят как сбой сети или сервиса. Чтобы не гадать, можно сделать простой механизм: проверяем DNS и если не отвечает, то временно переключаемся на резервный сервер.

🛠 Базовый скрипт

#!/bin/bash

TEST_DOMAIN="google.com"
PRIMARY_DNS="8.8.8.8"
FALLBACK_DNS="1.1.1.1"
RESOLV="/etc/resolv.conf"
BACKUP="/tmp/resolv.conf.bak"

if dig +time=2 +tries=1 "$TEST_DOMAIN" @"$PRIMARY_DNS" > /dev/null; then
    echo "DNS доступен"
    exit 0
fi

echo "DNS недоступен, переключаемся на fallback"

cp "$RESOLV" "$BACKUP"

cat > "$RESOLV" <<EOF
nameserver $FALLBACK_DNS
EOF

dig - быстрая проверка реального DNS-запроса
+time и +tries - не зависаем надолго
resolv.conf сохраняется перед изменением

▪️ Автовосстановление (по cron)

if dig "$TEST_DOMAIN" @"$PRIMARY_DNS" > /dev/null && [ -f "$BACKUP" ]; then
    mv "$BACKUP" "$RESOLV"
fi

⚠️ Обратить внимание

В системах с systemd-resolved или NetworkManager resolv.conf может перезаписываться;
Для серверов лучше использовать resolvectl или override конфигурации;
Скрипт требует root.

BashTex 📱 #bash

Проверка существования команды и версии утилиты

Скрипты часто падают не из-за логики, а из-за отсутствующей команды или неподходящей версии утилиты. Хорошая практика для часто переезжающих скриптов - проверять наличие команды до выполнения основной логики и иметь fallback.

▪️ Базовая проверка: есть ли команда

if ! command -v curl >/dev/null 2>&1; then
    echo "curl не найден"
    exit 1
fi

command -v в данном случае:

быстрее и безопаснее which;
корректно работает с alias и builtins;
не пишет лишнего в stdout.

▪️ Проверка с fallback

if command -v curl >/dev/null; then
    DL="curl -fsSL"
elif command -v wget >/dev/null; then
    DL="wget -qO-"
else
    echo "Нет curl или wget"
    exit 1
fi

$DL https://bashtex.com

Один интерфейс - разные реализации.

▪️ Проверка версии утилиты

REQ="7.60"

CUR=$(curl -V | awk '{print $2}')

if [ "$(printf '%s\n' "$REQ" "$CUR" | sort -V | head -n1)" != "$REQ" ]; then
    echo "curl слишком старый: $CUR"
    exit 1
fi

sort -V корректно сравнивает версии (7.9 < 7.10).

▪️ Универсальная функция

require_cmd() {
    command -v "$1" >/dev/null || {
        echo "Требуется команда: $1"
        exit 1
    }
}

Использование:

require_cmd awk
require_cmd tar

BashTex 📱 #bash #utils

Поиск файлов, измененных за последние 24 часа

Простая задача, которая регулярно спасает время: быстро найти, что именно менялось на системе за сутки - конфиги, логи, скрипты, данные.

▪️ Базовый вариант

find /path -type f -mtime -1

-mtime -1 - файлы, измененные менее суток назад. Работает по времени изменения содержимого (mtime)

▪️ Только конфиги или нужные расширения

find /etc -type f -mtime -1 \( -name "*.conf" -o -name "*.cfg" \)

Удобно после апдейтов или ручных правок.

▪️ С деталями (размер, дата, путь)

find /var/log -type f -mtime -1 -exec ls -lh {} +

Или аккуратнее через stat:

find . -type f -mtime -1 -exec stat --format '%y %s %n' {} +

▪️ Исключаем лишнее

find / -type f -mtime -1 \
  ! -path "/proc/*" \
  ! -path "/sys/*" \
  ! -path "/dev/*"

Актуально для системного аудита.

▪️ За последние N часов (точнее суток)

find /home -type f -mmin -1440

-mmin работает с минутами

BashTex 📱 #bash #utils

Прости, мне очень жаль..Так надо

BashTex 📱 #юмор