Чтение файлов построчно без потери спецсимволов

Чтение файла строка за строкой в bash кажется простым… пока не начинают теряться символы.

▪️ Классическая ошибка

while read line; do
  echo "$line"
done < file.txt

Проблемы:

\ - пропадает
начальные/конечные пробелы обрезаются
строки с \n, \t, \\ читаются некорректно

Для конфигов, путей и логов это критично.

▪️ Правильный способ

while IFS= read -r line; do
  echo "$line"
done < file.txt

Это канонический вариант чтения строк.

▪️ Что здесь происходит

IFS=

отключает разделение по пробелам и табам;
сохраняет все пробелы в начале и конце строки.

read -r

запрещает интерпретацию \ как escape;
строка читается как есть.

▪️ Пример проблемы

Файл:

  path=C:\Program Files\App\

Без -r:

path=C:Program FilesApp

С IFS= read -r:

  path=C:\Program Files\App\

▪️ Чтение с обработкой строк

while IFS= read -r line; do
  [[ "$line" =~ ^#|^$ ]] && continue
  echo "Обработка: $line"
done < config.conf

▪️ Альтернатива: mapfile

mapfile -t lines < file.txt

Но есть один минус - mapfile загружает весь файл в память

BashTex 📱 #bash #utils

Поиск пользователей без пароля и с заблокированным shell

Со временем в системе накапливаются сервисные, забытые или некорректные аккаунты. Часть из них может быть: без пароля, с истекшим паролем
или с заблокированным shell. Быстрый аудит можно сделать обычным bash.

▪️ Пользователи без пароля. Пароль хранится в /etc/shadow, но факт его отсутствия легко проверить:

sudo awk -F: '($2==""){print $1}' /etc/shadow

Если вывод не пустой - это повод проверить, зачем аккаунт существует.

▪️ Пользователи с заблокированным паролем

sudo awk -F: '($2 ~ /^!|^\*/){print $1}' /etc/shadow

! или * в поле пароля значит, что вход запрещен
Обычно это нормально для сервисных аккаунтов.

▪️ Пользователи с отключенным shell

awk -F: '($7 ~ /(nologin|false)$/){print $1, $7}' /etc/passwd

Типично для:

www-data
nginx
backup

Если обычный пользователь с таким shell - стоит проверить.

▪️ Проверка статуса пароля через chage

sudo chage -l username

Полезно для поиска:

истекших паролей;
аккаунтов без политики смены.

▪️ Массово:

for u in $(cut -d: -f1 /etc/passwd); do
  chage -l "$u" 2>/dev/null | grep -q "never" && echo "$u"
done

▪️ Быстрый отчет:

awk -F: '{print $1 ":" $7}' /etc/passwd

BashTex 📱 #bash #utils

Прекрасное чувство, прям камень с души

BashTex 📱 #юмор

Разница между "$@" и "$*", и почему это ломает скрипты

Оба варианта выглядят почти одинаково, но ведут себя принципиально по-разному, особенно если в аргументах есть пробелы.

Предположим, скрипт запущен так:

./script.sh "file one.txt" "file two.txt"

▪️ "$@" - правильный вариант

for arg in "$@"; do
  echo "[$arg]"
done

Вывод:

[file one.txt]
[file two.txt]

Каждый аргумент сохраняется как отдельная сущность.
Это то, чего вы ожидаете в 99% скриптов.

▪️ "$*" - частая ловушка

for arg in "$*"; do
  echo "[$arg]"
done

Вывод:

[file one.txt file two.txt]

Все аргументы склеены в одну строку через IFS (по умолчанию пробел).

▪️ Почему это ломает скрипты

Передача аргументов дальше:

rm "$*"

rm получает один путь, которого не существует.

Обработка файлов:

cp "$*" /backup

копирование падает или ведет себя странно.

Работа с пробелами:

один аргумент = несколько файлов (по мнению bash).

BashTex 📱 #bash #utils

Автоматический сбор логов одного сервиса в архив

Бывает такое, что нужно быстро собрать логи сервиса и отправить в тикет, например. Делать это вручную - долго и неудобно. Решается одним bash-скриптом.

▪️ Базовый вариант. Собираем логи systemd-сервиса и сразу архивируем:

SERVICE=nginx
OUT="/tmp/${SERVICE}-logs-$(date +%F_%H-%M).tar.gz"

journalctl -u "$SERVICE" --no-pager > /tmp/${SERVICE}.log
tar -czf "$OUT" -C /tmp "${SERVICE}.log"
rm /tmp/${SERVICE}.log

Результат: один .tar.gz с логами сервиса за все время.

▪️ Ограничение по времени. Чаще нужны не все логи, а, например, последние сутки:

journalctl -u nginx --since "24 hours ago" --no-pager > nginx.log
tar -czf nginx-logs.tar.gz nginx.log

Можно и точнее:

--since "2026-01-20 10:00" --until "2026-01-20 12:00"

▪️ Полезные флаги

-o short-iso - удобный формат времени
-p err - только ошибки
--boot - текущая загрузка

Пример:

journalctl -u nginx -p err --since today -o short-iso

BashTex 📱 #bash

Массовая проверка доступности серверов

▪️ Базовый пример. Есть файл со списком хостов: servers.txt

Проверяем доступность всех сразу:

while read -r host; do
  (
    ping -c1 -W1 "$host" &>/dev/null \
      && echo "[OK]   $host" \
      || echo "[FAIL] $host"
  ) &
done < servers.txt

wait

Все ping идут параллельно, вывод появляется почти мгновенно.

▪️ Ограничение параллелизма. Чтобы не зафлудить сеть:

MAX=10
i=0

while read -r host; do
  (
    ping -c1 -W1 "$host" &>/dev/null \
      && echo "[OK]   $host" \
      || echo "[FAIL] $host"
  ) &
  ((i++))
  ((i % MAX == 0)) && wait
done < servers.txt

wait

▪️ Только упавшие хосты

ping -c1 -W1 "$host" &>/dev/null || echo "$host DOWN"

Будет полезно тем, у кого нет мониторинга, но есть 2 и более сервера.

BashTex 📱 #bash #utils

Перестань оправдываться

BashTex 📱 #юмор

Автоматическая ротация кастомных логов без logrotate

Не все логи живут в /var/log. Самописные сервисы часто пишут сюда:

/opt/app/logs/
/srv/project/log/
/data/custom/*.log

Реализуем для них контролируемую ротацию на bash.

💚 Задача

архивировать логи старше N дней;
удалять архивы старше M дней;
не ломать активный файл;
не удалять то, что еще пишется.

1️⃣ Поиск логов старше N дней

LOG_DIR="/opt/app/logs"
DAYS=7

find "$LOG_DIR" -type f -name "*.log" -mtime +$DAYS

-mtime +7 - старше 7 дней.

⚠️ mtime - это время последнего изменения.

2️⃣ Архивирование с датой. Добавим gzip и текущую дату:

ARCHIVE_DIR="/opt/app/archive"
mkdir -p "$ARCHIVE_DIR"

find "$LOG_DIR" -type f -name "*.log" -mtime +7 -print0 |
while IFS= read -r -d '' file; do
    base=$(basename "$file")
    gzip -c "$file" > "$ARCHIVE_DIR/${base}_$(date +%F).gz" && rm -f "$file"
done

Здесь важно:

-print0 + read -d '' - безопасно для пробелов
gzip -c - сначала создаем архив
&& rm - удаляем только если архив создан

Никаких rm до успешного gzip.

3️⃣ Защита от удаления активного лога. Если сервис продолжает писать в файл, удалять его напрямую нельзя. Проверка через lsof:

if lsof "$file" >/dev/null 2>&1; then
    echo "Файл используется, пропускаем: $file"
    continue
fi

Альтернатива: ротировать только логи, которые не менялись X часов:

-mmin +1440

4️⃣ Удаление старых архивов. Храним архивы 30 дней:

find "$ARCHIVE_DIR" -type f -name "*.gz" -mtime +30 -delete

Лучше сначала проверить:

find "$ARCHIVE_DIR" -type f -mtime +30 -print

Только потом добавлять -delete.

5️⃣ Безопасный вариант с flock (чтобы не запустить дважды)

(
flock -n 200 || exit 1

# код ротации здесь

) 200>/var/lock/custom-log-rotate.lock

Теперь крон не создаст гонку.

▪️ Пример запуска через cron

0 3 * * * /usr/local/bin/custom_rotate.sh

BashTex 📱 #bash #utils

Проверка, какие команды доступны через sudo

Перед тем как что-то ломать или усиливать безопасность, полезно понять: что именно пользователь может запускать через sudo.

▪️ Базовая проверка

sudo -l

Показывает:

от какого пользователя можно выполнять команды
какие команды разрешены
есть ли NOPASSWD

Минус: в выводе много мусора.

▪️ Убираем лишнее. Только команды:

sudo -l | sed -n '/may run the following commands/,/^$/p'

Или короче:

sudo -l | grep -E '^\s*\('

▪️ Быстро найти опасные права

Команды с NOPASSWD

sudo -l | grep NOPASSWD

Полный доступ (ALL)

sudo -l | grep '(ALL)'

Запуск shell’ов

sudo -l | grep -E 'bash|sh|zsh'

▪️ Проверка другого пользователя (root)

sudo -l -U username

BashTex 📱 #bash

Ты не выйдешь

BashTex 📱 #юмор

Ограничение времени выполнения команды

Иногда команда зависает навсегда: сетевой запрос, бэкап, скрипт. timeout - это простой способ не дать ей убить автоматизацию.

▪️ Базовое использование

timeout 5s command

Если команда не завершилась за 5 секунд, то она будет остановлена.

Поддерживаемые единицы: 5s 2m 1h

▪️ В скриптах и cron. Пример с curl:

timeout 10s curl https://bashtex.com

В cron это особенно важно т.к зависшая задача может копиться часами.

▪️ Проверка результата

timeout 5s long_task
case $? in
  0) echo "OK" ;;
  124) echo "Timeout" ;;
  *) echo "Ошибка" ;;
esac

Код 124 означает, что команда была прервана по таймауту.

▪️ Жесткое завершение

По умолчанию timeout шлёт SIGTERM.
Если процесс игнорирует его:

timeout -k 2s 10s command

10s - мягкое завершение
+2s - принудительный SIGKILL

BashTex 📱 #bash #utils

Проверка: существует ли файл, каталог или ссылка

В bash не нужно городить ls | grep. Для проверок есть встроенные тесты, более быстрые и надежные.

▪️ Обычный файл - -f

[ -f file.txt ] && echo "Файл существует"

Истина, если: файл есть и это не каталог

▪️ Каталог - -d

[ -d /etc/nginx ] && echo "Каталог существует"

Полезно перед: копированием, cd или очисткой директорий

▪️ Символическая ссылка - -L

[ -L /usr/bin/python ] && echo "Это symlink"

Работает даже если ссылка битая.

▪️ Просто что-то существует - -e

[ -e path ] || echo "Ничего нет"

Файл, каталог, ссылка - все подряд.

▪️ Шпаргалка

-f обычный файл
-d каталог
-L symlink
-e существует

BashTex 📱 #bash #utils

Захват вывода команды в переменную

Есть два способа сохранить вывод команды в переменную. Формально оба работают, но один из них устарел.

▪️ Правильный способ

files=$(ls /etc)

Плюсы:

легко читать
можно вкладывать команды
меньше сюрпризов с экранированием

count=$(wc -l < file.txt)

▪️ Устаревший способ

files=`ls /etc

Минусы:

плохо читается
сложно экранировать
вложенность превращается в ад

# выглядит ужасно и ломается
result=`echo \`date\``

▪️ Почему backticks ломают скрипты

` конфликтует с кавычками
ошибки трудно отлаживать
в больших скриптах быстро становится нечитаемо

▪️ Общая ловушка: переносы строк. Оба способа схлопывают переводы строк в пробелы:

list=$(cat file)

Если важны строки:

mapfile -t list < file

BashTex 📱 #bash #utils

Работа с массивами

Массивы - это простой способ хранить списки без awk и временных файлов. Главное знать базовые приемы.

▪️ Добавление элементов

arr=(one two)
arr+=(three)
arr[5]=six

bash сам раздвигает индексы, дыры допустимы.

▪️ Удаление элементов

unset arr[1]

Элемент удаляется, но индексы не сдвигаются:

echo "${!arr[@]}"  # индексы

Удалить весь массив:

unset arr

▪️ Перебор элементов

Правильно:

for item in "${arr[@]}"; do
  echo "$item"
done

Неправильно (ломает пробелы):

for item in ${arr[@]}; do

▪️ Перебор с индексами

for i in "${!arr[@]}"; do
  echo "$i => ${arr[$i]}"
done

▪️ Размер массива

echo "${#arr[@]}"

BashTex 📱 #bash

Не завидуйте ему

BashTex 📱 #юмор

Проверка времени отклика сервисов

Когда сервис работает, но пользователи жалуются на медлительность, нужно мерить не аптайм, а отклик. Это легко сделать обычным curl.

▪️ Самый простой замер

time curl -s https://bashtex.com > /dev/null

Показывает общее время выполнения запроса и быстро понять, тормозит или нет.

▪️ Точнее: только сетевое время

curl -s -o /dev/null -w "time_total: %{time_total}\n" https://bashtex.com

Полезные метрики:

time_namelookup
time_connect
time_starttransfer
time_total

Пример:

curl -w "DNS:%{time_namelookup} CONNECT:%{time_connect} TTFB:%{time_starttransfer} TOTAL:%{time_total}\n" \
     -o /dev/null -s https://bashtex.com

▪️ Проверка нескольких сервисов

for url in https://a.ru https://b.ru; do
  curl -o /dev/null -s -w "$url %{time_total}\n" "$url"
done

▪️ Таймаут обязателен

curl --connect-timeout 3 --max-time 5 https://bashtex.com

Без таймаута любой мониторинг бесполезен.

BashTex 📱 #bash #utils

Поиск забытых .ssh директорий

После чистки пользователей в системе нередко остаются их .ssh-каталоги. Это мусор + потенциальная дыра: старые ключи могут лежать годами.

▪️ Быстрый поиск по системе

find / -type d -name .ssh 2>/dev/null

Найдет все .ssh, включая:

/home/*/.ssh
/root/.ssh
нестандартные каталоги

▪️ Проверяем, существует ли владелец

find / -type d -name .ssh -exec stat -c '%U %n' {} \;

Если владелец:

UNKNOWN
или пользователь отсутствует в /etc/passwd

то каталог подозрительный.

▪️ Поиск .ssh без пользователя

while read user path; do
  id "$user" &>/dev/null || echo "Лишний: $path"
done < <(find / -type d -name .ssh -exec stat -c '%U %n' {} \;)

⚠️ Перед удалением лучше сделать архив

BashTex 📱 #bash #utils

Циклы while vs for - где что правильно

В bash оба цикла нужны, но для разных задач. Путаница между ними - источник проблем.

▪️ for - перебор готового списка. Используй, когда список уже есть.

for f in *.log; do
  echo "$f"
done

файлы;
аргументы "$@";
элементы массива.

⚠️ Пример ошибок:

for f in $(ls *.log); do   # ломается на пробелах

▪️ while - поток данных. Идеален для чтения ввода.

while IFS= read -r line; do
  echo "$line"
done < file.txt

строки с пробелами;
вывод команд;
большие файлы.

⚠️ Частая ошибка:

cat file | while read line; do
  count=$((count+1))   # переменная пропадёт
done

(цикл в subshell!)

for не является универсальным, а while безопаснее для данных. Перед созданием цикла нужно задавать себе вопрос: список или поток.

BashTex 📱 #bash

Контроль свободных inode на дисках

Можно иметь 50% свободного места и при этом… не создать ни одного файла. Причина: закончились inode.

▪️ Проверка inode на дисках

df -i

Ключевые колонки:

Inodes - всего
IUsed - использовано
IFree - свободно
IUse% - процент

▪️ Когда это становится проблемой

миллионы мелких файлов (cache, maildir, tmp)
Docker overlay
/var/spool, /tmp, /var/lib

Типичная ошибка:

No space left on device

…при пустом диске.

▪️ Поиск пожирателей inode

find /var -xdev -type f | wc -l

Или по каталогам:

for d in /var/*; do
  echo "$(find "$d" -type f | wc -l) $d"
done

▪️ Что делать

чистить cache и tmp
пересоздать FS с большим inode ratio (если хронически)

BashTex 📱 #bash

+2 бесполезных часа активированы

BashTex 📱 #юмор

Контроль роста каталогов во времени

Проблема знакомая: диск внезапно кончается, а кто именно его съел - непонятно. Решение простое: снимать размеры каталогов и сравнивать во времени.

1️⃣ Делаем снимок. Сохраняем размеры верхнеуровневых директорий:

du -x --max-depth=1 /var 2>/dev/null | sort -n > /tmp/var.size.today

-x - не уходим на другие FS
--max-depth=1 - только первый уровень

сортировка сразу по размеру

2️⃣ Сравниваем со вчера. Если есть предыдущий снимок:

diff -u /tmp/var.size.yesterday /tmp/var.size.today

Или удобнее, показать только рост:

join -1 2 -2 2 \
  <(sort -k2 /tmp/var.size.yesterday) \
  <(sort -k2 /tmp/var.size.today) \
| awk '{delta=$3-$1; if (delta>0) printf "%+dK %s\n", delta, $2}' \
| sort -n

На выходе список каталогов, которые реально выросли, с дельтой.

▪️ Зачем это нужно

быстро найти runaway-логи;
поймать тихий рост кешей;
понять, кто ест диск, а не гадать

BashTex 📱 #bash #utils