Linux для чайника
20K subscribers
87 photos
4 files
78 links
Linux
- Разбор утилит / инструментов
- Новости / факты
- Опросы для проверки знаний, навыков
и многое другое.

Только по вопросам сотрудничества: @altmainf

Регистрация в перечне РКН https://clck.ru/3EpL9L
Download Telegram
Файловые дескрипторы в Bash

Когда мы пишем Bash-скрипты, большинство операций с файлами выглядит максимально просто:
cmd < input.txt
cmd > output.txt
cmd >> output.txt

Но за этими короткими операторами скрывается мощная система: файловые дескрипторы (FD).

А знание о них открывает возможности, которые обычное перенаправление не покрывает в принципе: работа с несколькими файлами, сложные пайплайны, межпроцессное взаимодействие и даже работа с потоками как с объектами.

Что такое файловые дескрипторы?
У каждого процесса в Linux есть три стандартных канала:
FD Назначение
0 stdin (ввод)
1 stdout (вывод)
2 stderr (ошибки)

Но процесс может иметь дополнительные дескрипторы:
3, 4, 5 … — хоть до сотен.

Это такие же каналы ввода-вывода, как и 0–2, только вы сами решаете, куда они ведут.

Зачем нужны дополнительные FD?
Обычное перенаправление < file может быть применено только один раз.
То есть вы не можете «последовательно читать два файла» в одном цикле:
while read line; do …; done < file1 < file2 # так не работает
Более того, невозможно одновременно читать из одного файла и писать в другой ― в рамках одного while read.

Файловые дескрипторы это исправляют.

• Открываем файл на чтение в FD 3
exec 3< file.txt
Теперь файл открыт и доступен по номеру FD 3.
Читаем:
read line <&3
echo "$line"

Закрываем: exec 3<&-

• Открываем файл на запись в FD 4
exec 4> output.log
echo "Hello" >&4
exec 4>&-


Пример: одновременно читать один файл и писать в другой
exec3< input.txt
exec 4> output.txt

while read -r line <&3; do
echo "[LOG] $line" >&4
done

exec 3<&-
exec 4>&-


Пример: два входных файла одновременно
exec 3< fileA.txt
exec 4< fileB.txt

read A <&3
read B <&4

echo "A: $A"
echo "B: $B"

exec 3<&-
exec 4<&-


• Подводный камень: FD могут конфликтовать
Большая проблема классического подхода:
- вы вручную выбираете номер,
- FD может быть занят библиотекой или другим скриптом,
- при вложенных bash-функциях конфликт становится реальным.

Например, если вы выбрали FD 3, а ваш скрипт был вызван другой программой, которая тоже использует FD 3 ― поведение будет непредсказуемым.

Решение существует, и оно элегантно.
Оно появилось в современных версиях Bash, но о нём почти никто не знает.

Это — динамические файловые дескрипторы через {fd}.
Динамические файловые дескрипторы в Bash: скрытая фича, которая всё меняет

Bash давно умеет сам выбирать безопасные свободные FD, и делает это удивительно удобно.

Этот пост — о малоизвестном синтаксисе {fd} и реальных кейсах его применения.

• Что такое динамические файловые дескрипторы?
Синтаксис: exec {fd}< file.txt
Смысл:
- Bash находит свободный номер FD, например 11.
- Открывает файл file.txt для чтения.
- Записывает номер (11) в переменную fd.
Проверка:
echo "$fd" # например 11
Теперь файл привязан к FD 11, и вы работаете с переменной $fd.

• Почему это важно?
- не нужно угадывать свободный номер FD
- нет конфликтов с библиотеками
- можно открывать десятки файлов подряд
- можно работать с каналами процессов и /dev/fd/*
- проще читать и писать разные потоки одновременно

• Простейший пример:
exec {fd}< file.txt

while read -r line <&$fd; do
echo "$line"
done

exec {fd}<&-

FD создаётся динамически, закрывается безопасно.

• Два файла одновременно (без конфликтов)
exec {a}< fileA.txt
exec {b}< fileB.txt

read A <&$a
read B <&$b

echo "A: $A"
echo "B: $B"

exec {a}<&-
exec {b}<&-

Не нужно думать про FD 3, 4, 5…

• Чтение + запись одновременно
exec {in}< data.txt
exec {out}> log.txt

while read -r line <&$in; do
echo "line: $line" >&$out
done

exec {in}<&-
exec {out}>&-


• Работа с потоками процессов: <( … )
Динамические FD работают не только с файлами:
exec {tmpfd}<(sed 's/foo/bar/g' data.txt)
cat <&$tmpfd
exec {tmpfd}<&-

<(...) создаёт временный поток (/dev/fd/…), а {tmpfd} превращает его в аккуратный FD.

Реальный практический пример:

Задача:
— читать лог,
— писать его полностью в один файл,
— строки с ERROR писать отдельно,
— считать WARNING.


Решение:
exec {in}< log.txt
exec {all}> all.log
exec {err}> errors.log

warnings=0

while read -r line <&$in; do
echo "$line" >&$all

if [[ $line == *ERROR* ]]; then
echo "$line" >&$err
fi

[[ $line == *WARNING* ]] && ((warnings++))
done

exec {in}<&-
exec {all}>&-
exec {err}>&-

echo "Warnings: $warnings"

С классическими FD 3, 4, 5 такой код был бы более рискованным — конфликты гарантированы.

• Как увидеть, что FD создан?
ls -l /proc/$$/fd
После: exec {fd}< file
увидите: 11 -> file
Инструмент сетевой диагностики MTR

MTR (My Traceroute) — инструмент для сетевой диагностики в Linux. Он сочетает функциональность traceroute и ping, предоставляя реал-тайм мониторинг пути пакетов от вашего компьютера до целевого хоста.

MTR работает в интерактивном режиме и может генерировать отчеты. Он часто используется сетевыми администраторами, разработчиками и пользователями для диагностики интернет-соединений.

Установка MTR
MTR обычно предустановлен в большинстве дистрибутивов Linux, но если нет, установите его через менеджер пакетов:
Ubuntu/Debian:
sudo apt update && sudo apt install mtr
После установки проверьте версию: mtr --version.

Основные команды и опции
Запуск MTR прост: mtr [опции] <цель>, где <цель> — IP-адрес или домен (например, google.com).

Ключевые опции:
-r (report mode): Генерирует статический отчет вместо интерактивного режима. Полезно для скриптов или логов.
-c <число>: Количество пакетов для отправки (по умолчанию 10 в report mode).
-i <секунды>: Интервал между пакетами (по умолчанию 1 секунда).
-n: Не разрешать имена хостов (показывать только IP).
-w: Широкий вывод (больше столбцов).
-p: Режим ping (только ping без traceroute).
-T: Использовать TCP вместо ICMP (полезно для обхода фаерволов).
-U: Использовать UDP вместо ICMP.
--no-dns: Отключить разрешение DNS.
-h: Справка по всем опциям.

В интерактивном режиме (без -r) MTR показывает динамическую таблицу. Используйте клавиши:

q — выход.
d — переключить режим отображения (статистика/график).
j — перейти к следующему узлу.
k — перейти к предыдущему узлу.
? — справка по клавишам.

Примеры использования
• Базовый интерактивный запуск: mtr google.com
Это откроет интерактивное окно с таблицей: столбцы показывают хоп (узел), потерю пакетов, среднюю задержку, лучший/худший/последний пинг и jitter (колебания).

• Генерация отчета: mtr -r -c 10 google.com
Выводит текстовый отчет, который можно сохранить: mtr -r -c 10 google.com > report.txt.

• Тестирование с TCP (для обхода ICMP-блокировок): mtr -T google.com
Полезно, если ICMP заблокирован фаерволами.

• Мониторинг с интервалом 0.5 секунды: mtr -i 0.5 -c 20 example.com

• Проверка локальной сети: mtr 192.168.1.1
(Замените IP на ваш роутер или сервер.)

Интерпретация результатов
Loss %: Процент потерянных пакетов. Высокий (более 5%) указывает на проблемы.
Snt: Отправлено пакетов.
Last: Последняя задержка.
Avg: Средняя задержка.
Best/Wrst: Лучшая/худшая задержка.
StDev: Стандартное отклонение (jitter) — показывает стабильность.
Предположим, что вам нужно запустить приложение с графическим интерфейсом gedit с помощью соответствующей команды и закрыть окно эмулятора терминала без завершения работы этого приложения.

В этом случае сначала следует запустить его в фоновом режиме:
gedit &

В результате вы увидите окно приложения, а в окне терминала будет выведен идентификатор соответствующей задачи, например:
[1] 14191

Теперь следует удалить задачу с известным идентификатором из таблицы задач командной оболочки:
disown 14191

После этого вы можете закрыть окно эмулятора терминала. Приложение с графическим интерфейсом будет работать как ни в чем ни бывало.
globstar и рекурсивный **

Включаем:

shopt -s globstar

Используем:

echo **/*.py
Полный обход директорий — без find.

Пример реального скрипта:
for f in **/*.md; do
pandoc "$f" -o "${f%.md}.html"
done
Несколько распространённых и полезных идиом Bash

1. Проверка существования файла или директории
if [ -f "$file" ]; then
echo "Файл существует"
fi

Используется для проверки файлов (-f), директорий (-d), исполняемых файлов (-x) и т.д. Полезно перед операциями, чтобы избежать ошибок.

2. Условное присваивание переменной (с дефолтным значением)
name=${NAME:-"Гость"}
Если переменная NAME пустая или не установлена, присваивает "Гость". Аналогично ${VAR:=value} для установки.

3. Цикл по файлам в директории
for file in *.txt; do
echo "Обрабатываю $file"
done

Простой способ итерации по файлам. Осторожно с пробелами в именах — используй for file in *; do и кавычки.

4. Чтение строк из файла с циклом while
while IFS= read -r line; do
echo "Строка: $line"
done < input.txt

Безопасное чтение файла построчно, без потери пробелов. IFS= отключает разделение, -r сохраняет бэкслеши.

5. Проверка успешности команды
if command; then
echo "Команда прошла успешно"
else
echo "Ошибка"
fi

Bash возвращает код выхода (0 — успех). Это основа для обработки ошибок.

6. Here-документ для многострочного ввода
cat << EOF
Это многострочный текст.
EOF

Полезно для создания конфигов или скриптов на лету. << — heredoc, EOF — маркер конца.

7. Trap для очистки при выходе
trap 'rm -f /tmp/tempfile' EXIT
Автоматическая очистка временных файлов при завершении скрипта. Можно ловить сигналы вроде INT (Ctrl+C).

8. Set -e для строгого режима
set -e
# Теперь скрипт выходит при первой ошибке

Делает скрипт "строгим" — он прерывается на первой неудачной команде. Комбинируй с set -u (ошибка на неустановленных переменных) и set -o pipefail (для пайпов).
Встроенные команды календарей

cal: Простой календарь на текущий месяц. cal покажет календарь, cal 2025 — на год, cal -3 — на три месяца. (ncal для альтернативного вида).

calendar: Утилита из пакета bsdmainutils (sudo apt install bsdmainutils для Ubuntu).
Создайте файл ~/.calendar с событиями в формате "MM/DD/YYYY описание". Команда calendar покажет предстоящие события.

at и cron: Для напоминаний.
at — одноразовые: echo "notify-send 'Время встречи'" | at 14:00 tomorrow.
cron — повторяющиеся: crontab -e и добавьте 0 9 * * 1-5 notify-send "Еженедельный отчет". (Установите at через пакетный менеджер, если нужно).
Проверка, выполняется ли скрипт в interactive shell

[[ $- == *i* ]]

В переменной $- содержатся флаги текущего shell, и если там есть буква i, то оболочка интерактивная.

Допустим, у нас есть скрипт, который выводит приветствие только если его запустили интерактивно (например, вручную), но молчит, когда его запускает cron, systemd, ssh-скрипты и т.п.


#!/usr/bin/env bash

# Идиома: определение интерактивности оболочки
if [[ $- == *i* ]]; then
echo "Добро пожаловать! Скрипт запущен интерактивно."
echo "Можно показывать красивые подсказки, приглашения, меню…"
else
# Ничего не выводим или выводим очень лаконично
echo "non-interactive mode"
fi

echo "Основная работа скрипта продолжается..."


Cпецпеременная Bash ($-) — список текущих shell-опций.
Например: himBH Где: i → interactive (если есть — оболочка интерактивная). Остальные буквы — разные режимы (h, m, B и т.д.)

Примеры запуска:

Интерактивно (пишем в терминале)
$ ./script.sh
Добро пожаловать! Скрипт запущен интерактивно.
Можно показывать красивые подсказки, приглашения, меню…
Основная работа скрипта продолжается...


Неинтерактивно (через pipe)
$ echo | bash script.sh
non-interactive mode
Основная работа скрипта продолжается...


Через cron (эффект аналогичный)
non-interactive mode
Основная работа скрипта продолжается...
Старший и младший номера устройств

Как мы помним, в UNIX — все есть файл, поэтому каждому устройству в системе соответствует имя этого устройства в каталоге /dev. 

Каждое именованное устройство в Linux однозначно характеризуется двумя (байтовыми: 0...255) номерами: старшим номером (major) — номером отвечающим за отдельный класс устройств, и младшим номером (minor) — номером конкретного устройства внутри своего класса

Если вы введёте команду ls -l, то увидите два числа (разделённые запятой) в каждой записи файла устройства перед датой последней модификации файла, где обычно показывается длина. Эти цифры являются старшим и младшим номером устройства для каждого из них (старшие номера: 1, 4, 7 и 10, а младшие: 1, 3, 5, 64, 65 и 129).
Удаление дубликатов файлов по хэшу

#!/bin/bash

# -------------------------------------------
# Скрипт проходит по всем файлам в указанной
# директории, вычисляет их хэши и удаляет
# дубликаты (спрашивая подтверждение).
# -------------------------------------------

# Директория для сканирования.
# Если пользователь не передал путь, используется текущая.
dir="${1:-.}"

# Хэш-алгоритм. Можно заменить на:
# md5sum — быстрее, но менее надёжно
# sha1sum — средне
# sha256sum — медленнее, но максимально надёжно
algo="sha256sum"

# Ассоциативный массив "хэш → путь к оригиналу".
# В нём сохраняются хэши всех уже встреченных файлов.
declare -A seen

echo "-------------------------------------------"
echo " Сканирование директории: $dir"
echo " Алгоритм хеширования: $algo"
echo "-------------------------------------------"
echo

# Используем find для обхода ВСЕХ файлов.
# -type f — только обычные файлы.
# -print0 — вывод с нулевым разделителем, чтобы корректно
# обрабатывать имена с пробелами и спецсимволами.
while IFS= read -r -d '' file; do

# Вычисляем хэш файла. Команда вида:
# sha256sum file | awk '{print $1}'
# выводит только сам хэш без имени.
hash=$($algo "$file" | awk '{print $1}')

# Если этот хэш уже есть в массиве,
# значит, файл-дубликат найден.
if [[ ${seen[$hash]} ]]; then
echo "🔁 Найден дубликат:"
echo " Оригинал: ${seen[$hash]}"
echo " Дубликат: $file"
echo

# Запрашиваем подтверждение удаления.
read -p "Удалить дубликат? [y/N]: " answer

# Удаление только если ответ 'y' или 'Y'
if [[ "$answer" =~ ^[Yy]$ ]]; then
rm -v "$file" # -v — verbose, показывает что удалено
else
echo "Пропуск."
fi

echo

else
# Если хэша нет — запоминаем файл как оригинал.
seen[$hash]="$file"
fi

# Этот синтаксис < <(...) позволяет передавать результат find
# прямо в цикл while (без создания временных файлов).
done < <(find "$dir" -type f -print0)

echo "Готово!"
Чтобы при вводе пароля через sudo отображались звёздочки (*****), нужно включить опцию pwfeedback в настройках sudo.

Способ 1. Правильный (через visudo)
Открыть sudoers для редактирования:
sudo visudo
Добавить строку:
Defaults pwfeedback
Сохранить и выйти.

Теперь sudo будет показывать звёздочки при вводе пароля.

Способ 2. Только для текущего пользователя
Создать (или отредактировать) файл:
sudo visudo -f /etc/sudoers.d/pwfeedback
Добавить:
Defaults:<твой_пользователь> pwfeedback

Например:
Defaults:alice pwfeedback
Живой монитор пинга в терминале с цветным графиком в стиле мини-дашборда

По умолчанию (будет пинговать 8.8.8.8):
./check.sh

С указанием своего хоста или IP:
./check.sh 1.1.1.1
./check.sh ya.ru
Определяем тип файла в Linux

Существует специальная утилита file, которая выполняет определение типа файла. она анализирует начало содержимого файла и находит в нем специальные "сигналы", характерные для определенного типа – бинарного файла, текстового, изображения и др.

Синтаксис: file <filename>
Расширение для программы file безразлично.

С помощью ключа -L мы можем узнать тип файла, на который ссылается файл-ссылка.
Проверка файла / директории в Bash

В Bash для этого используют file test operators, чаще всего в [[ ... ]].

Базовые проверки:
Файл существует: [[ -e path ]]
Обычный файл: [[ -f path ]]
Директория: [[ -d path ]]
Символьная ссылка: [[ -L path ]]

Права доступа:

Чтение / запись / выполнение
[[ -r path ]] # readable
[[ -w path ]] # writable
[[ -x path ]] # executable

Проверяет права текущего пользователя, не владельца файла.

Размер и содержимое:
Файл не пустой: [[ -s path ]]
Файл пустой: [[ ! -s path ]]
Владение:
[[ -O path ]] # владелец — текущий пользователь
[[ -G path ]] # принадлежит группе пользователя

Временные атрибуты:
[[ path -nt other ]] # newer than
[[ path -ot other ]] # older than

Комбинирование условий:
if [[ -f file && -r file ]]; then
echo "Readable file"
fi


Безопасные идиомы:
Проверка перед использованием:
[[ -f "$file" ]] || {
echo "File not found: $file" >&2
exit 1
}

Создать директорию, если нет:
[[ -d "$dir" ]] || mkdir -p "$dir"

Частые ошибки:
Неэкранированная переменная:
[[ -f $file ]] # плохо
[[ -f "$file" ]] # правильно

Использование ls:
ls file.txt >/dev/null 2>&1 # плохо
[[ -f file.txt ]] # правильно


Краткая шпаргалка:
-e существует
-f обычный файл
-d директория
-L symlink
-r чтение
-w запись
-x выполнение
-s не пуст
Версии ядра линукс

Запись версии ядра можно представить в виде: A.B.C-D.

A – это версия ядра, изначально планировалось повышать номер только после значительной переработки ядра, но сейчас это делают после достаточного количества правок и нововведений примерно два раза за десятилетие.

B – это ревизия ядра, обновление происходит каждые 2-3 месяца. Некоторые из них получают долгосрочную поддержку (LTS – long term support). Каждая ревизия имеет большой список изменений, которые сначала проверяют тестировщики.

C и D отвечают за небольшие правки в коде ядра. С увеличивается в том случае, если были обновлены драйверы устройств, а D – когда вышел очередной патч безопасности. Эти номера могут меняться практически каждый день.

Узнать версию ядра можно с помощью команды: uname -r
Скрипт для просмотра внешних сетевых соединений по процессам

Иногда полезно знать, какие программы на вашем компьютере выходят в интернет.

#!/usr/bin/env bash

# Вывод заголовка
echo "Активные сетевые соединения (внешние)"
echo

# Получаем список соединений (TCP/UDP) с PID и именами процессов
ss -tunpH | awk '
# Фильтруем только внешние соединения (не localhost)
$5 !~ /(127\.0\.0\.1|::1)/ {

# Извлекаем PID процесса
match($0, /pid=([0-9]+)/, p)

# Извлекаем имя процесса
match($0, /"([^"]+)"/, c)

# Выводим красиво: PID, имя процесса и удалённый адрес
printf "PID: %-6s ПРОГРАММА: %-15s -> %s\n", p[1], c[1], $5
}'


1. ss -tunpH
-t — TCP соединения
-u — UDP соединения
-n — показывать IP и порты без преобразования в имена
-p — показать PID и имя процесса
-H — без заголовка

2. Фильтрация внешних соединений
$5 !~ /(127\.0\.0\.1|::1)/
• Исключает все локальные соединения, оставляя только внешние IP.

3. Извлечение PID и имени процесса
match($0, /pid=([0-9]+)/, p) → PID
match($0, /"([^"]+)"/, c) → имя программы

4. Вывод в удобной форме
PID: 1234 ПРОГРАММА: firefox -> 172.217.16.142:443
PID: 982 ПРОГРАММА: ssh -> 18.197.45.22:22
Классическая форк-бомба :(){ :|:& };: в современных версиях Ubuntu (начиная примерно с 18.04–20.04 и точно в 22.04/24.04) не крашит систему, как это было в старых дистрибутивах.

Почему она "не работает"
Ubuntu использует systemd, который автоматически создаёт для каждого пользователя отдельный cgroup (контроллер ресурсов). По умолчанию в systemd установлен лимит на максимальное количество задач (processes + threads) для одного пользователя — обычно около 33% от системного максимума (kernel.threads-max), что даёт примерно 10–15 тысяч процессов (зависит от конфигурации машины).

Когда форк-бомба доходит до этого лимита:
• Дальнейшие fork() начинают падать с ошибкой (bash выдаёт кучу "fork: retry: Resource temporarily unavailable").
• Процессор нагружается на короткое время (несколько секунд–минут).
• Затем всё успокаивается: лишние процессы умирают или просто висят, система остаётся отзывчивой.

Дополнительно может сработать OOM Killer (если памяти не хватит), но в большинстве случаев даже до этого не доходит.
Скачали ISO-образ Ubuntu или программу — проверить, что файл не повреждён и не подменён.

#На сайте обычно дают SHA256 хеш, например:
# 1a2b3c4d...

sha256sum ubuntu-24.04.iso
# Сравнить вывод с тем, что на сайте


Или сразу проверить:
Bashecho "1a2b3c4d...  ubuntu-24.04.iso" | sha256sum --check
# Выведет OK или FAILED
Автоматическая смена обоев из папки

Каждый час ставить новый фон рабочего стола из папки с картинками.
Cкрипт change_wallpaper.sh — для GNOME:
Bash#!/bin/bash
wallpapers=~/pictures/wallpapers/*
random_wall=$(shuf -n1 -e $wallpapers)
gsettings set org.gnome.desktop.background picture-uri "file://$random_wall"
gsettings set org.gnome.desktop.background picture-uri-dark "file://$random_wall"


В cron:

cron0 * * * * /path/change_wallpaper.sh
Автоматически выключаем компьютер в определённое время

Выключать ПК каждый день в 23:00 (например, для детского ПК).

Простое решение (в cron):
cron0 23 * * * shutdown -h now

Или с предупреждением за 10 минут:
cron50 22 * * * wall "Компьютер выключится через 10 минут!"
0 23 * * * shutdown -h now