⚙️ Process substitution в Bash

✔️Process substitution — это функция в Bash, которая позволяет использовать вывод команды или процесса в качестве входа для другой команды. Она помогает оптимизировать Bash-скрипты, уменьшив потребность во временных файлах и упростив сложные конвейеры

➡️ Синтаксис process substitution:
<(command). Создаёт именованный канал (FIFO) и подключает к нему вывод команды внутри скобок. Именованный канал ведёт себя как файл, что позволяет использовать его в качестве входа для другой команды.
>(command). Также создаёт именованный канал, но подключает его к входу команды внутри скобок. Это позволяет перенаправить вывод одной команды на вход другой команды.

➡️ Некоторые примеры использования process substitution для оптимизации Bash-скриптов:

▶️Сравнение вывода двух команд
Подстановку процесса можно использовать для сравнения вывода двух команд с помощью команды diff. Например, для сравнения вывода ls в двух разных каталогах:

diff <(ls dir1) <(ls dir2) 

▶️Перенаправление вывода на несколько команд
Вы можете использовать подстановку процесса, чтобы отправить вывод команды нескольким командам. Например, чтобы отправить вывод ls и в grep, и в wc:

ls | tee >(grep 'txt$') >(wc -l) > /dev/null 

▶️Цепочка процессов замены
Подстановку процессов можно объединить в цепочку для создания сложных конвейеров. Например, чтобы отсортировать и подсчитать слова в текстовом файле, а затем отобразить 10 самых распространенных слов:

cat file.txt | tr '[:space:]' '\n' | grep -v '^$' | sort | uniq -c | sort -nr | head -n 10 

▶️Объединение и сортировка двух файлов
Предположим, у вас есть два отсортированных файла, file1.txt и file2.txt, и вы хотите объединить их в новый отсортированный файл, merged.txt . Вы можете использовать команду sort вместе с подстановкой процесса, чтобы добиться этого:

sort -m <(sort file1.txt) <(sort file2.txt) > merged.txt 

▶️Отображение различий между деревьями каталогов
Вы можете использовать замену процессов для сравнения структуры каталогов двух каталогов с помощью команды tree и diff:

diff -y <(tree -fi dir1) <(tree -fi dir2) 

▶️Фильтрация и сохранение записей журнала
Предположим, у вас есть файл журнала, и вы хотите извлечь записи, содержащие слово "ERROR", сохранить их в отдельный файл и отобразить на экране. Для этого можно использовать grep и tee с заменой процессов:

grep 'ERROR' logfile.txt | tee >(cat > errors.txt) 

▶️Выполнение арифметических операций над столбцами CSV-файла
Вы можете использовать awk с подстановкой процессов для выполнения арифметических операций над столбцами CSV-файла. Например, чтобы сложить столбцы 2 и 3 CSV-файла и отобразить результат:

awk -F, '{ print $1, $2 + $3 }' <(cat file.csv) 

▶️Объединение стандартного вывода и стандартной ошибки
Чтобы объединить стандартный поток вывода и стандартный поток ошибок в один поток, можно использовать замену процессов с помощью cat:

command 2> >(cat >&1) 

В этом примере команда представляет команду, которую вы хотите выполнить. Подстановка процесса >(cat >&1) перенаправляет стандартный поток ошибок (файловый дескриптор 2) в стандартный поток вывода (файловый дескриптор 1).

➡️ Эти примеры иллюстрируют мощь и гибкость подстановки процессов в Bash. Понимая, как эффективно использовать эту функцию, вы можете создавать более сложные и эффективные скрипты.

🖼️ Ссылка на источник

🔨 bash_help

⚙️ bind – встроенная команда оболочки Bash

✔️Используется для установки привязок клавиш и переменных к функциям.

▶️ -l – перечислить имена связанных функций редактирования.
▶️ -P – перечислить названия привязываемых функций редактирования и их привязки, если они есть.
▶️ -p – то же, что и -P, но выводит результат в форме, которую можно использовать в качестве входных данных для команды bind.
▶️ -S – перечислить последовательности клавиш, которые вызывают макросы и их значения.
▶️ -s – то же, что и -S, но выводит результат в форме, которую можно использовать в качестве входных данных для bind.
▶️ -V – перечислить переменные и их значения, которые используются при привязке ключа bash.
▶️ -v – то же, что и -V, но выводит результат в форме, которую можно использовать в качестве входных данных для bind.
▶️ -q название функции – отобразить (запросить) привязку клавиш для функции bash имя_функции.
▶️ -u имя функции – отключить все ключи, привязанные к функции редактирования function-name.
▶️ -r последовательность клавиш – удалить все привязки для последовательности клавиш keyseq.
▶️ -f имя файла – считать привязки клавиш из файла имя_файла и использовать их в качестве входных данных для команды привязка.
▶️ -x keyseq:shell-команда – привязать команду. Команда оболочки shell-command будет выполнена bash, когда получит последовательность клавиш keyseq.
▶️ -X – перечислить последовательности клавиш, привязанные к -x, в форме, подходящей для ввода в bind.

🖼️ Ссылка на источник

🔨 bash_help

⚙️ Bash Prompt Generator

✔️Очень крутой ресурс, где можно сконфигурировать строку для ввода команд в bash.

➡️ Выбираете параметры, расставляете их в нужной последовательности и копируете готовую конфигурацию.

🐙 Перейти на Github

🔨 bash_help

😂 Подборка каналов для каждого сетевого инженера и безопасника

👨‍💻 Серверная Админа — Большое количество уроков, статей, книг и гайдов по устройству и настройке компьютерных сетей.

😎 Арсенал Безопасника — Проект по кибербезопасности - сборник лучших инструментов и утилит по OSINT, хакингу и деанону

😎 Бункер Хакера — Все что необходимо, для того чтобы начать свой путь в безопасности - инструменты, книги, справочники, гайды и ресурсы.

⚙️ Аналог wget на bash

✔️Если вам необходимо скачать какой-то файл, а curl’а или wget’а нет, то можно воспользоваться командной оболочкой bash, написав скрипт, позволяющий скачать любой файл по протоколу http.

➡️ Вот этот скрипт:

download.sh:

#!/bin/bash

if [ "$1" == "" ]
then
    echo "usage: $0 URL"
    exit 0
fi

HOST=`echo $1 | sed 's/http\:\/\///' | sed -r 's/([^/])\/(.*)/\1/'`
FILENAME=`echo "$1" | sed -r 's/(.*)\/(.*)/\2/'`
PATH=`echo "$1" | sed 's/http\:\/\///' | sed -r "s/$HOST//" | sed "s/$FILENAME//"`
PORT=80
HEADERS="HTTP/1.1\r\nHost: $HOST\r\nConnection: close\r\nContent-Length: 0\r\n\r\n"
F="/tmp/dlfile"
exec 3<>/dev/tcp/$HOST/$PORT
echo -e "GET $PATH$FILENAME $HEADERS" >&3
/bin/cat <&3 > $F
/usr/bin/tail $F -n +$((`/bin/sed $F -e '/^\r$/q' | /usr/bin/wc -l`+1)) > $FILENAME
/bin/rm $F

🖼️ Ссылка на источник

🔨 bash_help

⚙️ Скрытие процессов Linux с помощью Bind Mounts

✔️Если у вас есть вредоносный процесс, который вы хотите скрыть, используйте Bind Mounts, чтобы смонтировать другой каталог поверх каталога /proc/PID для вредоносного процесса.

🖼️ Статья на английском языке

🔨 bash_help

⚙️ ble.sh — Bash Line Editor

✔️Линейный редактор, написанный на чистом Bash, с подсветкой синтаксиса, автоматическими предложениями, режимами vim и т. д. для интерактивных сеансов Bash.

▶️Он заменяет GNU Readline по умолчанию. Предоставляет такие функции, как расширенное завершение и режим редактирования

🐙 Перейти на Github

🔨 bash_help

⚙️ PathPicker

✔️Инструмент командной строки, который позволяет выбирать файлы из вывода bash

▶️Пользователи могут редактировать выбранные файлы в своем любимом текстовом редакторе или выполнять с ними произвольную команду

🐙 Перейти на Github

🔨 bash_help

⚙️ CLI-To-Whatsapp

✔️Bash-скрипт, который позволяет пользователям отправлять выходные данные CLI команды GNU/Linux контакту WhatsApp в виде сообщения

🐙 Перейти на Github

🔨 bash_help

⚙️ sshto – небольшой bash-скрипт для управления ssh-соединениями

✔️Он создает меню (через диалог) из вашего ~/.ssh/config. Он может не только подключаться, но и выполнять команды, копировать файлы, туннелировать порты

🐙 Перейти на Github

🔨 bash_help

⚙️ Парсим данные с GisMeteo в bash’е

✔️Если вы вдруг каким-то чудом еще не слышали про сайт gismeteo.ru, то, в двух словах, это сайт, на котором публикуется текущая информация о погоде для различных населенных пунктов. Чтобы посмотреть, что сейчас примерно на улице за погода (с определенной погрешностью, естественно), достаточно открыть сайт и посмотреть. Кроме того, у этого сайта есть возможность получать данные в формате XML.

▶️Но мы не будем пользоваться форматом XML, потому что для корректного разбора xml обычно используются дополнительные программы. Мы воспользуемся другими программами, которые обычно в системе уже присутствуют (за исключением curl, который по умолчанию имеется не во всех системах) — bash, sed и curl. Curl нужен только для получения странички по протоколу https, и вместо него можно воспользоваться любой другой программой, которая может получить страничку по https и вывести ее в терминал (это может сделать и wget, и links), можно использовать ту программу, которая вам больше нравится.

▶️Главная задача этого скрипта — выводить в консоль информацию о погоде в текстовом режиме. Чем этот скрипт может быть еще полезен? Тем что результат его работы можно использовать для отправки себе в качестве SMS, по электронной почте или использовать для отображения на рабочем столе при помощи conky.

➡️ Для настройки скрипта потребуется адрес страницы, на которой находятся данные о погоде в соответствующем городе. У меня это будет Санкт-Петербург. Вы можете свой URL найти просто скопировав из браузера адрес страницы и вставив его в скрипт.

#!/bin/bash

CITY_URL="https://www.gismeteo.ru/city/daily/4079/"
curl $CITY_URL 2>/dev/null \
| sed -nre '/section higher/,/мм рт. ст./p' \
| sed -r '/section higher|cloudness|wicon wind|crumb|scity|\/div|value m_temp f|m_wind mih|m_wind kmh|png|\/dl|class="temp|wicon barp|dt/d' \
| sed -r 's/(.*)class="type(.*)>(.*)<\/h2>/Город: \3/' \
| sed -r 's/(.*)<dd(.*)td>(.*)<\/td(.*)\/dd>/Погода: \3/' \
| sed -r 's/(.*)<dd class=(.*)>(.*)<span class="meas(.*)span><\/dd>/Температура воздуха: \3 C/' \
| sed -r 's/(.*)value m_wind ms(.*)>(.*)<span class="unit">(.*)<\/span><\/dd>/Ветер: \3 \4/' \
| sed -r 's/(.*)value m_press torr(.*)>(.*)<(.*)>(.*)<\/span><\/dd>/Давление: \3 \5/'

▶️Если не совсем понятно, немного поясню, что происходит. Скачиваем curl’ом страничку, выводим ее в стандартный потов вывода, а ошибки в /dev/null. Затем удаляем все ненужные строки, оставляем только те, которые содержатся между строкой с подстрокой «section higher» и «мм рт. ст.» включительно. Таким образом удалится информация о температуре воды, но это в моем случае не страшно, потому что Питер не самый курортный город, и о влажности воздуха, что тоже не страшно, потому что влажность обычно не самая низкая. Затем из оставшихся строк снова удаляем ненужные, достаем название города, состояние атмосферы (ясно, пасмурно, облачно), температуру воздуха, скорость ветра и атмосферное давление.

➡️ И, собственно, всё. После запуска скрипта получаем такой вот вывод:

$ ./gm.sh
Город: Санкт-Петербург
Погода: Пасмурно
Температура воздуха: +15 C
Ветер: 2 м/с
Давление: 766 мм рт. ст.

🖼️ Ссылка на источник

🔨 bash_help

⚙️ LazyJournal

✔️Терминальный пользовательский интерфейс (TUI) для journalctl, логов файловой системе и контейнеров Docker для быстрого просмотра и фильтрации, написанный на языке Go с использованием библиотеки gocui.

▶️Простая установка, для запуска достаточно загрузить в систему один исполняемый файл без зависимостей.
▶️Проект вдохновлен работами Jesse Duffield, по этому интерфейс будет знаком всем тем, кто уже использует LazyDocker и LazyGit.
▶️Для всех журналов присутствует возможность динамической фильтрации вывода с поддержкой нечеткого поиска и регулярных выражений (в стиле fzf и grep), а также подсветкой найденных слов.
▶️Позволяет получить список всех доступных журналов юнитов из journalctl (используется для чтения логов из подсистемы systemd).
▶️Возможность просматривать все доступные лог-файлы из каталога /var/log с сортировкой по дате изменения (например, для Apache, Nginx или СУБД), включая доступ к архивным логам.
▶️Поддержка логов контейнеров Docker.
▶️Проект будет полезен в первую очередь для системных администраторов Linux, больше не нужно вручную искать журналы в системе и каждый раз вызывать grep.

🐙 Перейти на Github

🔨 bash_help

⚙️ basht

✔️Файловый менеджер терминала, написанный на bash.

▶️Он использует fzf для навигации и выбора файлов и каталогов. Имеет предварительный просмотр изображений, различные темы.

🐙 Перейти на Github

🔨 bash_help

⏺ UserGate открывает новую страницу в истории российского NGFW-строения!

Предлагаем вашему вниманию видео с честным нагрузочным тестированием нового решения – UserGate DCFW.

UserGate Data Center Firewall (DCFW) – высокопроизводительный межсетевой экран следующего поколения с широкими функциональными возможностями и высокой отказоустойчивостью для защиты дата-центров и крупных корпоративных сетей.

Это решение для тех, кому требуется защита сетей с трафиком, исчисляемым в десятках гигабит в секунду: корпоративные сервисы крупного бизнеса, государственные информационные системы, ЦОДы, интернет-провайдеры.

➡️ Смотреть запись

*Реклама, ООО «Юзергейт»

⚙️ Bash. Как обойтись без goto

✔️Если вы программировали в командой оболочке cmd в Windows, то вы, возможно, использовали оператор goto для того, чтобы выполнять различные блоки операторов. В bash нет оператора goto, и он, в общем, и не нужен. Однако, при переходе от cmd к bash может возникнуть вопрос, как же обойтись без goto в bash. Процесс выполнения скрипта в этих оболочках различается, тем не менее, можно написать в любой из них скрипт, который будет работать точно так же, как и скрипт в другой оболочке.

➡️ Пример 1: Несколько блоков, из которых должен выполниться только один.
Скрипт на cmd:

@echo off
if %1 == 1 goto LABEL1
if %1 == 2 goto LABEL2
if %1 == 3 goto LABEL3
goto END

:LABEL1
echo Parameter: 1
goto END

:LABEL2
echo Parameter: 2
goto END

:LABEL3
echo Parameter: 3
:END

▶️Пример очень простой, между меткой и оператором goto может быть значительно большее количество команд, конечно же. И для операторов после LABEL3 переход нам не нужен, потому что и так уже достигнут конец скрипта.

▶️Скрипт на bash:

#!/bin/bash

label1(){
echo "Parameter: 1"
}

label2(){
echo "Parameter: 2"
}

label3(){
echo "Parameter: 3"
}

if [ "$1" == "1" ]; then label1; fi
if [ "$1" == "2" ]; then label2; fi
if [ "$1" == "3" ]; then label3; fi

▶️В целом скрипты выполняются абсолютно идентичным способом. Различия вот в чем. В bash необходимо определить функцию до того, как она будет вызвана в первый раз. В cmd не используются функции, поэтому гибкость алгоритма обеспечивается непосредственными переходами при помощи goto на метку. Метка может быть в любом месте скрипта, как до команды перехода, так и после. В плане гибкости cmd имеет некоторое преимущество в том смысле, что метку можно вставить в любое место скрипта. Но bash с использованием функций позволяет сделать скрипт более строгим, более предсказуемым.

▶️А в плане результата данный пример и в cmd, и в bash одинаков. Главное понять, что в cmd сам скрипт является целиком линейным, а в bash за счет возможности создания функций не является, так как сама функция представляется при ее вызове как обычная команда.

➡️ Пример 2: При соблюдении условия будет выполняться дополнительная часть команд.
▶️Скрипт на cmd:

@echo off
if %1 == 1 goto LABEL1
if %1 == 2 goto LABEL2
if %1 == 3 goto LABEL3
goto END

:LABEL1
echo Parameter: 1
:LABEL2
echo Parameter: 1 or 2
goto END

:LABEL3
echo Parameter: 3
:END

▶️Получатся вложенный блок, который можно показательно выделить отступами

:LABEL1
echo Parameter: 1
  :LABEL2
  echo Parameter: 1 or 2
  goto END

▶️Такой вариант в bash будет выглядеть следующим образом:

#!/bin/bash

label2(){
echo "Parameter: 1 or 2"
}

label1(){
echo "Parameter: 1"
label2
}

label3(){
echo "Parameter: 3"
}

if [ "$1" == "1" ]; then label1; fi
if [ "$1" == "2" ]; then label2; fi
if [ "$1" == "3" ]; then label3; fi

▶️Вложенный блок выделяется в отдельную функцию label2, вызов которой осуществляется из label1. НО! Эта функция должна быть УЖЕ ОПРЕДЕЛЕНА к моменту первого вызова, поэтому в скрипте она должна находиться ВЫШЕ функции label1.

🖼️ Ссылка на источник

🔨 bash_help