⚙️ Проверка сертификата сервера из bash

✔️Проверка сертификата сервера из bash может быть полезна для мониторинга, чтобы не пропустить дату продления сертификата. Такие проблемы как продление доменного имени и продление SSL-сертификата достаточно распространены, даже серьезные организации иногда забывают проплатить домен или купить новый сертификат. Поэтому хорошей практикой является мониторинг даты окончания действия сертификата и доменного имени. С доменным именем разберемся в другой раз, а пока давайте посмотрим, как написать скрипт, который не только покажет поля сертификата на удаленном сервере, но и скажет, сколько дней осталось до окончания сертификата.

➡️ Что нам потребуется
▶️Для проверки будем использовать, естественно, Linux. Именно на нем чаще всего стоят системы мониторинга, такие как Zabbix и Nagios. Кроме сервера с Linux’ом нам еще кое-что потребуется. Прежде всего OpenSSL (чем свежее, тем лучше), и, конечно же, bash, на котором мы и будем писать скрипт. Этот скрипт будет полезен как при ручной проверке, так и при автоматизированных проверках.

➡️ Проверка сертификата сервера из bash
▶️Вот как будет организована проверка. Мы открываем SSL-соединение с сервером, получаем сертификат, передаем его на обработку OpenSSL (openssl x509), получая таким образом информацию по полям, а если нам нужно посчитать, сколько времени осталось до истечения срока действия сертификата, будет использовать отдельный параметр, который нам просто выведет количество дней в формате «N days».

➡️ Что можно улучшить
▶️Можно дописать свои функции, которые будут выводить информация в удобном для дальнейшего использования формате, если вы планируете куда-то передавать эти данные для статистики или обработки. Плюс можно добавить проверку параметров (выводить текст о том, что недостаточно параметров), но в данном случае это не так важно, поскольку назначение этого скрипта — мониторинг, что значит, что, скорее всего, настраиваться он будет один раз.

🖼️ Ссылка на скрипт

🔨 bash_help

💸 Вакансии для IT'шников
Выбери своё направление ⤵

1. Frontend
2. Python
3. Java
4. Тестировщик QA
5. Data Science
6. DevOps
7. C#
8. C/C++
9. Golang
10. PHP
11. Kotlin
12. Swift

⚙️ Как разделить большой архив «tar» на несколько файлов определенного размера

✔️В этом руководстве мы кратко рассмотрим создание архивных файлов и разделение их наблоки заданного размера. Мы будем использовать tar, одну из самых популярных утилит для архивирования в Linux, а также воспользуемся утилитой split, чтобы разбить наши архивные файлы на мелкие биты.

▶️Рассмотрим, как эти утилиты могут быть использованы. Следующая общая команда tar и split выглядит так:

tar options archive-name files
split options file "prefix”

Давайте теперь рассмотрим несколько примеров того, как разделить большой архив.

➡️ Пример 1
Мы можем сначала создать файл архива следующим образом:

tar -cvjf home.tar.bz2 /home/username/Documents/*

Чтобы убедиться, что файл архива был создан, а также проверить его размер, мы используем команду ls:

ls -lh home.tar.bz2

Затем, используя утилиту split, мы можем разбить файл архива home.tar.bz2 на небольшие блоки размером 100 МБ следующим образом:

split -b 100M home.tar.bz2 "home.tar.bz2.part"
ls -lh home.tar.bz2.parta*

В приведенной выше команде split опция -b используется для указания размера каждого блока, а home.tar.bz2.part является префиксом в имени каждого файла блока, созданного после разделения.

➡️ Пример 2
Как и в случае выше, здесь мы можем создать файл архива образа Ubuntu ISO.

tar -cvzf linux-ubuntu-64bit.tar.gz linuxubuntu-64bit.iso

Затем выполните те же шаги в примере 1, чтобы разделить файл архива на мелкие блоки размером 300 МБ.

ls -lh linux-ubuntu-64bit.tar.gz
split -b 300M linux-ubuntu-64bit.tar.gz "ISO-archive.part"
ls -lh ISO-archive.part*

➡️ Пример 3
В этом случае мы можем использовать поток (pipe) перенаправляя вывода команды tar для разделения, следующим образом:

tar -cvzf - wget/* | split -b 150M - "downloads-part"

Убедимся в том что разделение прошло успешно:

ls -lh downloads-parta*

В этом последнем примере нам не нужно указывать имя архива, просто используйте – знак.

➡️ Как соединить файлы после разделения
После успешного разделения файлов tar в Linux, вы можете соединить файлы с помощью команды cat. Использование команды cat является наиболее эффективным и надежным методом выполнения операции соединения.

Чтобы объединить все блоки файла tar, мы вводим следующую команду:

cat home.tar.bz2.part* > backup.tar.bz2.joined

Мы видим, что после запуска команды cat, она объединяет все мелкие блоки, которые мы ранее создали, в исходный файл архива tar того же размера.

➡️ Как разархивировать файлы после объединения
Чтобы разархивировать файл после объединения, мы вводим следующую команду

tar -xvjf backup.tar.bz2.joined -C /home/user/Documents/

🖼️ Ссылка на источник

🔨 bash_help

⚙️ SSL Certification Expiration Checker — программа проверки истечения срока действия SSL-сертификатов

▶️ssl-cert-check — скрипт оболочки Bourne, который можно использовать для оповещения об истечении срока действия SSL-сертификатов.

➡️ Сценарий был разработан для запуска из cron и может рассылать уведомления по электронной почте или регистрировать предупреждения через nagios.

🐙 Перейти на Github

🔨 bash_help

👉 Основы Docker. Большой практический выпуск

➡️В этом выпуске Вы узнаете что такое Docker, познакомитесь с базовыми понятиями. И конечно будут практические примеры.

0:00:00 Вступление
0:02:22 Что такое Docker?
0:16:29 Простой пример Hello World
0:31:34 Пример WEB приложения
0:35:55 Работаем с портами
0:41:10 Что такое docker volume
0:46:54 Поднимаем временную базу данных
0:55:26 Разворачиваем реальный проект
1:00:35 Что такое docker-compose
1:05:23 Создаем виртуальную машину (подробно)
1:08:25 Ставим Docker и Docker compose на Linux
1:10:17 Delpoy проекта с ипользованием GitHub
1:16:50 Delpoy проекта с ипользованием DockerHub

📹 Смотреть на YouTube

Канал: Артем Матяшов

🔨 bash_help

⚙️ Rkhunter (Rootkit Hunter) — инструмент мониторинга безопасности

✔️Инструмент мониторинга безопасности для систем, совместимых с POSIX. Он сканирует системы на наличие руткитов и других возможных уязвимостей.

➡️ Для этого инструмент ищет:
▶️каталоги по умолчанию (где могут находиться руткиты);
▶️неправильно настроенные разрешения;
▶️скрытые файлы;
▶️модули ядра, содержащие подозрительные строки;
▶️сравнивает хэши важных файлов с известными хорошими.

➡️ Инструмент написан на Bash и может работать в большинстве UNIX-систем.

🐙 Перейти на Github

🔨 bash_help

🔥Тесты для подготовки к собеседованию🔥
Выбери своё направление:

1. Frontend
2. Python
3. Java
4. Тестировщик QA
5. Data Science
6. DevOps
7. C#
8. C/C++
9. Golang
10. PHP
11. Kotlin
12. Swift

👉 Bash

Видеоуроки:
1 — Введение
2 — Основы команд
3 — Файловая система
4 — Переменные shell
5 — Чтение текстовых файлов
6 — Основы потоков ввода-вывода
7 — Run Сommands File
8 — Pipes
9 — Command history
...
34 — Заключение. Путь развития

📹 Плейлист YouTube

Канал: dmdev

🔨 bash_help

⚡️ IT-обучение теперь в Telegram!

В cвязи с недавнем замедлением Ютуба — лучшие обучающие каналы переехали в Telegram

Вот каналы для айтишников:

👩‍💻 DevOps: @DevOps
📱 Python: @Python
📱 GitHub: @GitHub
📱 Frontend: @Frontend
⚙️ Backend: @Backend
🤓 Общее айти: @portalToIT
👩‍💻 Java: @Java
👩‍💻 C#: @Csharp
👩‍💻 С/С++: @Cpp
🖥 Базы Данных & SQL: @SQL
👩‍💻 Golang: @Golang
🖥 PHP: @PHP
👩‍💻 Моб. разработка: @MobDev
👩‍💻 Разработка игр: @GameDev
🖥 Data Science: @DataScience
🤔 Хакинг & ИБ: @InfoSec
🐞 Тестирование: @QA
📱 Маркетинг: @Marketing
🖥 Дизайн: @Design

➡️ Сохраняйте себе, чтобы не потерять

⚙️ 4-ZERO-3 — инструмент обхода ошибок 403/401 в ответах сервера

✔️Для справки: 401 Unauthorized (Не авторизован) - для доступа к запрашиваемому ресурсу требуется аутентификация. 403 Forbidden — сервер понял запрос, но он отказывается его выполнять из-за ограничений в доступе для клиента к указанному ресурсу.

▶️Скрипт выведет cURL обхода авторизации, если найдет нужный метод.

➡️ Использует следующие методы обхода: header, protocol, port, HTTP, URL encode, MySQL

🐙 Перейти на Github

🔨 bash_help

⚙️ Автоматизация сканирования открытых сетевых портов

✔️С ростом числа кибератак и угроз безопасности информационных систем автоматизация процесса анализа уязвимостей становится критически важной задачей.

▶️С ростом объемов обрабатываемых данных, расширения информационных систем, сервисов и приложений возникает все больше проблем с точки зрения информационной безопасности. Исходя из этого встает острый вопрос о том, как это все контролировать, и преждевременно предотвращать угрозы информации.

➡️ В рамках данной статьи мы рассмотрим следующие пункты:
▶️разработка скрипта для поиска поддоменов;
▶️разработка скрипта для преобразования найденных поддоменов в IP-адреса;
▶️разработка скрипта для сканирования внешней сети при помощи утилиты Nmap и сбора информации о доступных портах;
▶️разработка телеграмм-бота для автоматизации.

🖼️ Дочитать статью на Habr'e

🔨 bash_help

⚙️ Параллельное выполнение в bash

✔️В большинстве командных оболочек команды выполняются по умолчанию последовательно. И это нормально. Потому что человек с системой взаимодействует последовательно, обычно нет необходимости несколько команд выполнять параллельно. Bash в этом смысле тоже не исключение. Но при автоматизации возможность параллельного выполнения может быть полезной.

➡️ Использование фонового режима
▶️Для организации параллельной работы нескольких программ часто используется запуск в фоновом режиме при помощи знака амперсанда — &:

command1 &

▶️Команда будет работать в фоне, при этом из текущей оболочки можно выполнять команды. Таким образом уже можно распараллелить какие-то действия. Можно запустить сразу несколько команд таким образом и дождаться, пока они все отработают. Для ожидания запущенных дочерних процессов используется команда wait. Эта команда без параметров ожидает окончания работы всех дочерних процессов, соответственно, для ожидания окончания 5 процессов понадобится выполнить команду всего 1 раз. Это легко реализуется через цикл:

for i in {1..5}
do
    # запуск одного фонового процесса
    sleep 10 && echo $i &
done
# ожидание окончания работы
wait
echo Finished

▶️И результат работы этого скрипта:

$ ./wait5.sh
1
5
4
2
3
Finished

▶️Как видите, с виду одинаковые команды завершились не в том порядке, в котором мы их запустили. Давайте посмотрим теперь общее время выполнения скрипта:

$ time ./wait5.sh 
4
5
2
3
1
Finished

real  0m10.029s
user  0m0.000s
sys  0m0.008s

▶️Общее время работы скрипта чуть больше 10 секунд, что доказывает, что наши команды выполнились параллельно, а увеличение времени выполнения говорит о том, что они были запущены не в одно и то же время, были небольшие таймауты между запусками. Но они были очень маленькими, поэтому такой запуск пяти процессов занимает практически такое же время, как запуск одного.

➡️ Использование пайпа
▶️При использовании пайпов, которые перенаправляют вывод одной программы на вход другой, процессы выполняются параллельно. Отсюда вытекает еще один способ параллельного выполнения нескольких команд — перенаправить между ними какие-то данные с помощью пайпа:

program1 | program2 | program3

▶️Тут важно помнить — если вам не нужно передавать реально какие-то данные между программами, то надо предварительно убедиться, что входные данные эти программы получат в виде опций командной строки и не будут использовать те данные, которые были переданы им с помощью пайпа. Хотя здесь возможен такой вариант:

command1 --option > dev/null | command2 param1 param2 > /dev/null | command3

▶️Этот вариант до использования в скриптах, естественно, нужно обязательно проверить в ручном режиме и посмотреть в страницах руководств используемых программ (если там есть такая информация), что имеет больший приоритет — опции командной строки или стандартный поток ввода, потому что некоторые программы могут игнорировать командную строку, если данные передаются через стандартный поток ввода.

➡️ Параллельное выполнение и ограничение количества фоновых задач в скрипте
▶️Давайте рассмотрим такую практическую задачу — запустить 100 процессов параллельно, но так, чтобы работало одновременно не более 10 процессов. В общем, достаточно простая задача. Предположим, что все процессы работают произвольное количество времени. Пусть запуск одной задачи будет выглядеть как запуск команды sleep со случайным параметром от 0 до 29. Тогда скрипт будет выглядеть так:

#!/bin/bash

RANDOM=10
JOBS_COUNTER=0
MAX_CHILDREN=10
MY_PID=$$

for i in {1..100}
do
    echo Cycle counter: $i
    JOBS_COUNTER=$((`ps ax -Ao ppid | grep $MY_PID | wc -l`))
    while [ $JOBS_COUNTER -ge $MAX_CHILDREN ]
    do
        JOBS_COUNTER=$((`ps ax -Ao ppid | grep $MY_PID | wc -l`))
        echo Jobs counter: $JOBS_COUNTER
        sleep 1
    done
    sleep $(($RANDOM % 30)) &
done
echo Finishing children ...
# wait for children here
while [ $JOBS_COUNTER -gt 1 ]
do
    JOBS_COUNTER=$((`ps ax -Ao ppid | grep $MY_PID | wc -l`))
    echo Jobs counter: $JOBS_COUNTER
    sleep 1
done
echo Done

🖼️ Дочитать статью

🔨 bash_help

⚙️ Homeshick

✔️ Менеджер дотфайлов, использующий git в качестве общего хранилища. Это отличный способ управлять dot-файлами, которые живут в вашем домашнем каталоге.

▶️Настройка инструментов в соответствии с вашими потребностями посредством конфигурации может быть полезной. Огромное количество часов тратится на то, чтобы правильно настроить эти настройки, но как только вы покидаете пределы своего компьютера, эти локальные оптимизации остаются позади.

▶️Благодаря возможностям Git, Homeshick позволяет вам переносить на удаленные компьютеры симфонию настроек, в которую вы вложили всю свою душу.

➡️ С его помощью вы сможете сосредоточить еще больше энергии на улучшении своей рабочей среды, поскольку преимущества будут видны на любом используемом вами оборудовании.

🐙 Перейти на Github

🔨 bash_help