Привет, сейчас покажу интересную bash фичу. Которая ну совсем уж не очевидная и про нее мало кто знает.

В bash скрипте можно хранить данные, закодированные в base64. Выглядит это следующим образом:

#!/bin/bash

read_data() {
  mapfile -t DATASET < <(sed '1,/^DATASET/d' "$0" | base64 -d)
}

read_data

echo ${DATASET[@]}

exit 0

DATASET
SGVsbG8gQmFzaERheXM=

Функция read_data считывает данные из самого скрипта. С помощью sed удаляются строки от начала файла до строки DATASET. А затем происходит декодирование оставшихся данных. В конце всё сохраняется в массив DATASET с помощью mapfile и выводится через echo.

Красота! Мой скрипт по итогу выведет на экран «Hello BashDays». Где это можно применить, понятия не имею. Возможно тебе удастся это куда-нибудь приспособить.

Еще в этом скрипте мне не нравится exit 0, если есть мысли как от него избавиться, велком в комментарии. Я чет покопался вчера, но так пока и не победил. Если убрать exit 0, оно будет работать, но в конце грязно выругается.

Бери на вооружение, возможно твой стартап нуждается в этом. Увидимся!

tags: #bash
—
💩 @bashdays

Надо было тут провести экстренные технические работы на сервере. Сервер публичный и смотрит жопой в интернет.

Клиенты это обычные пользователи, которые заходят по ssh и пытаются на практике изучать bash и linux. Короче студенты какого-то крупного ВУЗа, а сервер выступает подопытным стендом для всяких лабораторных работ.

Клиентов дофига (человек 800) предупредить о технических работах нет никакой возможности. А если бы и была, то 99% не увидят электронных писем с важной информацией и начнут долбать саппорт.

Задача вроде тривиальная, но нужно было предварительно задропать все сессии + не разрешать повторно подключить. Ну и естественно каким-то хреном выслать уведомление всем тем, кого задропали в моменте.

На самом деле тут все просто. Создаем пустой файл /etc/nologin. Теперь только root сможет авторизоваться по ssh. Да, предварительно нужно разрешить вообще заходить под root’ом.

Часть задачи решили. Теперь нужно уведомить бедолаг, которые в данный момент что-то делают в терминале. Пусть сохраняют свои поделки и отправляются на заслуженный отдых.

Для этого воспользуемся утилитой wall.

Wall — утилита командной строки, которая отображает сообщение на терминалах всех вошедших в систему пользователей.

Запускаем команду:

wall "Быстренько сохраняемся и валим с сервера. В 10:15 сервер уходит в запой."

Все кто был подключен к серверу, получают сообщение:

Broadcast message from root@dev (pts/0) (Sun Dec 17 11:38:21 2023):
Быстренько сохраняемся и валим с сервера. В 10:15 сервер уходит в запой.

И неважно что делает человек и где находится, сообщение появится у него на экране. Через wall кстати можно спамить определенным группам пользователей.

Ну все, ответственность с себя сняли. В 10:15 запускаем ассасина:

pkill -9 -u `who | awk '{print $1}'| grep -v root|head -1

Вот так вот грубо мы выгнали всех с сервера, кроме root’а. Вот и все, спокойно проводим технические работы, удаляем /etc/nologin и радуемся какие мы молодцы.

Wall можно заменить например на такое:

echo "Hello from BashDays" | write user

Но тут сообщение уйдет конкретному пользователю user. Конечно если по какой-то причине отсутствует wall в системе, можно и через цикл выгрести всех юзеров и через echo скормить им уведомление.

write - утилита, позволяющая отправить сообщение другому пользователю, который имеет сессию в этой же системе.

Ну либо так:

echo "Hello from BashDays" > /dev/pts/1

Пытался сделать так /dev/pts/[0-9]*, но чет не проканало, заорала как потерпевшая. Ну это всё костыли, в общем неважно.

Ладно, хорошо тебе провести остаток выходного, увидимся завтра.

tags: #bash #linux #utils
—
💩 @bashdays

Тишина у каждого своя, у всех в душе свои оркестры…

Как мы с тобой знаем, в начале скрипта принято использовать строку shebang/hashbang. Это то самое, которое #!/bin/bash. Конечно его не обязательно ставить, но рекомендуется. Ранее этот вопрос разбирался здесь.

Так, но порой вместо привычной нам конструкции, можно встретить нечто подобное:

#!/usr/bin/env bash
#!/usr/bin/env python
#!/usr/bin/env python3

Да, с питончиком тоже такая чача бывает. Но что это за сракафак и зачем? В нашем случае такое хитрое указание интерпретатора имеет смысл.

Основная идея env bash это улучшение переносимости. Никто не может гарантировать, что интерпретатор находится по захардкоженому пути.

Указал ты допустим в скрипте #!/bin/bash, закинул скрипт на сервер, а эндпоинта bin/bash нет. По этой причине господа ребята используют хак с env bash. Использование env позволяет снизить риски за счет запуска команды на основе данных из переменной среды PATH.

Ну и используя env в скрипте можно указывать любые версии интерпретатора. Возможно у тебя стоит две версии bash, ну или как распространено с питончиком. Деприкейтед 2.7 и трёшка. Думаю мысль ты уловил. Чтобы не править скрипты, можно подменять версии интерпретаторов и даже сами интерпретаторы.

Давай посмотрим на практике.

mkdir ~/bin
cp /bin/sh ~/bin/bash
export PATH=~/bin:$PATH
env bash

1. Создаем папку bin в домашнем каталоге
2. Копируем интерпретатор sh в ~/bin, но обзываем его bash
3. Экспортируем новый путь ~/bin в PATH
4. Запускам bash через env

Дела… у нас запустился интерпретатор sh. То есть ~/bin/bash (обращаем внимание на знак ~ = домашняя директория пользователя) был найден раньше, чем просто /bin/bash.

Если посмотреть PATH мы увидим следующее:

echo $PATH
/root/bin:/root:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin

Наш домашний каталог с бинарниками стал приоритетным. И если теперь в скриптах указать #!/usr/bin/env bash то запустится sh из ~/bin. Ничего сложного. Но на практике обычно никто такой хераборой не занимается. Чисто для примера, ну или для совсем уж костылей, когда нужно быстро и вчера.

Преимущества c env:

- Запуск интерпретатора не из конкретно указанного места, а из того что встретилось первым в переменной окружения PATH.

Недостатки:

- Путь /usr/bin/env банально может не существовать. Но обычно существует.

Ну и если используешь env, в него можно прокинуть параметры, делается через ключик -S:

#!/usr/bin/env -S var1=a var2=b bash --help

Venv в Python работает по такому же принципу, реврайтит PATH и позволяет использовать разные версии.

> index.py
python3 -m venv .venv
source .venv/bin/activate
import sys
print(sys.executable)

/tmp/.venv/bin/python

Если посмотреть PATH (echo $PATH) при активации venv, то увидим совершенно другой PATH:

/tmp/.venv/bin:/home/user/bin:/usr/local/opt/libpcap/bin:/home/user/.pyenv/bin:/opt/homebrew/opt/openjdk/bin

То есть к нашему PATH добавился каталог /tmp/.venv/bin, который стал приоритетнее чем /home/user/bin.

Вот так вот это всё и работает под капотом. Я эти env по большей части никогда не использую, хреначу #!/bin/bash и погнали, пока всегда и везде работало. Конец!

tags: #bash #linux
—
💩 @bashdays

Привет. Утренний микропост. Короче когда перенаправляешь вывод результатов в файл, то на экране нифига не видно. Но порой это бывает критично, а нужно и в файл записать и глазками позырить в реалтайме.

На этот случай у нас есть утилита tee, которая как раз этой хераборой и занимается.

command | tee log.txt

На картинке хорошо видно, откуда произошло название tee, это буква T в произношении. Вывод затекает сверху слева и вытекает в двух направлениях. Ты видишь происходящее на экране, а параллельно это происходящее записывается и в файл. Удобно.

Вот как нужно называть утилиты! Взял произношение буквы и можно в коробку упаковывать. Кстати пока писал, вспомнил что английская «H», взяло название от Eighth - то есть восьмая буква алфавита. Короче никто особо не заморачивался с неймингом.

Ну а еще есть подобная утилита, называется просто script. Она позволяет записать всё происходящее на экране сразу в файл. Работает даже в интерактивном режиме. Запустил ты ее и работаешь в консоли, а она пишет все твои действия в кабачок.

Ключей у нее много разных, если интересно можешь глянуть хелпину. Видел что её подключают в bashrc чтобы логировать все действия криворуких обезьян.

Я ни tee ни script не использую, потому что всё время про них забываю, да и особой необходимости нет.

Такие дела. Вечерком закину еще чтива, увидимся!

tags: #bash #utils
—
💩 @bashdays

Это пост изобилует грубыми и матерными выражениями и, в силу своего содержания, вообще не предназначен для просмотра лицам с нежной и хрупкой психикой.

Довелось мне тут побывать на ретроспективе. Это пиздец ребята. Не буду писать про прелюдии и чекины, это тот еще артхаус.

Короче на вопрос «оцените как прошел этот спринт цифрами от 1-5». Я воткнул естественно 5ку. Ну а чо, факапов нет, продакшены работают, команда довольна, входящие отбиты, бэклог пустой. Условия ГПХ выполняются. Твердая пятерка!

Да, бэклог может быть пустым!

Но как оказалось, 5ка это нихуя не хорошо, это ПЛОХО! На моё удивление — вы чо там грибов пережрали в своём айти или скрамом упоролись?

Ответ проджекта (или как там это тело правильно называется) — Рома, если кто-то ставит 5ку, значит этот человек НЕ загружен задачами на 100%. А возможно вообще сидит на жопе ровно и специально на планировании втыкает стори-поинты в свою пользу.

Хм подумал я… напугали кота сосиской, но ничего не ответил. Больные блять, я так-то и на планирование не хожу. А я то думаю, чо все четверки понаставили. Опытные бродяги.

То есть получается оценка спринта 1, 2, 3 и 5 это плохо. Какой-то прям гнилой скрам получается. Ну да черт с ним. Если уж еще раз попаду на это безумное мероприятие, буду ставить 5 и всех бесить.

Ладно, пережили, забыли. НО спустя пару дней, ко мне приходит ТОП менеджер и говорит — Господин Роман, у нас сложилось такое впечатление, что вы нихуя не делаете. Ваши утренние отчёты выглядят как гавно:

вчера
- текущие задачи
сегодня
- текущие задачи

Что вы скажете в своё оправдание? А давайте вы теперь будете нам писать прям подробным списком, какие задачи делаете!

Да блять! Проснулись. В том-то и дело, что я нихуя не делаю, я уже сделал и слежу, чтобы это работало 24/7/365. Ну раз хотите чтива, будут вам подробные отчеты.

Позиция понятна, ребят чет понесло не туда, ну бывает… Ну и теперь каждое воскресение я захожу в GPT и клепаю бездушные отчеты на следующую неделю. Закидываю их в телеграм отложку и продолжаю наслаждаться своей зоной комфорта. Ну и ТОП менеджеры позже заапрувили, что теперь всё ок!

Эта история закончилась на позитивной ноте, все остались довольны. Но первый звоночек прозвенел, посмотрим что будет дальше.

Есть такая прекрасная поговорка — Прод висит на нитке, а думают о прибытке!

Спасибо, что дочитали, мне нужно было с вами этим поделиться. Хорошего всем утра-дня-вечера-ночи. На связи!

tags: #рабочиебудни
—
💩 @bashdays

Привет. Давно не виделись, конец года, все как с ума посходили, всем нужно вчера и срочно. Надеюсь у тебя тоже все хорошо. Сегодня поделюсь задачей которую решал на днях для клиента, связанную со swap.

Задача от заказчика: У меня есть приложение, которое уходит в swap, мне нужно чтобы оно туда не уходило. Сам swap отключать нельзя.

Задаю очевидный вопрос — а зачем? Чтобы что? Ну свапится оно, ну и пусть свапится, никогда с этим проблем ни у кого не встречал.

Как оказалось, они там провели у себя какие-то хитрые тесты и доказали, что если их приложение начинает свапится, то это влияет на скорость его работы. Ну да, есть в этом доля правды. Если на сервере достаточно RAM, можно и реализовать это безобразие.

А решается эта задача через cgroups.

cgroups (Control Groups) представляют собой механизм в ядре Linux для ограничения, изоляции и управления ресурсами, предоставляемыми группам процессов. Они предоставляют интерфейс для создания и управления группами процессов, а затем накладывают ограничения на ресурсы, потребляемые этими группами.

Сначала ставим необходимые пакеты, если они не стоят:

apt-get install cgroup-tools

Создаем отдельную группу asshole, в нее будем добавлять приложения, которые нужно оградить от swap:

cgcreate -g memory,cpu:/asshole

Запрещаем вытеснять процессы в swap:

echo 0 | tee /sys/fs/cgroup/asshole/memory.swap.max

Добавляем процесс в группу asshole:

cgclassify -g memory,cpu:/asshole/ $(pidof nginx)

Для примера я добавил nginx, который не будет уходить в swap. Но ты можешь добавить все что угодно.

Дополнительно для группы asshole отключим OOM:

echo 1 | tee /sys/fs/cgroup/asshole/memory.oom.group

Вот и всё, теперь приложение не будет уходить в swap и OOM (Linux Out-Of-Memory Killer) обломается. Ну и как вариант: всё нахуй встанет раком, продакшен издаст последний вздох и упадет в новогодние праздники. Но тут, как говорится — хозяин барин! Хотели отключить, отключили.

Все настройки производились на ubuntu 22.04, в других версиях есть различия на названия memory.swap.max, memory.oom.group и прочее.

После создания группы, зайди, посмотри что у тебя там создалось. И от туда уже пляши. У меня этот способ не сработал на виртуальных серверах в Селектеле (permissions denied), но прекрасно сработал в Digital Ocean и на локальной виртуалке.

Экспериментируйте! Кстати после перезагрузки, cgroups слетят и по возможности создавай юнит в systemd, типа такого:

/etc/systemd/system/asshole.service

[Unit]
Description=My cgroup configuration

[Service]
ExecStartPre=/bin/mkdir -p /sys/fs/cgroup/asshole
ExecStartPre=/bin/mount -t cgroup -o memory asshole /sys/fs/cgroup/asshole
ExecStart=/bin/echo 1 > /sys/fs/cgroup/asshole/memory.oom.group

[Install]
WantedBy=default.target

systemctl daemon-reload
systemctl start asshole
systemctl enable asshole

Хорошего понедельника! И всегда помни, если что-то ограничиваешь, рано или поздно оно взбунтуется и сделает уйму головняков.

tags: #linux
—
💩 @bashdays

Всех рад видеть, привет! Сразу к делу. В оболочке Bash есть такая настройка, как «set -k», если по ней вызвать хелп, то получим следующее:

-k All assignment arguments are placed in the environment for a command, not just those that precede the command name.

То есть, при активации этой настройки, все что будет похоже на присваивание переменным значений, поместиться в среду команд. И совершенно не важно, где в строке находится это присваивание.

Короче говоря, если в команде используется синтаксис присваивания (HUY=512), то эта команда не получит этих присвоенных опций в качестве аргументов. Чтобы стало понятнее, давай на практике.

set -k  
dd if=/dev/zero of=/dev/null count=1 bs=2048

По идее, команда dd должна прочитать блок размером 2048 байта из устройства /dev/zero и записать эти байты в устройство /dev/null. А после выполнения — завершить работу.

На экран должны получить нечто подобное:

1+0 records in
1+0 records out
2048 bytes (1.0 kB, 1.0 KiB) copied, 9.4642e-05 s, 10.8 MB/s

Но так как мы выполнили «set -k», все будет иначе. Утилита dd не получит указанных опций в качестве аргументов и будет пытаться читать и писать блоками по 512 байт (512 по умолчанию). После выполнения команды, мы получаем — Хуй с маслом! Ничего! Хотя ожидали получить — завершение работы.

Выполнив «set -k» утилита dd просто заблокировалась на чтении стандартного потока ввода и ожидает данные. Вот такие перлы!

Обожаю угорать над студентами, сначала втихую активируем «set -k» и просим решить простую задачку со звездочкой. Но задачка почему-то не решается. А дальше начинается гогул, strace и бессонные ночи.

Если нарвался на подобное поведение, как вариант, проверь этот самый «set -k». Деактивировать эту фигню, так: «set +k».

Всегда ору с этого синтаксиса, плюс = отключить, минус = включить.

Для чего вообще нужна «set -k» и где применяется? Возможно для фоновых процессов, ну либо угорать над студентами. Если знаешь истинное применение, пиши в комменты, будет интересно.

Давай, увидимся вечером, хорошего тебе дня!


tags: #bash
—
💩 @bashdays

Привет еще раз кого не видел. Давай сейчас из гавна и палок изобретем полезняшку. Создаём текстовый файл: ~/bashdays и вставляем в него такое содержимое:

$if mode=emacs
"\"": "\C-v\"\C-v\"\C-b"
"'": "\C-v\'\C-v\'\C-b"
"`": "\C-v\`\C-v\`\C-b"
"(": "\C-v\(\C-v\)\C-b"
"[": "\C-v\[\C-v\]\C-b"
"{": "\C-v\{\C-v\}\C-b"
$endif

Загружаем эти макросы из файла:

bind -f ~/bashdays

Теперь при вводе кавычки или скобки в терминале, они будут автоматически закрываться. А курсор удобно разместится между этими символами. Как в лучших традициях современных IDE с плагинами.

Работает корректно в Bash, с настройками по умолчанию. Чтобы каждый раз это не биндить, пропиши ту же самую строчку в .bashrc/.inputrc. Или сразу глобально в /etc/inputrc если есть супер-юзер.

Нюансы:

Они есть, но вряд ли встретятся у тебя. Но все равно расскажу.

1. Макрос работает только в режиме emacs. Если не работает, возможно есть какое-то переопределение в bashrc/inputrc, типа такого:

set editing-mode vi
set -o vi

2. Не должно быть привязки функций quoted-insert, backward-char (библиотека readline) к сочетаниям \C-v, \C-b. Иначе придется править сам макрос. Проверяем:

bind -q quoted-insert
bind -q backward-char

Должно вывестись примерно такое:

quoted-insert can be invoked via "\C-q", "\C-v".
backward-char can be invoked via "\C-b", "\eOD", "\e[D".

3. Не должно быть действующих сочетаний клавиш:

"\C-v\"
"\C-v'"  
"\C-v`"  
"\C-v("  
"\C-v["  
"\C-v{"

Проверяем:

bind -X | grep 'C-[vb]."'
bind -p | grep 'C-[vb]."'
bind -s | grep 'C-[vb]."'

Ключи:

-X = List the key sequences bound by -x in a form suitable for input to bind.
-p = List the names of bindable editing functions, and what their bindings are, if any.
-s = List key sequences that invoke macros, and their values.

Cмотрим на левую часть, до двоеточия, у меня выдает такое:

"\"": "\C-v\"\C-v\"\C-b"

То есть все нормально. Короче такие себе грабли и вряд ли ты на них наступишь. Не знаю на сколько фича полезная, я давненько ей пользовался, но потом как-то не сложилось. Мне проще ручками проставить закрывашку, а не полагаться на какие-то хаки.

Но так или иначе, теперь и ты знаешь это, возможно в будущем или настоящем пригодится. Держи краба! Теперь уже точно, до завтра! Лайк, лайк!

tags: #bash
—
💩 @bashdays

Вчера в комментариях к посту про «set -k», задали вопрос про решение задачи. Чтобы понять какие опции включены в оболочке bash через «set», достаточно выполнять команду:

echo $-

В этой команде «$-» представляет текущие опции командной строки.

На экран выведется, что типа такого:

hikmBHs

Это все опции, которые на данный момент включены в оболочке Bash через команду «set». Ну и дальше уже можно искать проблемы с нелогичным поведением при выполнении команд. Каждая буква это опция, вызываешь хелп и смотришь что она означает.

Ну или через скрипт, как мы любим:

if [[ $- == *k* ]]; then
  echo "Опция -k установлена."
else
  echo "Опция -k не установлена."
fi

Про «$-» мало кто знает, в книжках я про неё никогда не встречал. В оболочке zsh эта штука тоже фурычит. Такие дела.

tags: #bash
—
💩 @bashdays

Привет, всех с Новым Годом! Праздники праздниками, но пора уже входить в рабочий поток и разгрести локальный техдолг. На этот раз решаем задачку с тремя известными: Windows + WSL + VirtualBox.

Суть такая. Понадобилось мне вхреначить на локальную машину VirtualBox с убунтой, для тестирования фичи, которую писал в этом посте. Фича не хотела заводиться на виртуальных серверах Селектела, хотя и должна была. Потребовалось убедиться, что дело не в моих кривых руках. Ладно, лирика…

Короче цепануться к убунте из wsl по ssh к VirtualBox из коробки не получилось. Да и понятно, подсети разные. Пришлось временно воспользоваться powershell и через ssh проверить гипотезу с cgroup. Винда видит подсеть виртуалки и с этим проблем нет. Проверил, забыл.

Но вопрос остался открытым: как блять/дь малой кровью из WSL (с ubuntu 22.04) подключиться напрямую к виртуалке c ubuntu 22.04 по ssh? И не задрачиваться с таблицами роутинга? Рассказываю!

Чтобы не лезть в маршрутизацию, пришлось воспользоваться стандартным функционалом проброса портов в самом VirtualBox. Жопа конечно знатно сгорела, но желаемого добился.

В общем, пиздуем в настройки VirtualBox: Сеть, Адаптер1. В нем по умолчанию включен NAT. Открываем пункт - Дополнительно, видим кнопку: Проброс портов. Заходим и начинаем заниматься очередной хуитой магией.

Сначала роутим на виндовую машину:

Имя: ssh_win
Протокол: tcp
Адрес хоста: 127.0.0.1
Порт хоста: 2222
Адрес гостя: пусто
Порт гостя: 22

Так, теперь в powershell я могу цепануться к виртуалке так:

ssh -p2222 user@127.0.0.1

Оно и ежу понятно, теперь усложняем задачу:

Имя: ssh_win_host
Протокол: tcp
Адрес хоста: 192.168.31.100
Порт хоста: 22
Адрес гостя: пусто
Порт гостя: 22

Этой хернёй разрешаем подключение из powershell по такому принципу:

ssh user@192.168.31.100

Ага, айпишник 192.168.31.100 это адрес, который выдал роутер моей виндовой машине. Как видим уже используется 22 порт. Посмотреть айпишник можно командой ipconfig в терминале powershell. Да простят меня адепты линукса.

Ну и теперь финальный штрих, прикручиваем WSL:

Имя: ssh_wsl
Протокол: tcp
Адрес хоста: 172.21.20.123
Порт хоста: 2222
Адрес гостя: пусто
Порт гостя: 22

Айпишник 172.21.20.123 выдан убунте в WSL, смотрим его через ifconfig. А дальше заходим в сам WSL и подключаемся к VirtualBox как к обычному серверу:

ssh user@192.168.31.100

То есть цепляемся в виндовой/хостовой машине на 22 порт, который уже проброшен. Закидываем public ключи, делаем алиасы для быстрого коннекта. Всё! Дело в шляпе! Мы подключились из WSL (ubuntu) по ssh к виртуальной машине в VirtualBox.

Есть нюанс, у меня дополнительно поднят VPN через wireguard, там еще один фактор с подсетью. Поэтому я добавил еще мусора:

Имя: ssh_vpn
Протокол: tcp
Адрес хоста: 10.66.64.55
Порт хоста: 22
Адрес гостя: пусто
Порт гостя: 22

Теперь при активации VPN, подключение к VirtualBox через WSL будет выглядеть так:

ssh user@10.66.64.55

Логично, адрес виндовой/хостовой машины меняется с 192.168.31.100 на 10.66.64.55. Но это детали. Еще есть тема, что при включении/выключении VPN вся это тягомотина с пробросом портов подхватывается не сразу. Имей это ввиду.

Я себе сделал 2 алиаса в wsl ~/.zshrc:

alias box1="ssh user@192.168.31.100"
alias box2="ssh user@10.66.64.55"

Алиасы подключения без ВПН и с ВПН. Ну ты и так про это знаешь. Картинки с настройками залил сюда (открываются нативно в телеграфе), заскриншотил свои поделки. Визуальнее всегда понятнее. Но у меня там дэцл хосты и айпишники по другому обзываются. Не обессудь.

Если знаешь более красивое решение этой задачи с пробросом, сердечно ждем в комментариях.

Ладно, самое время включить режим «День-Тюлень». Еще раз всех с НГ. Увидимся!

tags: #linux #wsl #windows #network
—
💩 @bashdays

Привет! Не в первый раз сталкиваюсь с ситуаций, когда например увольняется девопс-инженер и на его место берут другого. Тут то и начинается цирк с конями. Всё как под копирку.

Приходит новый девопс-инженер и начинает ныть — ой, мама, какой у вас тут ужас, предыдущий девопс явно был дурак и рукожопая бестолочь. Ну как так можно было делать? Я сейчас все переделаю правильно! Ну и делает. А через год увольняется.

Следом приходит новый девопс-инженер и начинается — какой кошмар, тут явно обезьяна до меня работала. И так по кругу. Каждый следующий специалист, засирает работу предыдущего и пытается подмять под свою зону комфорта.

Ну и самый сок. Беру к себе на парт-тайм девопса, чтобы мою личную инфраструктуру обслуживал. Где крутятся около сотни пет-проектов. Всё отлично, работа прет, задачи пилятся. Но в какой-то момент пытаюсь самостоятельно законектится по ssh на сервак, а оно мне — не, мы тебя не знаем дядя, давай до свидания!

Хм… задаю вопрос Василию. Василий — а чо меня это, на мой же сервак не пускает? А Василий — а не пустит, у вас там предыдущий девопс такой херни намутил, дурак какой-то, я всё под себя переделал и по уму, бест-практики!

И да! Теперь авторизация осуществляется через Teleport. Но доступ я вам не дам, так как вам там нечего делать, еще сломаете моё детище! Ну и я поднял дополнительный сервер с Teleport, там 20$ лишних в месяц теперь нужно платить…

Дела… То есть я самостоятельно настроил инфраструктуру, но она никак не вяжется с мировоззрением таких Василиев. Со старой школой намного проще работать, но тоже не всегда. Порой люди прикипают к FTP и SVN и дальше развиваться не хотят, но просят при этом 100500$ в час непонятно за что.

Это относится ко всем айтишникам. Если пришел в компанию и процессы не совпадают с твоей упитанной зоной комфорта — легаси проект, пайплайны на bash, котики код обоссали и т.п. Не нужно всем об этом кричать и махать руками, какие все козлы.

Объективно и по полочкам объясни это техдиру. Но в большинстве случаев тебя пошлют нахер и всё останется как было. Потому, что это работает здесь и сейчас и не нуждается в переделке.

Если что-то хочешь поменять или внедрить, поставь пожалуйста в известность. Не нужно ничего усложнять, чем сложнее инфраструктура, тем больше точек отказа.

Всегда стремись — упрощать! Научись адаптироваться, держать баланс и всё у тебя будет в жизни хорошо... 😂 наверное.

PS: Кстати рекомендую попробовать Teleport, офигительная штука!

Teleport - это инструмент с открытым исходным кодом для обеспечения доступа к серверам и облачным приложениям с помощью SSH. Он позволяет отказаться от использования VPN, предоставляя единый шлюз для доступа к вычислительной инфраструктуре через SSH, кластерам Kubernetes и облачным приложениям через встроенный прокси.

tags: #рабочиебудни #services
—
💩 @bashdays

Привет. Все таки сложно отойти от праздников и заставить себя работать. Придется подключать для разгона «Красный Халат». Погнали.

Начнем этот спринт с буферов обмена в Linux. Обычно при работе в терминале у нас с тобой есть аж три буфера.

При правильных манипуляциях, можно воспользоваться всеми тремя.

Clipboard Buffer

Копировать : CTRL+SHIFT+C
Вставить   : CTRL+SHIFT+V  
Вырезать   : CTRL+SHIFT+X  
Или контекстное меню

Primary Buffer

Копировать : Выделить, копируется само
Вставить   : Средняя клавиша мыши

Application Buffer

Вставить   : Зависит от приложения
Вырезать   : Зависит от приложения
Копировать : Зависит от приложения

Ну а теперь давай потыкаем палкой. Практика. Заходи в консольку и копируй что-нибудь во все три буфера. В каждый буфер скопируй разный текст, чтобы визуально убедиться.

Clipboard Buffer
Выделяешь и копируешь CTRL+SHIFT+C

Primary Buffer
Выделаешь, копируется автоматически

Application Buffer (Оболочка Bash)
Курсор в конце строки, вырезаем CTRL+W

Так, буферы заполнили. Очищаем экран: CTRL+L и начинаем вставлять:

1. CTRL+SHIFT+V
2. Средняя кнопка мыши
3. CTRL+Y

Опа! Каждый пункт вставляет разный текст. Ну если конечно ты скопировал разный. В винде немного все иначе, я особо с этим не разбирался. Но 1й и 3й пункт точно работают. А вот средняя кнопка мыши у меня привязана на какую-то фигню с окнами, но не суть.

Вообще в повседневной работе я обычно использую менеджеры буферов. Потом очень удобно лазить по истории и вставлять необходимое. Сейчас уже не представляю как без них обходиться, например когда нужно скопипастить логин и пароль из разных мест.

Ладно. Всем легкой недели. Увидимся!

tags: #linux #bash
—
💩 @bashdays

День вчера был такой длинный, жаркий, и от начала до конца полная х%йня, каждую минуту. Год как-то стремительно начался в плане объема задач. Привет!

А жиза заключается в том, что кто-то бездумно пишет говнокод, а кто-то этот говнокод вынужден дебажить. Доказывая что проблема не на сервере, а в кривых руках разработчика.

Вот и вчера. Ситуация: какой-то php скрипт при создании файла на диске, выставляет корявые права на этот файл. Грубо говоря, нужно поставить 777, а у файла права по факту 01411. Конечно, проблема в сервере! Пусть дядя Рома с этим разбирается. Ладно, за монету и корку хлеба можно и покопаться.

Блин, как я давно с php дел не имел. Пришлось вспоминать всю эту лапшу с ООП.

Так, вдумчиво пробегаюсь глазами по php коду, нахожу функцию, которая ставит права на файл, выглядит это так:

<?php

chmod('test.txt', '777');

?>

Для простоты восприятия, адаптировал под наши с вами реалии. Вроде всё корректно, тошноты пока нет. Чо этой собаке надо? Запускаю скрипт, хм… снова получаю вместо 777 какую-то фигню 01411.

А если уберем кавычки? Вдруг это как string воспринимается:

<?php

chmod('test.txt', 777);

?>

Метод тыка не помог, но терпим до последнего. В документацию по chmod в php не лезем. Нас же НЕ просили исправить баг, нас поставили перед фактом — проблемы на сервере. Вот мы и пытаемся доказать обратное.

Расчехляем strace

strace php app.php

В самом конце видим:

read(3, "<?php\n\nchmod('test.txt', 777);\n\n"..., 4096) = 35
chmod("test.txt", 01411) = 0

Видим знакомое 01411. Доказательства собрали. С серверами всё хорошо, на лицо баг в коде. Несем эту информацию тимлиду, пусть учит разработчика читать документацию и дает ему по шапке.

А что все-таки не так с php скриптом, почему 01411? Вообще это не наше дело. Но если коротко:

В php целые числа могут быть указаны в десятичной, шестнадцатеричной, восьмеричной или двоичной системе. Все это дело должно обозначаться начальным нулем. Наша тема - восьмеричная система. Если перевести 777 в восьмеричную систему получим как раз 1411.

📌А откуда берется 01 перед 1411?? А давай ты сам подумаешь и в комментариях напишешь. А мы тебе дружно лайк поставим.

Ошибка была в том, что в php скрипте число 777 передается как строка. Неважно в скобках оно или нет.

Фикс тут простой, просто вставляем 0 перед 777:

<?php

chmod('test.txt', 0777);

?>

Ну а если хочется без ведущего нуля, то так:

<?php

chmod('test.txt', intval('777', 8));

?>

Вот такие пироги. Можно было бы продолжить метод тыка и вставить сразу 0 перед 777, но повторюсь — нас не просили ничего багфиксить. Не нужно упрощать кому-то работу, это опыт, который ты воруешь у человека.

Пусть лучше лишние полчаса погуглит, посмотрит, зато самостоятельно заполнит свою дофаминоваю яму. И потешет ЭГО новой победой над багом.

Ладно, увидимся, давай!

tags: #linux #debug #рабочиебудни
—
💩 @bashdays

Привет, далеко ходить не будем, сегодня более интересный кейс с отладкой php-fpm который непонятным образом, рандомно вставал раком. Да, будем использовать наш любимый strace, как ты любишь.

Проблема: На сервере крутится php-fpm, в любой момент времени процесс начинает зависать, то есть перестаёт обрабатывать любые запросы.

В какой-то момент может очухаться, а может и нет. В любом случае проблема решается перезапуском systemctl restart php-fpm. Ну и в логах ничего криминального нет, даже в дебаг режиме. По факту имеем пятьсот две плохих шлюхи (502 Bad Gateway).

Ребята придумали костыль, какой-то башник, который в кроне проверяет зависание и затем автоматически ребутит. Да, как временное решение подходит. Но сам знаешь, что временное всегда становится постоянным.

До этого были перепробованы все возможные варианты с конфигом, накручивание буферов, гугление, даже грешили на nginx, но ничего не помогало.

Так и жили пока дядя Рома не соизволил разобраться в ситуации, ну и разобрался.

Расчехляем strace

Для начала ты должен знать, что php использует модель master/slave. Главный процесс использует воркеры (workers) для обработки входящих запросов. Запрос может выполниться на любом из воркеров, поэтому нужно сказать strace чтобы мониторил все воркеры. Для этого будем использовать связку с командой pidof ну и приправим это sed’ом.

strace -f $(pidof php-fpm | sed 's/\([0-9]*\)/\-p \1/g') -epoll

Sed обрезает лишнюю херню и оставляет только pid в голом виде, ну и затем эти пиды закидываем в strace.

А после запуска команды и зависания php, я увидел такое:

[pid 1234] poll([{fd=10 ...]) = 0 (Timeout)
[pid 1234] poll([{fd=10 ...]) = 0 (Timeout)
[pid 1234] poll([{fd=10 ...]) = 0 (Timeout)
[pid 1234] poll([{fd=10 ...]) = 0 (Timeout)

Ага, уже есть с чем работать. Какой-то таймаут. И файловый дескриптор fd=10. Хм. Теперь надо понять, что это за таймаут и дескриптор fd=10. Для этого сделаем так:

lsof -p 1234

Эта команда выдаст список всех файлов, которые открыты процессом, включая сокеты.

php 0u IPv4 13193 0t0 TCP :8000 (LISTEN)
php 1u CHR 1,4 0t0 4728 /dev/null
php 2u CHR 1,4 0t0  4728 /dev/null
php 3ur REG /tmp/.RedPem.Hte (deleted)
php 4u IPv4 TCP :8000->:5042 (ESTABLISHED)
php 5uW REG sessions/sess_tmh0dls75
php 6u 0000 0,9 0 4842 anon_inode
php 7u unix 0t0 25714 socket
php 8u unix 0t0 25714 socket
php 9u TCP l->l:11210 (ESTABLISHED)
php 10u TCP host->10.0.0.100:9200 (SYN_SENT)

Смотрим самую последнюю строку как раз с fd=10. Видим что у нас проблема с подключением к 10.0.0.100:9200. Очень интересно. Что это вообще за айпишник такой.

Не останавливаемся и копаем дальше.

В большинстве случае порт 9200 принадлежит ElasticSearch. Роем в эту сторону и обнаруживаем, что в php проекте используется библиотека ElasticSearch PHP.

Как оказалось, при разработке проекта, прекрасные девы подключили ElasticSearch, чтобы чото там отлавливать. А на айпишнике 10.0.0.100 как раз располагалась серверная часть ElasticSearch. Разработку прекратили, сервер с эластиком убили, но из конфигов проекта забыли выкосить.

Вот оно и продолжало ломиться туда, где ничего нет. В этом и заключался баг. PHP постоянно опрашивал ElasticSearch сервер для получения ответа, но в ответ получал хуй с маслом. Рабочий процесс зависал в цикле и не мог ответить ни на один другой запрос.

Такие дела. Я прям уверен — если пройтись с помощью strace по всяким популярным php движкам, там столько дерьма вылезет. Кстати с помощью strace можно вполне удачно разгонять проекты, банально фиксишь то, что вызывает таймауты.

Порой наталкивался на ситуацию когда проект тормозил из-за корявого резолва доменов, или были проблемы с таймзоной, аналогично всё это дебажилось через strace.

В общем изучай и бери на вооружение, опыт полезный. Увидимся!

tags: #linux #debug #рабочиебудни
—
💩 @bashdays

Всем привет. Пока тут боролся с багом, решил поделиться и с вами. Сегодня рассмотрим как без curl/wget/telnet делать tcp/udp запросы. Опять же мало кто про это знает.

Порой бывает что на серверах нет курла, вегета (как приправа с упоротым поваром) и даже пинга. Например в docker контейнерах. И установить никак. Но в bash скрипте или во время дебага надо протестировать приложение, службу или порт.

В общем если столкнулся с отсутствием привычных тебе утилит, выход есть. Сейчас покажу крутые фичи.

Я обычно при дебаге использую telnet, чтобы проверить открыт ли нужный порт на удаленной тачке. Чтобы понимать, что никакой фаервол меня не блокирует. Почему telnet? Привычка!

Проверяем открыт ли порт 80 и 443:

:> /dev/tcp/bashdayz.ru/80
:> /dev/tcp/bashdayz.ru/443

Если порт открыт, то после выполнения команды на экран ничего не выведется. Но ты в праве получить статус через echo $?. Если вернулся 0 значит порт открыт и все ок. Если вернулось > 0, то пизда рулю, порт закрыт.

Есть нюанс, команда может висеть очень долго, поэтому приправляем ее таймаутом:

timeout 5s bash -c ':> /dev/tcp/bashdayz.ru/80'
timeout 5s bash -c ':> /dev/tcp/bashdayz.ru/443'

Теперь в случае если порт не доступен, мне не нужно ждать 100500 часов пока команда завершится. Все станет известно спустя 5 секунд. Повторюсь, что на экран никакого вывода не будет. Статус получаем через echo $?, ну ты понял.

А что означает этот непонятный символ «:>»?

Нет, это не смайлик с дятлом. Это сокращенная версия true:

true > /dev/tcp/bashdayz.ru/80

true - команда, которая всегда возвращает успешный (нулевой) код возврата. Это означает, что команда завершилась успешно, без ошибок.

Чтобы весь этот фокус работал, требуется bash с поддержкой net-redirections (--enable-net-redirections), но как показывает практика такая функция в 99% включена по умолчанию, если конечно ты не адепт gentoo и из исходников bash собирал.

Аналогично можно слать udp запросы:

:> /dev/udp/localhost/8888

То есть синтаксис простой: /dev/протокол/хост/порт

Давай еще пример покажу как с NIST Time Server получить актуальную дату и время с разных NTP:

cat </dev/tcp/time.nist.gov/13
cat </dev/tcp/time.cloudflare.com/13
cat </dev/tcp/time.windows.com/13
cat </dev/tcp/pool.ntp.org/13
cat </dev/tcp/time.google.com/13
cat </dev/tcp/time.apple.com/13
cat </dev/tcp/time.nrc.ca/13
cat </dev/tcp/time.windows.com/13

Некоторые могут не работать, санкции или хрен пойми че с ними, но первый у меня везде работает.

Ну и как дополнительный вариант для проверки открытых портов, можно использовать nc.

nc -zv bashdayz.ru 80

Тут оно на экран тебе результат сразу вывалит без всяких костылей.

nc или netcat - утилита, которая предоставляет возможность взаимодействия с сетью. Она может выполнять различные функции, такие как установка TCP или UDP соединений, передача данных между хостами, сканирование портов, создание простых серверов и т.п.

Ключ -z тестирует порт без передачи данных, а ключ -v логично что verbose (подробная инфа).

Да, ты скажешь можно же через nmap это все сделать, да, справедливо. Но я показываю как не пользоваться сторонними утилитами и получить желаемое с помощью bash. Пардон за nc, но не мог его не упомянуть.

Пользуйся, обязательно пригодится в работе и дебаге. Увидимся!

tags: #linux #debug #bash #networks
—
💩 @bashdays

Привет. Вчера в моём ДЗЕНе задали вопрос - Роман, а как скачать файл не имея под рукой curl/wget, а прям средствами bash? Видимо придется тему продолжить. Сегодня рассмотрим как такое осуществить.

Есть у меня файл который лежит тут. Нам нужно его как-то хитро скачать. Будем использовать сокеты.

Накидываем скрипт

#!/bin/bash

host="files.bashdayz.ru"
port="80"
path="/files/test.zip"

request="GET $path HTTP/1.1
Host: $host
Connection: close"

exec 3<>/dev/tcp/$host/$port
echo -e "$request" >&3
cat <&3 > test.zip
exec 3>&-

echo "Success"

Тут все просто:

1. Задаем переменные, хост, порт, путь до файла
2. Проставляем необходимые заголовки для запроса
3. Ну и собственно скачиваем файл на диск

Теперь разберем третий пункт подробнее. С виду какой-то ужас, но не ссы, ща расскажу.

В первой строчке открывается файловый дескриптор с индексом 3 для чтения и записи данных через TCP-соединение + хост + порт.

Во второй строчке отправляем HTTP запрос на сервер через открытое соединение с дескриптором 3. Включаем в него GET запрос и необходимые заголовки.

В третьей строчке читаем данные из файлового дескриптора 3 в cat, который связан с соединением сервера и записываем их в файл.

Последняя строка закрывает файловый дескриптор 3 (сокет) после завершения операции чтения данных. Можно не закрывать и оставить портал в ад открытым.

Ну и все. Файл скачали, получили Success!

Почему я выбрал файловый дескриптор с индексом 3? Ну вообще 0 = stdin, 1 = stdout, 2 = stderr. Короче 0, 1, 2 зарезервированы, а я просто взял следующий.

Но вообще в манах bash рекомендуют быть осторожным в использовании дескрипторов больше 9ти. Так как возможен конфликт с дескрипторами, которые используются внутри оболочки.

К сожалению для https такое провернуть не получится, возникнут проблемы. Прямой обмен данными через сокеты не предусматривают обработку SSL/TLS.

Такие дела, вряд ли ты это будешь где-то применять. Но обладая такими знаниями, ты постигаешь то, чего никогда не постигнут другие.

В общем не болей, увидимся!

tags: #linux #bash #networks
—
💩 @bashdays

Я тут выше заикнулся про Дзен. Ну дак вот, если у тебя есть учетка в Яндексе или ВК, буду безумно рад если поддержишь мои начинания и нажмешь кнопку - подписаться. Не обязательно его потом там читать, всё самое сочное всегда будет тут. А я тебе котиков, лайк и интересного чтива!

Да, там есть цензура. Приходится контент немного адаптировать. Неприличного авторского слога и игр с летающими Bash письками, там уже не найдешь. 👨‍🦲 Все по взрослому.

Ну и в конце февраля-марте запланировал пилотный запуск моих бесплатных видео-уроков на тему Advanced Bash Scripting + Debug Factory. С задачками, домашними заданиями и экзаменами. Пока пробую снимать, нихрена не получается, но сделаю всё возможное. Запуск будет именно в Дзене, а дальше уже посмотрим, как пойдет.

В общем заранее всем спасибо, всем краба, всем обнимашек!