shopt -s extglob; : "${PS1@P}"; : "${_//$'\x01'+([^$'\x02'])$'\x02'}"; : "${#_}"; printf '%b' "\e#8\e[$(((LINES-1)/2));$(((COLUMNS-_)/2))H"
tags: #bash
@ВАSНDАYS | BАSHDАYS.CОM
Please open Telegram to view this post
VIEW IN TELEGRAM
Всем привет. Записал сегодня пилотный выпуск на ютубину, изредка буду заходить с подобным контентом. Над звуком еще поработаем, есть нюансы. Завтра отдельным постом продолжу эту тему, так сказать вывернем наизнанку.
Поддержи подпиской и лайком! Спасибо!👇
https://youtu.be/gTwpoAaB_dY
Поддержи подпиской и лайком! Спасибо!👇
https://youtu.be/gTwpoAaB_dY
YouTube
Как получить root на любом Linux сервере
Сегодня расскажу как пентестеры и черношляпы повышают привелегии на Linux машинах и получают root доступ. Без уязвимостей и эксплоитов.
Media is too big
VIEW IN TELEGRAM
Привет отдыхающим. Продолжим тему с повышением прав. Искать suid биты через find конечно мастхев, но есть пиздатый инструмент под названием LinPEAS.
Изобрел его некий пентестер - Карлсон (Carlson P), который держит проект HackTricks, возможно ты про него когда-нибудь слышал.
Короче штука написана на sh. Чувствуешь уровень? То есть будет работать хоть на чайнике.
При запуске LinPEAS сканирует Linux машину, на всякие дырки и криворукость админов.
Один из тестов, как раз показывает файлы с suid битами, которые можно использовать для повышения привилегий.
Скрипт заточен как раз под поиск всякой хуйни, которая может помочь злоумышленникам надругаться над твоим серваком.
Работает самодостаточно, не нужен root, ничего не пишет на диск, не требует каких-то библиотек, запустил и получил на экране отчет. Заплакал, сделал выводы, закрыл дырки/оставил как есть.
Запускается одной командой и не требует установки:
Но можно и через змеюку:
Поддерживает различные ключи запуска и всякие навороты, тут уже читай мануал. Мне обычно хватает запуска по дефолту.
Да, утилита раньше входила в состав Kali Linux, сейчас хз, не проверял, но скорее всего там и осталась.
Короче достойная пепяка! Рекомендую потыкать, по крайней мере на своих сервачках с пет проектами. Найдешь много интересного.
🌐 Страница проекта на github
tags: #linux #security #utils
@ВАSНDАYS | BАSHDАYS.CОM
LinPEAS - Linux Privilege Escalation Awesome Script
Изобрел его некий пентестер - Карлсон (Carlson P), который держит проект HackTricks, возможно ты про него когда-нибудь слышал.
Короче штука написана на sh. Чувствуешь уровень? То есть будет работать хоть на чайнике.
При запуске LinPEAS сканирует Linux машину, на всякие дырки и криворукость админов.
Один из тестов, как раз показывает файлы с suid битами, которые можно использовать для повышения привилегий.
Скрипт заточен как раз под поиск всякой хуйни, которая может помочь злоумышленникам надругаться над твоим серваком.
Работает самодостаточно, не нужен root, ничего не пишет на диск, не требует каких-то библиотек, запустил и получил на экране отчет. Заплакал, сделал выводы, закрыл дырки/оставил как есть.
Запускается одной командой и не требует установки:
curl -L https://github.com/peass-ng/PEASS-ng/releases/latest/download/linpeas.sh | sh
Но можно и через змеюку:
python -c "import urllib.request; urllib.request.urlretrieve('https://github.com/peass-ng/PEASS-ng/releases/latest/download/linpeas.sh', 'linpeas.sh')"
python3 -c "import urllib.request; urllib.request.urlretrieve('https://github.com/peass-ng/PEASS-ng/releases/latest/download/linpeas.sh', 'linpeas.sh')"
Поддерживает различные ключи запуска и всякие навороты, тут уже читай мануал. Мне обычно хватает запуска по дефолту.
Да, утилита раньше входила в состав Kali Linux, сейчас хз, не проверял, но скорее всего там и осталась.
Короче достойная пепяка! Рекомендую потыкать, по крайней мере на своих сервачках с пет проектами. Найдешь много интересного.
tags: #linux #security #utils
@ВАSНDАYS | BАSHDАYS.CОM
Please open Telegram to view this post
VIEW IN TELEGRAM
✨ Ты — caмый счaстливый чeловек нa плaнeте!
Почему? Потому, что сейчас узнаешь про ONLY.
Частенько возникала необходимость разрешить пользователю запускать только определенные команды по ssh. То есть явно указать ему белый список таких команд.
Городили мы конечно знатные велосипеды с помощью костылей, rbash, симлинков, chroot и т.п.
Все эти костыли были неудобные и какие-то пиздец сложно поддерживаемые. Но решение было найдено и вполне элегантное. Всё ужеукрадено придумано за нас.
Для затравки:
Думаю идею ты понял. Пользователь подключается по ssh и может выполнить только 3 команды rsync, ls, cat.
И тут большой плюс - пользователь не получает интерактивную оболочку, то есть всё сводится к выполнению подобной конструкции:
Команда ls находится в белом списке и успешно отработает при подключении по ssh, а дальше сессия завершится.
Нехер ему на сервере делать. Есть список команд, вот пусть ими и довольствуется без интерактива.
✔️ Теперь подробности
ONLY это НЕ какая-то встроенная команда в Linux, это Bash скрипт, который аккуратно лежит в
1. Берем only из репы
2. Кидаем его в
3. Ставим chmod +x чтобы запускался
4. Делаем пару ключей для работы
P = пустая парольная фраза
f = задаем имя ключа
Содержимое ключа only pub добавляем в authorized_keys нужному пользователю, а private key отдаем, тому кто будет подключаться к серверу.
Да, файл authorized_keys у меня выглядит примерно так:
То есть запрещаем всякую лишнюю хуйню. Ну и добавляем в белый список команды, которые будем позволять запускать этому пользователю.
Важная штука, потребуется файл с правилами, называется .onlyrules. Забирай тут.
Этот файл нужно также скопировать в папку, того пользователя, которого ограничиваем, например в
Правила нужны, чтобы еще сильнее ограничить пользователя на ввод команд, этакие лимиты на регулярках и sed.
Короче это фильтры на аргументы, ключи и т.п. Можно не заморачиваться и просто обернуть нужные команды между
Все файлы из этого поста можешь взять в нашей репе. А историю создания этой пепяки и мельчайшие подробности, можешь почитать тут кстати очень занятно чтиво, правда на английском, да и похер.
Лично мне эта штука понравилась, раздал тестировщикам ключики, теперь они сами могут своих вонючих демонов перезапускать, без блуждания по серверу и фраз — да блядь, я что-то нажал и всё сломалось!
Такие дела. Увидимся!
tags: #bash #linux #utils
@ВАSНDАYS | BАSHDАYS.CОM
Почему? Потому, что сейчас узнаешь про ONLY.
Частенько возникала необходимость разрешить пользователю запускать только определенные команды по ssh. То есть явно указать ему белый список таких команд.
Городили мы конечно знатные велосипеды с помощью костылей, rbash, симлинков, chroot и т.п.
Кстати про chroot писал в этом посте, почитай на досуге, мож где применишь.
Все эти костыли были неудобные и какие-то пиздец сложно поддерживаемые. Но решение было найдено и вполне элегантное. Всё уже
Для затравки:
/home/user/.ssh/authorized_keys
command="only rsync ls cat" ssh-rsa AAAAB3Nza
Думаю идею ты понял. Пользователь подключается по ssh и может выполнить только 3 команды rsync, ls, cat.
И тут большой плюс - пользователь не получает интерактивную оболочку, то есть всё сводится к выполнению подобной конструкции:
ssh user@bashdays.ru ls /home/user/
Команда ls находится в белом списке и успешно отработает при подключении по ssh, а дальше сессия завершится.
Нехер ему на сервере делать. Есть список команд, вот пусть ими и довольствуется без интерактива.
ONLY это НЕ какая-то встроенная команда в Linux, это Bash скрипт, который аккуратно лежит в
/usr/local/sbin
, положить его туда ты должен самостоятельно.1. Берем only из репы
2. Кидаем его в
/usr/local/sbin/only
3. Ставим chmod +x чтобы запускался
4. Делаем пару ключей для работы
ssh-keygen -P "" -f only
P = пустая парольная фраза
f = задаем имя ключа
Содержимое ключа only pub добавляем в authorized_keys нужному пользователю, а private key отдаем, тому кто будет подключаться к серверу.
Да, файл authorized_keys у меня выглядит примерно так:
command="only rsync cat ls", no-agent-forwarding, no-port-forwarding, no-pty, no-user-rc, no-X11-forwarding ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAA
То есть запрещаем всякую лишнюю хуйню. Ну и добавляем в белый список команды, которые будем позволять запускать этому пользователю.
Важная штука, потребуется файл с правилами, называется .onlyrules. Забирай тут.
Этот файл нужно также скопировать в папку, того пользователя, которого ограничиваем, например в
/home/user/.onlyrules
Правила нужны, чтобы еще сильнее ограничить пользователя на ввод команд, этакие лимиты на регулярках и sed.
\:^ls$:{p;q}
\:^who$:{p;q}
Короче это фильтры на аргументы, ключи и т.п. Можно не заморачиваться и просто обернуть нужные команды между
\:^ и $:{p;q}
.Бонусом, в папке пользователя можешь разместить файл .onlyrc и затюнить всякие информационные сообщения. Но автор не рекомендует этого делать и использовать only без этого файла.
Все файлы из этого поста можешь взять в нашей репе. А историю создания этой пепяки и мельчайшие подробности, можешь почитать тут кстати очень занятно чтиво, правда на английском, да и похер.
Лично мне эта штука понравилась, раздал тестировщикам ключики, теперь они сами могут своих вонючих демонов перезапускать, без блуждания по серверу и фраз — да блядь, я что-то нажал и всё сломалось!
Такие дела. Увидимся!
tags: #bash #linux #utils
@ВАSНDАYS | BАSHDАYS.CОM
Please open Telegram to view this post
VIEW IN TELEGRAM
Тут у безопасников жопы сгорели после предыдущего поста.
Нужно ли на приватный ssh ключ устанавливать пароль?
Давай сравним с ключом от квартиры. Поставил ты к примеру пиздатый замок на свою входную дверь и у тебя есть связка ключей.
А дальше? А дальше ты берешь эту связку ключей и помещаешь в сейф, ставишь код и радуешься. Радуешься до того момента, когда тебе нужно выйти из дома.
Приходится брать сейф с собой и везде с ним таскаться. Потому что это безопасно! Код от сейфа же никто не знает, поэтому не получит доступ к ключу, который открывает твою пиздатую дверь.
Удобно? Охуенно удобно! Главное практично.
Я всегда считал и считаю, что ssh ключи нужны, чтобы заходить на сервера без пароля. Нахуя ты тогда отключаешь возможность логина по паролю и оставляешь ключ к которому нужно вводить пароль?
Добавь тогда уж туда еще один фактор авторизации через QR код и Яндекс.Ключ. Лишним не будет😲
✔️ Пароль на ключ тебе нужен — если ты рукожопая обезьяна, сосёшься в засос с ослами, качаешь сомнительный софт с обменников и запускаешь непонятные экзешники.
Тогда да, есть шанс, что у тебя всё попиздят и отымеют в випиэську. Ну а если соблюдаешь гигиену, чо бояться то?
Потому что у человека в приоритете две основных потребности - личная безопасность и секс. Привет пирамиде Маслоу.
А вот пароль на gpg ключик это да, мастхэв. Все остальное это избыточная безопасность. Не доводите до абсурда.
Если считаешь по-другому, велком в комментарии и хорошего дня!
tags: #рабочиебудни
@ВАSНDАYS | BАSHDАYS.CОM
Нужно ли на приватный ssh ключ устанавливать пароль?
Давай сравним с ключом от квартиры. Поставил ты к примеру пиздатый замок на свою входную дверь и у тебя есть связка ключей.
А дальше? А дальше ты берешь эту связку ключей и помещаешь в сейф, ставишь код и радуешься. Радуешься до того момента, когда тебе нужно выйти из дома.
Приходится брать сейф с собой и везде с ним таскаться. Потому что это безопасно! Код от сейфа же никто не знает, поэтому не получит доступ к ключу, который открывает твою пиздатую дверь.
Удобно? Охуенно удобно! Главное практично.
Я всегда считал и считаю, что ssh ключи нужны, чтобы заходить на сервера без пароля. Нахуя ты тогда отключаешь возможность логина по паролю и оставляешь ключ к которому нужно вводить пароль?
Добавь тогда уж туда еще один фактор авторизации через QR код и Яндекс.Ключ. Лишним не будет
Тогда да, есть шанс, что у тебя всё попиздят и отымеют в випиэську. Ну а если соблюдаешь гигиену, чо бояться то?
И еще раз повторюсь — если ты заинтересуешь серьезных людей, да еще и им денег за твою голову задонатят, то никакой пароль на приватный ключик, никакой сейф тебе не поможет, ты сам всё отдашь.
Потому что у человека в приоритете две основных потребности - личная безопасность и секс. Привет пирамиде Маслоу.
А вот пароль на gpg ключик это да, мастхэв. Все остальное это избыточная безопасность. Не доводите до абсурда.
Если считаешь по-другому, велком в комментарии и хорошего дня!
tags: #рабочиебудни
@ВАSНDАYS | BАSHDАYS.CОM
Please open Telegram to view this post
VIEW IN TELEGRAM
Привет, сегодня коротко, очередная внеплановая пятница. Короче в продолжение к постам про повышение привилегий.
Если звезды сошлись (suid/guid и прочая хуйня), то через vim ты можешь получить интерактивный root shell.
Делается так:
Или так:
На выходе тебе выплюнет доллар ($) ну и там уже бесоёбишь.
Это применимо не только к пентесту, но и к ситуации когда админ порезал оболочку, ограничив тебя белым списком.
И если в этом списке есть vi/vim, то ты ничем не ограничен. Запускаешь полноценный shell через vim и развлекаешься. А порой можно дотянутся и до папки /root и всего остального. Было бы желание🥳
Вектор этот очень распространён, добавил в бэклог. Сниму как-нибудь видос на ютубину, покажу так сказать всю подноготную выхода из клетки средствами vim.
Давай, хороших выходных! Я пожалуй тоже устрою себе внеплановый отпуск на пару дней. Увидимся!
Там еще ребята с какого-то облака пришли. Устроим с ними конкурс в ближайшее время с вкусными призами, обещают подвезти вам облачных плюшек на халяву, а я в свою очередь денежный бонус задоначу, приобретете себе чтонибудь пиздатое, например как Дима тут ))
tags: #linux #security #utils
@ВАSНDАYS | BАSHDАYS.CОM
Если звезды сошлись (suid/guid и прочая хуйня), то через vim ты можешь получить интерактивный root shell.
Делается так:
vim -c ':!/bin/sh'
Или так:
vim --cmd ':set shell=/bin/sh|:shell'
На выходе тебе выплюнет доллар ($) ну и там уже бесоёбишь.
Это применимо не только к пентесту, но и к ситуации когда админ порезал оболочку, ограничив тебя белым списком.
И если в этом списке есть vi/vim, то ты ничем не ограничен. Запускаешь полноценный shell через vim и развлекаешься. А порой можно дотянутся и до папки /root и всего остального. Было бы желание
Вектор этот очень распространён, добавил в бэклог. Сниму как-нибудь видос на ютубину, покажу так сказать всю подноготную выхода из клетки средствами vim.
Давай, хороших выходных! Я пожалуй тоже устрою себе внеплановый отпуск на пару дней. Увидимся!
Там еще ребята с какого-то облака пришли. Устроим с ними конкурс в ближайшее время с вкусными призами, обещают подвезти вам облачных плюшек на халяву, а я в свою очередь денежный бонус задоначу, приобретете себе чтонибудь пиздатое, например как Дима тут ))
tags: #linux #security #utils
@ВАSНDАYS | BАSHDАYS.CОM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Майские праздники равносильны новогодним, уже на третий день начинаешь деградировать и превращаться в обезьяну. После таких затяжных выходных, нужно еще пару недель, чтобы вернуться к нормальной жизни.
Привет. Сегодня расскажу про штуку, которой одно время пользовался на локальной машине и снова к ней вернулся.
✔️ Называется Atuin — Magical shell history.
Если коротко, эта тулза заменяет стандартный поиск в командной строке по ctrl+r на красивенький и достаточно удобный.
Но помимо красивых пейзажей, вся история команд синхронизируется с облачным сервером. Используется база данных sqlite.
По сути у тебя одна общая история на нескольких машинах. Очень удобно если бегаешь между ноутом и стационарным компом.
Ты скажешь — фи, это же не безопасно! Согласен, поэтому есть варик поднять свой сервачок и синхронизировать через него.
Все в лучших традициях selfhosted. Мануал по установке сервера. Через docker-compose за пару минут все расчехляется.
Дополнительно:
- написана на rust + sqlite
- удобный поиск и фильтр
- история команд шифруется
- совместимо с Bash, ZSH, Fish, NuShell
Установка одной командой:
Короче рекомендую потыкать.
Сайт проекта: https://atuin.sh/
Страница на github: https://github.com/atuinsh/atuin
tags: #linux #utils
@ВАSНDАYS | BАSHDАYS.CОM
Привет. Сегодня расскажу про штуку, которой одно время пользовался на локальной машине и снова к ней вернулся.
Если коротко, эта тулза заменяет стандартный поиск в командной строке по ctrl+r на красивенький и достаточно удобный.
Но помимо красивых пейзажей, вся история команд синхронизируется с облачным сервером. Используется база данных sqlite.
По сути у тебя одна общая история на нескольких машинах. Очень удобно если бегаешь между ноутом и стационарным компом.
Ты скажешь — фи, это же не безопасно! Согласен, поэтому есть варик поднять свой сервачок и синхронизировать через него.
Все в лучших традициях selfhosted. Мануал по установке сервера. Через docker-compose за пару минут все расчехляется.
Кстати если нажать стрелочку вверх, сработает триггер и откроется морда atuin с историей, пиздатенько!
Дополнительно:
- написана на rust + sqlite
- удобный поиск и фильтр
- история команд шифруется
- совместимо с Bash, ZSH, Fish, NuShell
Установка одной командой:
/bin/bash -c "$(curl --proto '=https' --tlsv1.2 -sSf https://setup.atuin.sh)"
Короче рекомендую потыкать.
Сайт проекта: https://atuin.sh/
Страница на github: https://github.com/atuinsh/atuin
tags: #linux #utils
@ВАSНDАYS | BАSHDАYS.CОM
Please open Telegram to view this post
VIEW IN TELEGRAM
Сегодня за девопс, gitlab и как сделать комфортный pipeline с выпадающими списками Variables + Бонусы.
Из коробки, когда ты жмешь кнопку Run Pipeline, тебе нужно руками вбивать нужные Variables, например, чтобы указать окружение, в которое будет раскатан релиз.
Каждый раз вбивать руками
Хочется чтобы был выпадающий список со всеми параметрами. Накликал мышкой и в продакшен.
Выпадающие списки можно делать не только с окружениями, но и добавить банальные вопросы YES/NO и прочее. А затем в секции rules уже все это разруливать и обрабатывать.
✔️ Ниже базовая болванка
Создаем файл
В первой секции variables, описываем выпадающий список. Из него будем выбирать мышкой, куда деплоить.
N/A (выбран по умолчанию) добавлено для дураков, которые ничего не выбирают и сразу тыкают Run Pipeline. В таком случае пайплайн зафейлится и ничего не пострадает.
Дальше идут две секции, которые описывают окружения stage и production, там указываем айпишинки и вообще всё, что захотим для каждого окружения. Можно флагов навтыкать и прочего говна.
Ну и основная секция deploy, у меня указан раннер с тэгом common-runner, а потом полезная нагрузка которая будет выполнена.
В секции rules зашита логика. В зависимости от того, какое окружение было выбрано из выпадающего списка, применяются настройки либо от stage, либо от production. Короче инклудится нужное.
Собственно всё. Если нужно добавить еще каких-то выпадающих списков, добавляем в первую секцию всё необходимое, аналогично ENVIRONMENT. Ну и потом в rules все это обрабатываем. Например, так:
В общем всё элементарно. По итогу получаем незамысловатый пайплайн, всё в одном месте и ничего не раскидано по самому gitlab.
Бонусы. Да, если нужен общий пайплайн для нескольких проектов, делаем так:
Создаем репу dev/pipelines, кидаем туда файл .gitlab-ci.yml, настраиваем в нем всё под свои реалии.
Дальше в нужных проектах добавляем файл .gitlab-ci.yml с таким содержимым:
Всё, теперь не надо плодить кучу .gitlab-ci.yml с одинаковым содержимым, все инклудится из одного места. Ну и если нужно что-то поменять, меняем один раз и все проекты автоматически это подхватывают.
Максимально попытался упростить и сделать наглядно, а дальше уже включай фантазию и твори.
Хорошего тебе дня, увидимся!
tags: #devops
@ВАSНDАYS | BАSHDАYS.CОM
Из коробки, когда ты жмешь кнопку Run Pipeline, тебе нужно руками вбивать нужные Variables, например, чтобы указать окружение, в которое будет раскатан релиз.
Каждый раз вбивать руками
Variable ENVIRONMENT=stage / production
ну пиздец тяжко и неудобно. А если таких переменных овердохуя, то всё желание пропадает что-то делать.Хочется чтобы был выпадающий список со всеми параметрами. Накликал мышкой и в продакшен.
Выпадающие списки можно делать не только с окружениями, но и добавить банальные вопросы YES/NO и прочее. А затем в секции rules уже все это разруливать и обрабатывать.
Создаем файл
.gitlab-ci.yml
в корне проекта и добавляем в него:variables:
ENVIRONMENT:
value: "N/A"
options:
- "N/A"
- "STAGE"
- "PRODUCTION"
description: "Deployment environment"
.stage_server:
&stage_server
WEB_NODE: "xx.xx.xx.xx"
DB_NODE: "xx.xx.xx.xx"
.production_server:
&production_server
WEB_NODE: "xx.xx.xx.xx"
DB_NODE: "xx.xx.xx.xx"
deploy:
tags:
- common-runner
script:
- echo $ENVIRONMENT
- echo "build & deploy here"
rules:
- if: '$ENVIRONMENT == "STAGE"'
variables:
<<: *stage_server
- if: '$ENVIRONMENT == "PRODUCTION"'
variables:
<<: *production_server
В первой секции variables, описываем выпадающий список. Из него будем выбирать мышкой, куда деплоить.
N/A (выбран по умолчанию) добавлено для дураков, которые ничего не выбирают и сразу тыкают Run Pipeline. В таком случае пайплайн зафейлится и ничего не пострадает.
Дальше идут две секции, которые описывают окружения stage и production, там указываем айпишинки и вообще всё, что захотим для каждого окружения. Можно флагов навтыкать и прочего говна.
Ну и основная секция deploy, у меня указан раннер с тэгом common-runner, а потом полезная нагрузка которая будет выполнена.
В секции rules зашита логика. В зависимости от того, какое окружение было выбрано из выпадающего списка, применяются настройки либо от stage, либо от production. Короче инклудится нужное.
Собственно всё. Если нужно добавить еще каких-то выпадающих списков, добавляем в первую секцию всё необходимое, аналогично ENVIRONMENT. Ну и потом в rules все это обрабатываем. Например, так:
- if: '$JOB == "YES" && $ENVIRONMENT == "STAGE"'
В общем всё элементарно. По итогу получаем незамысловатый пайплайн, всё в одном месте и ничего не раскидано по самому gitlab.
Бонусы. Да, если нужен общий пайплайн для нескольких проектов, делаем так:
Создаем репу dev/pipelines, кидаем туда файл .gitlab-ci.yml, настраиваем в нем всё под свои реалии.
Дальше в нужных проектах добавляем файл .gitlab-ci.yml с таким содержимым:
include:
- project: "dev/pipelines"
file: ".gitlab-ci.yml"
Всё, теперь не надо плодить кучу .gitlab-ci.yml с одинаковым содержимым, все инклудится из одного места. Ну и если нужно что-то поменять, меняем один раз и все проекты автоматически это подхватывают.
Максимально попытался упростить и сделать наглядно, а дальше уже включай фантазию и твори.
Хорошего тебе дня, увидимся!
tags: #devops
@ВАSНDАYS | BАSHDАYS.CОM
Please open Telegram to view this post
VIEW IN TELEGRAM
Чипи-чипи, чапа-чапа. Привет, на скрине 🚫 некий Linux бедолага очень обрадовался, когда нашел пасхалку в команде date. Этакий нигде недокументированный аргумент.
Ну да, если запросить help либо глянуть в гуглах, такая конструкция нигде не упоминается.
Молодец чо. НО, если бы он знал про функцию getopt_long, то вряд ли сделал открытие. Ща расскажу в чем прикол.
Короче, куча программ и утилит используют функцию getopt_long для перебора командной строки. И эта функция распознает сокращения в длинных аргументах и опциях.
Собственно вот оригинальная команда:
Но если пропустить её через getopt_long, получим ту самую «пасхалку»:
✔️ Еще примеры для понимания:
Понял в чем прикол? Но это еще не всё!
Утилиты из состава пакета coreutils, поддерживают сокращения аргументов и опций. Смотри:
Аналогично с длинными опциями:
Ну и на примере ls и sort:
Вся эта байда с сокращением, реализуется с помощью функций из библиотеки Gnulib, которые в свою очередь опираются на функции glibc.
Что имеем? Не нужно искать пасхалки, там где их нет.
Такие дела!
tags: #linux
—
🔔 @bashdays
date --iso=seconds
Ну да, если запросить help либо глянуть в гуглах, такая конструкция нигде не упоминается.
Молодец чо. НО, если бы он знал про функцию getopt_long, то вряд ли сделал открытие. Ща расскажу в чем прикол.
Короче, куча программ и утилит используют функцию getopt_long для перебора командной строки. И эта функция распознает сокращения в длинных аргументах и опциях.
Функция getopt_long входит в состав пакета GNU C (glibc)
Собственно вот оригинальная команда:
date --iso-8601=seconds
Но если пропустить её через getopt_long, получим ту самую «пасхалку»:
date --iso=seconds
1. nano --smart --book
2. ls --hyper --show
3. du --one --human --sum
1. --smarthome --bookstyle
2. --hyperlink --show-control-chars
3. --one-file-system --human-readable --summarize
Понял в чем прикол? Но это еще не всё!
Утилиты из состава пакета coreutils, поддерживают сокращения аргументов и опций. Смотри:
for i in d h m s n; do date -I"$i"; done
2024-05-14
2024-05-14T09+00:00
2024-05-14T09:59+00:00
2024-05-14T09:59:37+00:00
2024-05-14T09:59:37,850707267+00:00
-Id == -Idate
-Ih == -Ihours
-Im == -Iminutes
-Is == -Iseconds
-In == -Ins
Аналогично с длинными опциями:
for i in d h m s n; do date --iso="$i"; done
2024-05-14
2024-05-14T10+00:00
2024-05-14T10:01+00:00
2024-05-14T10:01:57+00:00
2024-05-14T10:01:57,460027853+00:00
--iso=d == --iso-8601=date
--iso=h == --iso-8601=hours
--iso=m == --iso-8601=minutes
--iso=s == --iso-8601=seconds
--iso=n == --iso-8601=ns
Ну и на примере ls и sort:
ls --col=al | cat
--col=al == --color=always
printf '%s\n' {20..1} | sort --so=n
--so=n == --sort=numeric
Вся эта байда с сокращением, реализуется с помощью функций из библиотеки Gnulib, которые в свою очередь опираются на функции glibc.
Что имеем? Не нужно искать пасхалки, там где их нет.
Такие дела!
tags: #linux
—
Please open Telegram to view this post
VIEW IN TELEGRAM
Упоримся? А давай!
Открывай терминал с башем и запускай команду:
По идее тут что-то вроде бесконечного цикла, который будет cat’ить на экран файл hosts, предварительно грепнув содержимое по символу «a».
Запустил? И всё зависло! По крайней мере у меня вывелась только одна строчка вида:
Но почему оно зависло? А потому, что утилита cat при попытке записать данные в сломанный канал, завершается сигналом.
✔️ Давай убедимся:
Получаем цифру 13. Откуда она взялась? Смотри! Если команда завершается сигналом, тогда статус ошибки ($?) == 128 + Номер сигнала.
А дальше вычитаем, делим, умножаем, корень квадратный вычисляем, заводим в дискриминант по синусу. Пеню. Короче получили цифру 13.
Более подробно про сигналы мы с тобой разбирали в этом посте.
Давай посмотрим, что такое 13:
Вывелось PIPE, что равносильно SIGPIPE (Broken Pipe). Ага!
Получается что наш бесконечный цикл постоянно запускает утилиту cat, которая тут же завершается.
Раньше эта ситуация была очевидна и на экран выводилась ошибка. А вот с версии Bash 3.1-alpha1 это пофиксили, вот выжимка из спеков:
Нахуй так сделали, непонятно, скорее всего ушли в сторону set pipefail, типа кому надо тот включит, чтобы лишнее гавно на экран не сыпалось.
Ладно. После запуска этого бесконечного цикла, можешь запустить htop и визуально глянуть как порождается бесконечное количество процессов, растет счетчик PID. А как только выработан лимит PID, пиды начинают использоваться повторно. В общем это хорошо видно.
Ну либо так можно глянуть:
Увидишь большую разницу между значениями PID.
Теперь как это пофиксить. Если уж захотелось упороться, нужно упарываться правильно.
Вот несколько вариантов:
Если присмотреться, может возникнуть вопрос — а откуда выходит exit? Цикл выполняется в подоболочке, потому что является участником канала.
Давай проверим:
Запускаем конвейер в фоне. Команда cat без указания аргументов будет читать стандартный ввод, который в данной ситуации ассоциирован с терминалом и ждет ввода данных.
А такое не позволительно фоновым процессам, поэтому такие задания будут приостановлены.
Проверяем, что оно действительно приостановлено:
Ну и теперь смотрим, кто есть кто:
Процесс 251913/251893 и есть подоболочка, в котором крутится наш цикл. Вот с этой подоболочки и выходит exit.
Сложно? Да не… азы с некоторыми нюансами. Изучай!
tags: #linux #bash
—
🔔 @bashdays
Открывай терминал с башем и запускай команду:
while :; do cat /etc/hosts ; done | grep -m1 'a'
По идее тут что-то вроде бесконечного цикла, который будет cat’ить на экран файл hosts, предварительно грепнув содержимое по символу «a».
Аргумент -m1 = выход после первого вхождения искомой подстроки. После этого, конец канала закрывается для чтения.
Запустил? И всё зависло! По крайней мере у меня вывелась только одна строчка вида:
127.0.0.1 localhost bashdays
Но почему оно зависло? А потому, что утилита cat при попытке записать данные в сломанный канал, завершается сигналом.
set -o pipefail
cat /etc/hosts | exit 0
echo $(( $? > 128 ? $? - 128 : $? ))
Получаем цифру 13. Откуда она взялась? Смотри! Если команда завершается сигналом, тогда статус ошибки ($?) == 128 + Номер сигнала.
А дальше вычитаем, делим, умножаем, корень квадратный вычисляем, заводим в дискриминант по синусу. Пеню. Короче получили цифру 13.
Более подробно про сигналы мы с тобой разбирали в этом посте.
Давай посмотрим, что такое 13:
kill -l 13
Вывелось PIPE, что равносильно SIGPIPE (Broken Pipe). Ага!
Получается что наш бесконечный цикл постоянно запускает утилиту cat, которая тут же завершается.
Раньше эта ситуация была очевидна и на экран выводилась ошибка. А вот с версии Bash 3.1-alpha1 это пофиксили, вот выжимка из спеков:
This document details the changes between this version, bash-3.1-alpha1,
and the previous version, bash-3.0-release.
By default, the shell no longer reports processes dying from SIGPIPE.
Нахуй так сделали, непонятно, скорее всего ушли в сторону set pipefail, типа кому надо тот включит, чтобы лишнее гавно на экран не сыпалось.
Ладно. После запуска этого бесконечного цикла, можешь запустить htop и визуально глянуть как порождается бесконечное количество процессов, растет счетчик PID. А как только выработан лимит PID, пиды начинают использоваться повторно. В общем это хорошо видно.
Ну либо так можно глянуть:
ps --no-headers --sort=pid -eo pid
Увидишь большую разницу между значениями PID.
Теперь как это пофиксить. Если уж захотелось упороться, нужно упарываться правильно.
Вот несколько вариантов:
while : ; do cat /etc/hosts || { echo $? >&2 ; exit; } ;done | grep -m1 'a'
while : ; do cat /etc/hosts || break ; done | grep -m1 'a'
while : ; do cat /etc/hosts || exit ; done | grep -m1 'a'
Если присмотреться, может возникнуть вопрос — а откуда выходит exit? Цикл выполняется в подоболочке, потому что является участником канала.
Давай проверим:
while : ; do cat ; done | grep -m1 'a' &
Запускаем конвейер в фоне. Команда cat без указания аргументов будет читать стандартный ввод, который в данной ситуации ассоциирован с терминалом и ждет ввода данных.
А такое не позволительно фоновым процессам, поэтому такие задания будут приостановлены.
Проверяем, что оно действительно приостановлено:
jobs -l
[1]+251913 Stopped (tty input) while :; do
cat;
done
251921 | grep --color=auto -m1 'a'
Ну и теперь смотрим, кто есть кто:
ps --forest -o pid,ppid,stat,comm
PID PPID STAT COMMAND
251893 251854 Ss bash
251913 251893 T \_bash
251924 251913 T | \_cat
251921 251893 T \_grep
251962 251893 R+ \_ps
Процесс 251913/251893 и есть подоболочка, в котором крутится наш цикл. Вот с этой подоболочки и выходит exit.
Сложно? Да не… азы с некоторыми нюансами. Изучай!
tags: #linux #bash
—
Please open Telegram to view this post
VIEW IN TELEGRAM
Привет. В Linux есть утилита basenc, которая входит в состав пакета coreutils. С помощью неё можно конвертировать данные в двоичный формат. Это который
Видел на днях как люди упарывались и писали свои велосипеды, банально не зная о существовании этой утилиты и её возможностях.
А всё просто, давай закодируем название деревни:
По итогу получаем набор 0 и 1. Ключ -w16 я указываю, чтобы выводить по 16 символов в строке. Для удобства. Так как русские символы кодируются двумя байтами.
✔️ Вывод получился таким:
А почему в последней строке какой-то обрубок?
Это не обрубок, это 8 бит! И эти 8 бит == символу новой строки, который закодирован одним байтом, о чем нам говорит левый бит первого и единственного октета (00001010).
А декодируется всё это безобразие так:
Просто указываем ключ -d и вуаля!
Если тема интересна, можешь почитать более подробно про кодирование UTF-8 здесь.
⚡ Вага-вага!
Сегодня чуть позже (16:00 МСК) залетит еще один партнерский пост, но это будет не просто рекламная интеграция.
Ниже я сделаю кнопку (в 16:02 МСК). Нажав на нее ты сможешь выиграть 1 бесплатный купон на неплохую онлайн конфу. Всего будет 3 таких купона. Всю эту кухню контролирую лично я, поэтому наёба тут нет.
А на следующей неделе будет еще одна движуха, но там уже более интересная и интерактивная, с денежными призами и облачными серверами, вчера в чатике подробности озвучивал.
Короче если интересно, не пропусти. Давай, хорошего дня!
tags: #linux #bash
—
🔔 @bashdays
00110010
.Видел на днях как люди упарывались и писали свои велосипеды, банально не зная о существовании этой утилиты и её возможностях.
А всё просто, давай закодируем название деревни:
echo 'пиздачосово' | basenc -w16 --base2msbf
По итогу получаем набор 0 и 1. Ключ -w16 я указываю, чтобы выводить по 16 символов в строке. Для удобства. Так как русские символы кодируются двумя байтами.
1101000010111111
1101000010111000
1101000010110111
1101000010110100
1101000010110000
1101000110000111
1101000010111110
1101000110000001
1101000010111110
1101000010110010
1101000010111110
00001010
А почему в последней строке какой-то обрубок?
Это не обрубок, это 8 бит! И эти 8 бит == символу новой строки, который закодирован одним байтом, о чем нам говорит левый бит первого и единственного октета (00001010).
А декодируется всё это безобразие так:
str="1101000010111111110100001011100011010000101101111101000010110100110100001011000011010001100001111101000010111110110100011000000111010000101111101101000010110010110100001011111000001010"
echo $str | basenc -d --base2msbf
Просто указываем ключ -d и вуаля!
Если тема интересна, можешь почитать более подробно про кодирование UTF-8 здесь.
Сегодня чуть позже (16:00 МСК) залетит еще один партнерский пост, но это будет не просто рекламная интеграция.
Ниже я сделаю кнопку (в 16:02 МСК). Нажав на нее ты сможешь выиграть 1 бесплатный купон на неплохую онлайн конфу. Всего будет 3 таких купона. Всю эту кухню контролирую лично я, поэтому наёба тут нет.
А на следующей неделе будет еще одна движуха, но там уже более интересная и интерактивная, с денежными призами и облачными серверами, вчера в чатике подробности озвучивал.
Короче если интересно, не пропусти. Давай, хорошего дня!
tags: #linux #bash
—
Please open Telegram to view this post
VIEW IN TELEGRAM
Здрасти. Утренний мини пост, вечером еще закину чтива.
Как ты знаешь, утилита false возвращает всегда ошибку (код завершения 1). Давай запустим и убедимся:
Все правильно. В этом примере была запущена встроенная команда false в оболочку Bash. Но как мы знаем, существует альтернативная реальность и альтернативная команда false, которая лежит тут:
Теперь сделаем такое:
Используя env, мы запустили альтернативную версию false. И что мы видим? Вывалилась страница help. Очевидно? Ага!
А теперь давай посмотрим код выхода, после вывода help.
Чо блядь? Почему единица? Команда по выводу справки отработала корректно? Корректно! Ожидаем ноль? Ага! Но вот хуюшки! Получите единицу!
Баг? Не думаю. Давай проверим на выводе версии:
Неа, не баг, команда false настолько суровая, что возвращает единицу, там где это не нужно.
Специально ли это сделали, никто не знает. Но факт остается фактом.
✔️ Посмотреть чем является команда, можно с помощью команды type:
Вот такие вот перлы порой случаются. Ошибка и точка!
tags: #bash #linux
—
🔔 @bashdays
Как ты знаешь, утилита false возвращает всегда ошибку (код завершения 1). Давай запустим и убедимся:
false
echo $?
1
Все правильно. В этом примере была запущена встроенная команда false в оболочку Bash. Но как мы знаем, существует альтернативная реальность и альтернативная команда false, которая лежит тут:
whereis false
false: /usr/bin/false
Теперь сделаем такое:
env false --help
Используя env, мы запустили альтернативную версию false. И что мы видим? Вывалилась страница help. Очевидно? Ага!
А теперь давай посмотрим код выхода, после вывода help.
echo $?
1
Чо блядь? Почему единица? Команда по выводу справки отработала корректно? Корректно! Ожидаем ноль? Ага! Но вот хуюшки! Получите единицу!
Баг? Не думаю. Давай проверим на выводе версии:
env false --version
echo $?
1
Неа, не баг, команда false настолько суровая, что возвращает единицу, там где это не нужно.
Всё дело в том, что во всех этих примерах в качестве кода выхода используется значение одной и той же константы.
Специально ли это сделали, никто не знает. Но факт остается фактом.
type -a false
false is a shell builtin
false is /usr/bin/false
false is /bin/false
Вот такие вот перлы порой случаются. Ошибка и точка!
tags: #bash #linux
—
Please open Telegram to view this post
VIEW IN TELEGRAM
Если испытываешь проблемы с написанием постов, есть пиздатый лайкфак!
А далее пост пишется на одном дыхании. Кстати этот способ отлично работает для всяких документаций, планирования спринтов и т.п.
Ну чо — Короче блядь. Пятничная математика!
Массив bin содержит 256 восьмиразрядных числа в двоичной системе счисления.
Получаем:
Количество разрядов двоичного числа (длина любого индекса)
Получаем:
Количество двоичных чисел (длина массива)
Получаем:
Разрядность можно регулировать количеством списков начиная с
✔️ Раз зашел разговор за память...
Иииииии… Получаемпо ебалу :
А почему так? Минус каким хером тут? А все правильно!
Эта ситуация называется — Целочисленное переполнение. И оно НЕ отслеживается в Bash!
Начиная с версии 2.05b-alpha1 используется тип intmax_t.
Ну и смотрим маны:
Давай затестим:
У меня такое:
Это границы для положительных и отрицательных чисел.
Чо еще…
Перевод из двоичной системы счисления в десятичную.
Получаем:
В арифметических операциях Bash можно задавать систему счисления.
В общем случае в данных конструкциях не обязательно указывать знак $ перед именем переменной. Но при указании системы счисления это всё же нужно.
Получаем:
Наверное на этом всё, если есть что добавить, пиши в комменты. Хороших тебе предстоящих выходных и береги себя!
tags: #bash #linux
—
🔔 @bashdays
Открываешь свой любимый редактор и пишешь — Короче блядь!
А далее пост пишется на одном дыхании. Кстати этот способ отлично работает для всяких документаций, планирования спринтов и т.п.
Ну чо — Короче блядь. Пятничная математика!
Массив bin содержит 256 восьмиразрядных числа в двоичной системе счисления.
bin=({0..1}{0..1}{0..1}{0..1}{0..1}{0..1}{0..1}{0..1})
Особенность этого массива — значение любого элемента массива, соответствует индексу элемента в двоичном представлении. Таким образом перевод числа из десятичной в двоичную систему счисления, сводится к заданию числа (дес) в качестве индекса.
echo ${bin[101]}
Получаем:
01100101
Количество разрядов двоичного числа (длина любого индекса)
echo ${#bin[0]}
Получаем:
8
Количество двоичных чисел (длина массива)
echo ${#bin[@]}
Получаем:
256
Разрядность можно регулировать количеством списков начиная с
{0..1}{0..1}
. Но будь очень осторожен, память не резиновая!echo $((2**63))
Иииииии… Получаем
-9223372036854775808
А почему так? Минус каким хером тут? А все правильно!
Эта ситуация называется — Целочисленное переполнение. И оно НЕ отслеживается в Bash!
Про Целочисленное переполнение читай тут
help let
Начиная с версии 2.05b-alpha1 используется тип intmax_t.
This document details the changes between this version, bash-2.05b-alpha1, and the previous version, bash-2.05a-release.
The shell now performs arithmetic in the largest integer size the machine supports (intmax_t), instead of long.
Ну и смотрим маны:
man 7 system_data_types
Давай затестим:
echo "Дипазон: От $((2**63)) до $((2**63-1))"
У меня такое:
-9223372036854775808
до 9223372036854775807
Это границы для положительных и отрицательных чисел.
Чо еще…
Перевод из двоичной системы счисления в десятичную.
echo $(( 2#1000 ))
Получаем:
8
В арифметических операциях Bash можно задавать систему счисления.
echo $(( 2#1000 + 2#1000 ))
let dec=2#0001
echo $dec
В общем случае в данных конструкциях не обязательно указывать знак $ перед именем переменной. Но при указании системы счисления это всё же нужно.
bin=0011
echo $(( 2#$bin ))
Получаем:
3
Наверное на этом всё, если есть что добавить, пиши в комменты. Хороших тебе предстоящих выходных и береги себя!
tags: #bash #linux
—
Please open Telegram to view this post
VIEW IN TELEGRAM
Грузить не буду, как-никак выходные. Подкину интересного чтива. Если коротко — автор статьи предлагает использовать в скриптах для комментариев, команду «:» вместо символа «#».
Это позволяет видеть комментарии в режиме отладки. Подход имеет ряд некоторых проблем, но общая концепция весьма интересна.
✔️ COLODEBUG: a simple way to improve bash script debugging.
Статья на иностранном, но с переводчиком всё понятно. Изучайте.
tags: #bash #linux
—
🔔 @bashdays
Это позволяет видеть комментарии в режиме отладки. Подход имеет ряд некоторых проблем, но общая концепция весьма интересна.
Статья на иностранном, но с переводчиком всё понятно. Изучайте.
tags: #bash #linux
—
Please open Telegram to view this post
VIEW IN TELEGRAM
Сегодня дождливый день, даже материться не хочется.
Поэтому потыкаем strace и файловый менеджер.
Для экспериментов я взял десктопный линукс на 22 убунте + gnome. Внутри моего гнома зашит файловый менеджер Nautilus. Но подойдет абсолютно любой дистрибутив и любой файловый менеджер например kde/dolphin.
Для начала создаём файл:
Этот файл я приправил магическими числами
Так, запускаем:
Не забудь указать актуальное название своего файлового менеджера, у меня nautilus, у тебя может быть другой.
После запуска в файловом браузере откроется папка tmp, в ней мы увидим наш файл bashdays. Иконка у этого файла соответствует иконке bz2 архива.
Теперь возвращаемся в терминал с strace и смотрим что произошло.
В выводе наблюдаем обращение к файлу
Отлично! Мы на верном пути. Теперь закрываем файловый менеджер, тормозит ранее запущенный strace. И добавляем к файлу расширение txt.
Снова запускаем strace:
И видим другую картину:
Отсутствуют системные вызовы связанные с чтением файла. А файловый менеджер интерпретировал это как текстовый файл. Сменилась иконка.
Если сейчас кликнуть на этом файле 2 раза, то файл откроется в текстовом редакторе.
✔️ Делаем выводы
Если у файла есть расширение, то файловый менеджер полагается на него и не производит никаких действий с файлом.
А если расширение не указано, то происходит анализ содержимого. В моём случае файловый менеджер нашел сигнатуру bz2 и автоматически решил что это архив.
Чтобы определить тип файла, можешь воспользоваться командой:
Вот такая вот логика зашита в кишочках.
Хорошей тебе рабочей недели, изучай!
tags: #linux #debug
—
🔔 @bashdays
Поэтому потыкаем strace и файловый менеджер.
Для экспериментов я взял десктопный линукс на 22 убунте + gnome. Внутри моего гнома зашит файловый менеджер Nautilus. Но подойдет абсолютно любой дистрибутив и любой файловый менеджер например kde/dolphin.
Для начала создаём файл:
echo -ne '\x42\x5a\x68' > /tmp/bashdays
Этот файл я приправил магическими числами
hex:42 5a 68
, что равносильно формату файла: bz2.Так, запускаем:
strace -o'|cat' -P /tmp/bashdays -qqqyf nautilus /tmp 2> /dev/null
Не забудь указать актуальное название своего файлового менеджера, у меня nautilus, у тебя может быть другой.
После запуска в файловом браузере откроется папка tmp, в ней мы увидим наш файл bashdays. Иконка у этого файла соответствует иконке bz2 архива.
Теперь возвращаемся в терминал с strace и смотрим что произошло.
openat("/tmp/bashdays", O_RDONLY) = 25</tmp/bashdays>
read(25</tmp/bashdays>, "BZh", 4096) = 3
close(25</tmp/bashdays>) = 0
В выводе наблюдаем обращение к файлу
/tmp/bashdays
, дополнительно видим что файл был прочитан. Также видим что была определена сигнатура файла BZh
.Отлично! Мы на верном пути. Теперь закрываем файловый менеджер, тормозит ранее запущенный strace. И добавляем к файлу расширение txt.
mv /tmp/bashdays /tmp/bashdays.txt
Снова запускаем strace:
strace -o'|cat' -P /tmp/bashdays.txt -qqqyf nautilus /tmp 2> /dev/null
И видим другую картину:
statx("/tmp/bashdays.txt")
Отсутствуют системные вызовы связанные с чтением файла. А файловый менеджер интерпретировал это как текстовый файл. Сменилась иконка.
Если сейчас кликнуть на этом файле 2 раза, то файл откроется в текстовом редакторе.
Если у файла есть расширение, то файловый менеджер полагается на него и не производит никаких действий с файлом.
А если расширение не указано, то происходит анализ содержимого. В моём случае файловый менеджер нашел сигнатуру bz2 и автоматически решил что это архив.
Чтобы определить тип файла, можешь воспользоваться командой:
file /tmp/bashdays.txt
Вот такая вот логика зашита в кишочках.
Хорошей тебе рабочей недели, изучай!
tags: #linux #debug
—
Please open Telegram to view this post
VIEW IN TELEGRAM
Лидером, конечно же остается Linux.
А сегодня на повестке дня, снова твой любимый strace и замечательная опция -T, которая позволяет находить ботлнэк (узкое место).
В посте будут встречаться лютые «франкенштейны», но ты сразу не уходи, я кратенько всё разжую и ты проникнешься. Бля буду!
Опция -T выводит разницу во времени между запуском и завершением системного вызова. Применяется для того, чтобы увидеть момент, когда конкретный вызов начал тормозить (встал раком) на фоне предыдущих.
Запускаем «франкенштейна»
strace -s0 -o'|nl >&2' -Tyqqqfe write dd if=/dev/random bs=4096 count=23 status=none | while read -rn1;do : ;done
s0 = размер буфера, строки не обрезаются
o/nl/&2 = вывод в стандартную ошибку на утилиту nl
nl = утилита нумерует строки
T = затраченное время на системный вызов
y = показывать симлинки для файловых дескрипторов
qqq = отключаем лешний шлак
f = трассируем дочерние процессы
e = трассировка только write
dd = читает из random блоками 4096 и пишем по 23 блока
дальше скармливаем это while
while = читает данные побайтно (-n1) без обработки символов конца строки (-r)
Вывод сокращаю, чтобы не так погано смотрелось:
01 write() = 4096 <0.004691>
02 write() = 4096 <0.000010>
03 write() = 4096 <0.000009>
04 write() = 4096 <0.000009>
05 write() = 4096 <0.000009>
06 write() = 4096 <0.000009>
07 write() = 4096 <0.000009>
08 write() = 4096 <0.000009>
09 write() = 4096 <0.000009>
10 write() = 4096 <0.000009>
11 write() = 4096 <0.000009>
12 write() = 4096 <0.000009>
13 write() = 4096 <0.000009>
14 write() = 4096 <0.000009>
15 write() = 4096 <0.000009>
16 write() = 4096 <0.000009>
17 write() = 4096 <0.014406>
18 write() = 4096 <0.023782>
19 write() = 4096 <0.023870>
20 write() = 4096 <0.023944>
21 write() = 4096 <0.023815>
22 write() = 4096 <0.024032>
23 write() = 4096 <0.024088>
Смотрим на последний столбик, видим аномалию после 16 строки, время выполнения существенно увеличилось. Поздравляю мы нашли bottleneck (узкое место).
Теперь давай разберемся с этим узким местом. Что произошло, почему все стало тормозить?
Умножаем блок 4096 на номер строки 16, получаем = 65536. Знакомая цифра? Знакомая!
65536 это ёмкость пайпа (канала), по достижению предела пишущий процесс заблокировался, пока не было прочитано и освобождено достаточно места.
Подробнее можешь почитать в мане:
man 7 pipe
(раздел Pipe capacity).Бонусом команда, которая протестирует ёмкость пайпа:
sh -c '( dd if=/dev/zero obs=1 oflag=nonblock || pkill -P $$ -x "sleep" ) | sleep 300'
Если dd сообщает о недоступности стандартного вывода, значит тест удался. У меня получилось так:
dd: writing to 'standard output': Resource temporarily unavailable
129+0 records in
65536+0 records out
65536 bytes (66 kB, 64 KiB) copied, 0.0195754 s, 3.3 MB/s
Terminated
Вот так находясь на границе между кодом приложения и кодом ядра можно увидеть тонкие моменты. Изучай!
tags: #linux #debug
—
Please open Telegram to view this post
VIEW IN TELEGRAM
Привет. Я обычно предпочитаю строгие терминалы, которые — белым по черному. Но вчера у коллеги подсмотрел свистоперделку и тоже захотелось. Эх, вроде всегда топлю против новогодних ёлок, но тут не устоял и захуячил себе.
Обращаем внимание на задний фон в терминале, в нем проигрывается gif’ка.
А всё что выводится на экран это результат работы утилиты lolcat, которая делает праздник из любого тухлого выхлопа.
Как поставить такой видео фон? Для WSL это не проблема, добавляем строчки в json конфиг и всё из коробки поднимается:
Регулируем прозрачность и наслаждаемся.
А вот в нативном линуксе, придется изъебнуться. 99999% терминалов не поддерживает gif и mp4.
Некий персонаж смог такое реализовать через terminology. Но тут уже сам ковыряй. Единственное, что могу скинуть, это как случайным образом выставлять фон через сниппет:
Это пример для оболочки fish, но думаю и в Bash это сработает, только нужно будет изменить на
tags: #linux #рабочиебудни
—
🔔 @bashdays
Обращаем внимание на задний фон в терминале, в нем проигрывается gif’ка.
А всё что выводится на экран это результат работы утилиты lolcat, которая делает праздник из любого тухлого выхлопа.
Эту утилиту я привел для примера, так, поугарать, мож пранканешь кого-нибудь.
Как поставить такой видео фон? Для WSL это не проблема, добавляем строчки в json конфиг и всё из коробки поднимается:
"backgroundImage": "C:\\\\pixelart\\b1.gif",
"backgroundImageOpacity": 0.28,
Регулируем прозрачность и наслаждаемся.
Гифки в стиле пиксель арт я собрал и залил на яндекс-диск, забирай.
А вот в нативном линуксе, придется изъебнуться. 99999% терминалов не поддерживает gif и mp4.
Некий персонаж смог такое реализовать через terminology. Но тут уже сам ковыряй. Единственное, что могу скинуть, это как случайным образом выставлять фон через сниппет:
~/.config/fish/config.fish
if test -n "$TERMINOLOGY"
tybg (ls ~/.config/terminology/background/ | shuf -n 1 | xargs -I '{}' echo "~/.config/terminology/background/{}")
end
Это пример для оболочки fish, но думаю и в Bash это сработает, только нужно будет изменить на
tybg $(...)
. Такие дела!tags: #linux #рабочиебудни
—
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Здрасти. Если открыть два терминала, в первом ввести команду ls -la, а во втором history, то во втором терминале, ты не увидишь в истории команду ls -la.
Хотя сервер один и тот же. И не увидишь ты эту команду в истории, пока не завершишь сессию в первом терминале, либо не сделаешь определенный финт ушами. Пиздец неудобно!
✔️ Финт ушами в первом терминале:
a = пишем текущую историю сессии в файл
с = очищаем текущую сессию
r = перезагружаем файл истории
Теперь если перезайти во второй терминал, то увидишь там команду ls -la, то есть история как бы синхронизировалась. Это хорошо, но недостаточно хорошо!
Как это можно автоматизировать?
Добавляем в .bashrc:
ignoredups:erasedups
1. Команды, вводимые несколько раз, не дублируются в истории.
2. Повторная команда заменяет все предыдущие в истории.
shopt -s histappend
Эта команда включает опцию histappend, которая добавляет новые команды в конец файла истории (~/.bash_history) при завершении сессии, вместо перезаписи файла. Это позволяет сохранить команды из разных сессий и объединить их в единую историю.
А кишка PROMPT_COMMAND = Назначает значение переменной PROMPT_COMMAND, которая используется в bash для выполнения команды перед отображением командной строки (приглашения).
Теперь твоя история команд будет автоматически синхронизирована с файлом истории. Это полезно, если ты работаешь с несколькими терминалами и хочешь иметь актуальную историю без хуйни.
А еще есть фича:
После выполнения любой команды, на экран будет выводиться «привет осёл». Эту команду можно заменить на любую другую, например триггерить bash скрипт, который будет отправлять введенные команды сразу тебе в телеграм. Ну или забить exit 1 по приколу.
Ёмко? Ёмко! Изучай!
tags: #linux #bash
—
🔔 @bashdays
Хотя сервер один и тот же. И не увидишь ты эту команду в истории, пока не завершишь сессию в первом терминале, либо не сделаешь определенный финт ушами. Пиздец неудобно!
history -a
history -c
history -r
a = пишем текущую историю сессии в файл
с = очищаем текущую сессию
r = перезагружаем файл истории
Теперь если перезайти во второй терминал, то увидишь там команду ls -la, то есть история как бы синхронизировалась. Это хорошо, но недостаточно хорошо!
Как это можно автоматизировать?
Добавляем в .bashrc:
HISTCONTROL=ignoredups:erasedups
shopt -s histappend
PROMPT_COMMAND="${PROMPT_COMMAND:+$PROMPT_COMMAND$'\n'}history -a; history -c; history -r"
ignoredups:erasedups
1. Команды, вводимые несколько раз, не дублируются в истории.
2. Повторная команда заменяет все предыдущие в истории.
shopt -s histappend
Эта команда включает опцию histappend, которая добавляет новые команды в конец файла истории (~/.bash_history) при завершении сессии, вместо перезаписи файла. Это позволяет сохранить команды из разных сессий и объединить их в единую историю.
А кишка PROMPT_COMMAND = Назначает значение переменной PROMPT_COMMAND, которая используется в bash для выполнения команды перед отображением командной строки (приглашения).
Теперь твоя история команд будет автоматически синхронизирована с файлом истории. Это полезно, если ты работаешь с несколькими терминалами и хочешь иметь актуальную историю без хуйни.
А еще есть фича:
declare -r PROMPT_COMMAND="echo 'привет осёл'"
После выполнения любой команды, на экран будет выводиться «привет осёл». Эту команду можно заменить на любую другую, например триггерить bash скрипт, который будет отправлять введенные команды сразу тебе в телеграм. Ну или забить exit 1 по приколу.
Как взаимодействовать с телегой через консольку, писал в этом посте. А про облачную синхронизацию истории упоминал в этом посте.
Ёмко? Ёмко! Изучай!
tags: #linux #bash
—
Please open Telegram to view this post
VIEW IN TELEGRAM