коллекция Bash-oneliner скриптов

По рекомендации коллеги, прикладываю ссылочку на годноту:
https://onceupon.github.io/Bash-Oneliner/

#bash

бах https://www.hashicorp.com/blog/hashicorp-boundary

HashiCorp заанонсили Waypoint


A consistent developer workflow to build, deploy, and release applications across any platform.

https://www.hashicorp.com/blog/announcing-waypoint
и Boundary


Simple and secure remote access — to any system anywhere based on trusted identity.

https://www.hashicorp.com/blog/hashicorp-boundary

А GitLab уже выкатил статью
How to use HashiCorp Waypoint to deploy with GitLab CI/CD
https://about.gitlab.com/blog/2020/10/15/use-waypoint-to-deploy-with-gitlab-cicd/
+
статья на Medium про то что такое Waypoint и зачем он нужен
https://copyconstruct.medium.com/waypoint-3f00b11da4a

Настройка Heartbeat для проверки работы системы мониторинга

Расскажу на примере prometheus, alertmanager, opsgenie.

opsgenie:
0) создаем команду
1) по адресу https://app.opsgenie.com/settings/heartbeat создаем хартбит по нужным вам параметрам (severity, на кого повесить, описание). Запоминаем имя (далее ${name})
2) идем в интеграции, создаем для prometheus - именуем, назначаем команду, получаем api ключ.
https://app.opsgenie.com/settings/integration/integration-list (далее ${opsgenie_api_key})

alertmanager.yml:

receivers:
- name: deadmansswitch
  webhook_configs:
  - url: https://api.opsgenie.com/v2/heartbeats/${name}/ping
    send_resolved: true
    http_config:
      basic_auth:
        password: ${opsgenie_api_key}
route:
  group_by:
  - job
  group_interval: 5m
  group_wait: 10s
  receiver: default
  repeat_interval: 1m
  routes:
  - receiver: deadmansswitch
    match:
      severity: DeadMansSwitch
    repeat_interval: 1m

prometheus.yml -> далее если у вас правила вынесены в отдельный файл, если нет, ну, сами поправите)

...
rule_files:
- /etc/prometheus/prometheus.rules 
...

prometheus.rules:

groups:
- name: prometheus.alerts.rules
  rules: 
  - alert: PrometheusAlertmanagerE2eDeadManSwitch
    expr: vector(1)
    for: 5m
    labels:
      severity: DeadMansSwitch
    annotations:
      summary: "Prometheus AlertManager E2E dead man switch (instance {{ $labels.instance }})"
      description: "Prometheus DeadManSwitch is an always-firing alert. It's used as an end-to-end test of Prometheus through the Alertmanager.\n  VALUE = {{ $value }}\n  LABELS: {{ $labels }}"

Как это работает:
1) в течение 5 минут прометей проверяет выражение vector(1), которое всегда будет отдавать 1, а значит фейлиться.
2) через 5 минут (а затем еще каждую минуту) он будет пиннать алертменеджер и говорить что есть проблема.
3) Алертменеджер будет долбиться раз в минуту на специальный урл opsgenie.
4) В настройках хартбита вы выставляете время которое считаете нормальным для того чтобы система оповещения лежала. и далее ход конём:
5) если у вас погиб прометей (или сеть до алертменеджера), он не будет долбить алертменеджер и рефрешить гарантированный алерт. в таком случае автоматически происходит разрезолв алерта (по-умолчанию 5 минут) и перестают посылаться сообщения на урл из п.3. Тогда по истечению таймаута из п4. на вашу команду упадет алерт о том что хартбит просрочен.
6) если у вас умер алертменеджер (или связность до апи opsgenie), то по истечению таймаута из п4. на вашу команду упадет алерт о том что хартбит просрочен.

т.о. такая связка гарантирует что вся цепочка от мониторинга до алертменеджера и апишки opsgenie находится в работоспособном состоянии

Источник знаний:
- https://t.me/metrics_ru
- https://docs.opsgenie.com/docs/heartbeat-api
- https://github.com/prometheus/alertmanager/pull/444#issuecomment-428493861

#prometheus #opsgenie #alertmanager

DevOpsFest.2020 — профессиональная DevOps-конференция. (https://2020.devopsfest.ru/)
06 ноября. Онлайн.
Формат участия: платно/бесплатно.

От создателей CodeFest🤟

🛠Автоматизация: CI/CD, IaC, GitOps. Что новенького?
📺Мониторинг: best practices для спокойного сна.
☁️Облака: нюансы выбора и принципы экономии.
🔮Виртуализация: новые веяния или старый хардкор.
😎Секьюрити: DevSecOps — что мы об этом знаем?

Программа уже на сайте (https://2020.devopsfest.ru/#program).

Подключайтесь, будет хардкорно!

Регистрация на сайте 👉https://clck.ru/RNBrm

#реклама

LinuxTalks - часть 4 - пакетные менеджеры dpkg и apt

Четвёртый выпуск linux talks в котором я рассказал подробно о том как устроен пакетный менеджер, что происходит при выполнении команды update, посмотрели структуру репозитория и залезли внутрь deb-пакета. Ролик вышел довольно законченным, но были не раскрыты еще многие вопросы которые регулярно возникают у новичков, а также практически не были изучены параметры которыми можно настраивать apt. И тогда ролик точно бы вышел на 3 часа =) Но если у слушателей будет желание я лучше сниму вторую часть с разбором конкретных примеров проблем и параметров которыми можно управлять пакетным менеджером.

Тайминги:
00:00 что такое пакетный менеджер и зачем он вам нужен
13:51 Поднимаем vagrant
18:10 Знакомство с apt; команды file и stat
20:18 Разбор ключей apt
28:39 Подробный разбор apt update
33:25 Используем tcpdump для исследования подкапотных операций update
38:55 Содержимое InRelease
41:21 Содержимое Packages.gz
45:37 Разбор реального кейса проблемы с репозиториями
52:38 Выкачивание пакета из репозитория руками - или как это делает пакетный менеджер
58:06 Закрепление версий программ на примере kubernetes kubeadm
1:11:11 dpkg: список установленных программ и другие полезные возможности
1:16:42 Разбор содержимого deb-пакета


Дисклаймер:
Как обычно замечу, что в ролике высказано мое субъективное мнение, в основном на импровизации без подготовки текста. Если я задел чьи-то чувства, то знайте я это и имел ввиду. В остальном же прошу заметить что linux и его экосистема крайне многогранны и у каждого пользователя может быть разный опыт работы с той или иной программой или конфигом. Я поделился именно своим опытом и если я в чем-то не прав, сделайте мир лучше и напишите мне в ЛС с указанием что и почему.

https://www.youtube.com/watch?v=bJQRkExPuSw&list=PL3ww5Qxhc2rDSW4C-URnbHI5T6b6vLDCv&index=4

Оставьте пожалуйста ваш отзыв: https://forms.gle/LwdFXS5cFkSHFAey8

#LinuxTalks

Оставьте пожалуйста ваш подробный отзыв (если не сложно, типа): https://forms.gle/oBQVpqnPR9sEUvRR9

Мониторим kubernetes

Часть1: The Node Metrics

Часть2: The USE Method and node_exporter Metrics

Часть3: Container Resource Metrics

Часть4: The Kubernetes API Server

Часть5: etcd metrics

Часть6: kube-state-metrics

#prometheus #kubernetes

Жизнь с чистого листа

Прекрасная команда docker system prune -a.
Выпиливает все контейнеры, образы, кэш, и вот это вот всё.

Ух, слоупоки

Наконец-то (не прошло и года) обновили хендбук до 10

https://debian-handbook.info/browse/stable/

релиз openvpn 2.5.0

https://www.opennet.ru/opennews/art.shtml?num=53981

Кстати, довольно много чего интересного добавили.

фиксим ошибку с ssh

Received disconnect from x.x.x.x port 22:2: Too many authentication failures

добавьте в ~/.ssh/config

IdentitiesOnly yes

#ssh

LinuxTalks - часть 5 - Процесс загрузки linux, введение в systemd

Пятый выпуск вышел с задержкой в неделю, было довольно много работы и я просто не успел собрать весь нужный материал. В этой части я рассмотрел этапы загрузки ОС начиная от нажатия на кнопку включения и заканчивая стартом демона ssh когда уже можно подключаться и работать с консолью. Была затронута работа с unit файлами systemd, но тема полностью не раскрыта и я запишу еще один ролик на эту тему. В этот раз к сожалению запись без камеры и звук иногда плохой, но я старался. Приятного просмотра.

00:00 Введение
00:35 Этапы загрузки крупным планом
01:28 Этап 1 - Hardware
04:58 Этап 2 - OS Loader - первичный загрузчик
07:30 Этап 3 - OS Loader - вторичный загрузчик
10:13 Этап 3 - OS Loader - содержимое директории /boot
12:36 Этап 3 - OS Loader - содержимое initrd
17:54 Этап 3 - OS Loader - установка virtualbox guest additions
27:11 Этап 3 - OS Loader - детальный осмотр директории /boot
29:56 Этап 4 - Kernel
32:43 Этап 5 - SystemD - структурная схема загрузки
34:53 Этап 5 - SystemD - виды unit файлов
35:38 Этап 5 - SystemD - секция [unit]
39:07 Этап 5 - SystemD - секция [install]
40:03 Этап 5 - SystemD - секция [service]
42:54 Этап 5 - SystemD - расположение unit файлов
43:50 Этап 5 - SystemD - спецификаторы
46:07 Этап 5 - SystemD - примеры unit файлов
59:43 Этапы загрузки на диаграме, подведение итогов

Дисклаймер:
Как обычно замечу, что в ролике высказано мое субъективное мнение, хотя по большей части взятое из документации. Если я задел чьи-то чувства, то знайте я это и имел ввиду. В остальном же прошу заметить что linux и его экосистема крайне многогранны и у каждого пользователя может быть разный опыт работы с той или иной программой или конфигом. Я поделился именно своим опытом и если я в чем-то не прав, сделайте мир лучше и напишите мне в ЛС с указанием что и почему.

https://www.youtube.com/watch?v=zCkC9iXoJ9s&list=PL3ww5Qxhc2rDSW4C-URnbHI5T6b6vLDCv&index=5

Оставьте пожалуйста ваш отзыв: https://forms.gle/oBQVpqnPR9sEUvRR9

#LinuxTalks

мои бывшие коллеги тут написали гайд по выявлению фактов эксплуатации одной из самых опасных уязвимостей последних лет — CVE-2020-1472, или Zerologon.

Она позволяет злоумышленнику захватить контроллер домена даже без наличия какого-либо пользовательского аккаунта. Для эксплуатации уязвимости атакующему достаточно подключиться к корпоративной сети.

В процессе исследования мы разработали различные методы обнаружения эксплуатации Zerologon:
▪️по событиям журналов аудита Windows;
▪️по сетевому трафику;
▪️при помощи YARA-правил.

https://habr.com/ru/company/bizone/blog/526168/

наконец-то мне повесили полки для книжечек^_^ А вы какую литературу на нашу тематику читаете? делитесь в комментариях

📌 In DevOps we Trust! 21 ноября в самый разгар осень, пройдет очередной онлайн митап, про культуру и практику DevOps!

✅Регистрация: https://cutt.ly/8gG8uDq
🌎 Платформа: https://tulu.la (скачивать не нужно)

12:00 Александр Кириллов - Правильно управляем секретами в Kubernetes
12:45 Андрей Рамирес - DevOps в Machine Learning
13:30 Даниил Кивенко - Современная экосистема инфраструктуры
14:15 Дмитрий Столяров - Как обновить Kubernetes?

#конференции

«Нетология» приглашает специалистов по инфраструктуре преподавать на курсе «Системный администратор»: netology.ru/programs/sysadmin

🎓 Специалисты уровня Middle и выше, вы можете стать нашими авторами занятий, лекторами, или тренерами!

Какие есть возможности:

📚 Поделиться знаниями и опытом с теми, кто только начинает разбираться в системном администрировании;

💵 Работать удаленно на part-time с гибкой системой заработка: лучшие эксперты зарабатывают больше 100 000 рублей в месяц, совмещая преподавание с основной работой;

💎 Поработать бок о бок с автором курса, создавшим с нуля облако Mail.ru Cloud Solutions и получить новые знания в своей сфере

Вам не обязательно знать все о системном администрировании или иметь опыт преподавания: если чувствуете, что готовы делиться знаниями и помогать другим освоить новую профессию — смело пишите в Telegram @rsklyarov или на почту r.sklyarov@netology.ru!

#вакансии