Ну что, друзья, сегодня пятница, да еще и вечер. Самое время задеплоить что-нибудь, пока никто не мешает. Ну или на худой конец обновления накатить.

Хуяк хуяк и в продакшн
https://www.youtube.com/watch?v=F2skk6RFFos

Я - инженер, и моя голова
Сразу забывает бесполезные слова.
Agile scrum? Fuck you, i'm russian.
Хуяк хуяк и в продакшн.

Особенно нравится вот эти строки:

Лет пять назад уже потерян всякий стыд - 
Мы делаем дело. Пусть криво, но стоит.

Если что, такой подход к делу осуждаю, но песенка и клип нравятся очень даже :)

#юмор

​​На неделе была рассылка от Zabbix с новостями. На сайте нигде эта информация у них не отражена (искал, не нашёл), так что если не подписаны по почте на рассылку, то и посмотреть инфу негде. Я это исправляю. Рассказываю о том, что мне показалось интересным. 

В первую очередь это новые шаблоны мониторинга:
◽ Новый шаблон для Systemd Units - https://www.zabbix.com/integrations/systemd
◽ Обновились шаблоны для Cisco - https://www.zabbix.com/integrations/cisco
◽ Обновились шаблоны для серверов Dell - https://www.zabbix.com/integrations/dell
◽ Обновились шаблоны для серверов HPE - https://www.zabbix.com/integrations/hp_enterprise

В блоге опубликована подробная статья про планировщик отчётов - https://blog.zabbix.com/scheduled-report-generation-in-zabbix-5-4/ Я их, кстати, так и не потестировал. Нужды нет в этом функционале, так что забыл про него, хотя выглядит интересно. Записал себе, чтобы проверить. 

Как обычно запланированы семинары на русском языке. Я перестал их анонсить, потому что они крутят одни и те же темы. Раньше было разнообразнее и интереснее. Смотреть расписание тут - http://www.zabbix.com/webinars?language=russian#tab:upcoming Обращаю внимание там же на отдельную вкладку с записями вебинаров. Темы есть интересные, записи на английском языке. 
Обновилась дорожная карта для Zabbix 6.0 LTS. Кому интересно посмотреть, что нас ждет нового, знакомьтесь - https://www.zabbix.com/roadmap Релиз к концу этого года готовится.

Pdf рассылки - https://yadi.sk/i/1d8_ziMlerqL4A

#zabbix

​​Недавно решил обновить Windows Server 2012 r2 до 2016. Ранее никогда не проделывал такие обновления, потому что считаю их потенциально небезопасными с непрогнозируемым результатом. Но этот сервер мог постоять без дела какое-то время в случае проблем. Бэкапы все предварительно сделал.

В целом, у меня всё получилось в итоге. Но как и предполагал изначально - результат непрогнозируем. Сделал всё стандартно. Подмонтировал iso образ и запустил обновление. Какое-то время все это продолжалось (где-то час в сумме), система успешно обновилась и без проблем загрузилась.

А дальше начались проблемы. В логах много ошибок, но это ладно. Я особо не разбирался в них, так как не получались более важные дела. Система никак не хотела ставить обновления. Плюс, при подключении по rdp или локально у некоторых пользователей был черный экран, но при этом работала мышка. С этим не стал разбираться сразу, сфокусировался на проблеме с обновлениями.

Возился с этим сервером пару дней наверно. Он в целом работал, но обновления никак не хотели ставиться. Помогло в итоге самое простое и очевидное действие, с которого стоило начать сразу после обновления:

sfc /scannow
DISM /Online /Cleanup-Image /CheckHealth

Последняя команда долго шуршала шестерёнками. В итоге после её успешного завершения поставились все обновления. Починился черный экран у юзеров и в логах ушли почти все ошибки. И сервер заработал нормально.

Так что в целом решение рабочее, но потенциально рискованное, так что я бы в проде не стал этого делать, а сделал все же миграцию на новую версию системы.

#windows

Для одного из веб проектов появилась возможность выделить отдельный гипервизор под регулярное автоматическое тестирование бэкапов - исходники + mysql база. До этого бэкапы просто делались и мониторилось их наличие.

Встала задача воссоздать прод. Так как до этого никому это не нужно было, никакой автоматизации не было. Достаточно было скопировать виртуалку. Но не получалось это сделать по двум причинам. На самом гипервизоре не было достаточно свободного места. Диск виртуалки был очень жирным для этого сервера (300 Гб). Из-за этого её нельзя было остановить и скопировать. Процесс продлился бы несколько часов.

Я не нашел ничего проще и быстрее, чем наживую скопировать диск работающей виртуалки. Процесс длился 1.5 часа. Сайт нормально работал. Я понимал, что может ничего не получиться, но хотелось поэкспериментировать. По факту никаких особых проблем не возникло.

После копирования диска на другой гипервизор, виртуалка ожидаемо не запустилась. Но решилось всё очень просто. Была всего лишь повреждена файловая система xfs. Починил ее простыми командами и всё завелось. Туда же успешно накатил бэкапы.

Более подробно всё описал в статье.

https://serveradmin.ru/metadata-corruption-detected-unmount-and-run-xfs_repair/

Если у кого-то есть идеи, как еще можно было бы выкрутиться, готов выслушать. Была мысль, подцепить внешнее хранилище по nfs и сделать бэкап на него. Но мне кажется, что когда-то давно я проводил такие эксперименты и всё равно на исходном гипервизоре должно быть достаточно свободного места, чтобы proxmox смог сделать бэкап на nfs storage.

#proxmox #статья

​​У меня на канале накопилось достаточно много содержательных заметок по какой-то конкретной тематике, которые не теряют актуальность со временем. Я решил периодически делать подборки постов по ним, чтобы удобнее было ориентироваться на канале и сохранять в закладки разом побольше полезной информации.

В этот раз будет подборка заметок об инструментах для бэкапа - #backup.

◽ Veeam Agent for Windows или Linux - известные бесплатные инструменты для бэкапа всей системы целиком или отдельных данных от одного из мировых лидеров в данной тематике.
◽ Rsync - утилита для синхронизации данных между разными хостами. Отличительной особенностью является быстродействие при работе с огромными списками исходных файлов. Я не знаю инструмента, который бы быстрее rsync сравнил 2 хоста с сотнями тысяч файлов и выдал разницу между ними для копирования только изменений.
◽ Kopia - кроссплатформенная система для бэкапа файлов (Win, Lin, Mac) c GUI. Может подключаться по ssh к хостам, поддерживает подключение к storage по S3,webdav, sftp. Простая и удобная система для тех, кто хочет всем управлять через GIU. В консоль лизить не обязательно.
◽ Burp - написан на C, использует как и rsync библиотеку librsync. Работает в режиме клиент - сервер. Умеет шифрование, дедупликацию, планировщик, оповещения и т.д. Облегченная версия Bacula/Bareos для тех, кто последнюю не осилил.
◽ Syncthing - утилита для синхронизации каталогов по сети, которая работает по принципу торрент клиентов. Можно автоматически синхронизировать данные в режиме реального времени на нескольких хостах.
◽ Borgbackup - кроссплатформенная утилита для бэкапа, состоящая из одного бинарника. При этом имеет обширный функционал - дедупликация, сжатие и т.д. Работает по ssh, клиенты не нужны. Отлично подходит для использования в скриптах. Хранит данные в бинарном формате.
◽ Rsnapshot - написан на perl, под капотом обычный rsync. По сути это скрипт для автоматизации бэкапов с помощью rsync. Он умеет делать инкрементные бэкапы, ротировать их и чистить устаревшие данные. Для экономии места хранилища использует hard links на одни и те же файлы в бэкапах.
◽ BackupPC - полноценная кроссплатформенная система бэкапов со своим GUI. Работает по ssh, в том числе с помощью rsync. Подойдет для тех, кто не осилил или ему не нужен весь функционал Bacula/Bareos.

Не забудьте забрать в закладки. Утилиты полезные.

#подборка #backup

Один мой знакомый написал подробную статью про установку и настройку PeerTube. Условно его можно назвать self-hosted аналогом youtube. Меня он заинтересовал в первую очередь тем, что туда можно грузить семейные записи видео и автоматически жать с разными настройками, чтобы уменьшить размер семейного архива.

Так же его можно шарить между другими членами семьи, организовав доступ бабушкам, дедушкам к просмотру видео с внуками. Я в итоге всё настроил у себя локально, чтобы супруга могла сама через веб интерфейс загружать и скачивать пережатые ролики.

Сама статья вот - https://sevo44.ru/peertube-ustanovka-na-centos/comment-page-1/ Настраивается всё практически копипастом. Но есть нюанс. Судя по всему, недавно поменялись зависимости пакетов и поставить ffmpeg на Centos 8 не получается. Я и так, и сяк подходил к вопросу, но так и не понял, как сейчас разрулить корректно зависимости - ffmpeg-lib хочет libaom одной версии, а в репах лежит другая версия. В итоге решил вопрос вот так:

# dnf install libaom
# dnf install ffmpeg --nobest

Дальше всё копипастом по статье можно. Единственное, я не делал проксирующий сервер и не настраивал https. Сделал доступ просто по локальному IP. Мне для дома и так сойдет. Пришлось немного поправить конфиги самого peertube.

Интерфейс PeerTube приятный и понятный. Можно грузить ролики, обмениваться. При желании можно организовать публичный доступ к этой штуке. В общем, любопытный и масштабный проект. Рекомендую присмотреться, если нужно что-то подобное.

​​Расскажу своими словами про индексы в Mysql. Информация теоретическая и будет скорее всего актуальна и для других баз, но лично я из всех баз больше всего работаю с Mysql. Рассказать про индексы решил, так как знать их хотя бы немного необходимо и системному администратору, и devops инженеру. Я сам долгое время только примерно представлял, что это вообще такое, но в итоге разобрался со временем.

Индексы нужны, чтобы быстро находить данные в базе. Например, у вас есть таблица, где 10 тысяч строк и колонка с датами. Вам нужно быстро найти какую-то дату. Для этого придётся каждую колонку сравнить с искомой, чтобы найти совпадения. Это долго. Вы можете создать индекс для этой колонки, который выстроит даты по порядку. В таком случае с помощью поиска вы сразу же найдёте все совпадающие значения, так как они отсортированы по порядку. Не нужно будет перечитывать всю таблицу.

Индексы могут быть разные под разные типы данных. Также они могут быть составными из нескольких колонок. Общий смысл их один - упорядочить данные для быстрого поиска, сортировки, сравнения и т.д.

На первый взгляд может показаться, что если сделать индексы на все колонки, то база будет работать быстрее. Но это не так. Перестройка индексов после изменения данных ресурсоёмкая операция, так что индексы надо использовать именно там, где они больше всего нужны. Они ко всему прочему еще и место в базе занимают.

Зачем всё это нужно знать системному администратору? В каких-то простых случаях это помогает решать проблемы производительности. К примеру, база тормозит. Включаете slow-log и смотрите все запросы, которые выполняются дольше секунды. Если явно видите, что постоянно тормозит конкретный запрос, можете ускорить его, создав индекс по нужной колонке.

Не всегда удастся разобраться в запросах и понять, куда и какой индекс добавить. Но иногда это можно сделать, так что понимание индексов вам явно лишним не будет, если вы взаимодействуете с базами данных.

#mysql

​​В шоу Холостяк давно должен участвовать айтишник. Напротив него будут сидеть 10 эйчарок из разных компаний, которые склоняют его к офферу. Он дарит розы первого впечатления от созвона и флирта в мессенджерах. Кому не досталось роз, её технарь награждает фразой «спасибо, не интересно, будем на связи».

В последней серии две леди показывают все прелести своих компаний. Одна молодая, перспективная, с красивым логотипом, манит современным стеком - стартапчик. Вторая успешная, богатая, пленит своей зарплатной вилкой - опытная госконтора. Главный герой сомневается, но после долгих раздумий выбор падает на первую.

В финальной сцене мы узнаём, что новой подругой айтишника оказывается его бывшая, которая сделала пластику. И из СберТеха он перешел работать в Сбер.

Мужчины и немногочисленные женщины из сферы IT. Настал наш звездный час. Зарплаты растут вместе с дефицитом кадров. Не упускайте своих возможностей... И учитесь программировать 😁

Диалоги на картинке реальные, я нашел их лично и перечитал. Было интересно.

https://clck.ru/WGVJN (linkedin)
https://clck.ru/WGVK9 (facebook)

Недавно уже делал заметку о настройке mysqldump для бэкапа баз данных mysql. Продолжу тему и приведу еще несколько полезных примеров из практики.

Чаще всего база дампится целиком. Если вам нужно восстановить отдельную таблицу из полного дампа, то простого способа сделать это нет. Я решаю эту задачу в консоли с помощью линуксовых утилит.

cat dbase.sql | /usr/bin/awk '/CREATE TABLE `b_catalog_discount`/,/UNLOCK TABLES/' > /tmp/b_catalog_discount.sql

Ищу в дампе строку CREATE TABLE и UNLOCK TABLES и сохраняю все, что между этих строк. Такой способ сработает, если вы дампите с ключами add-locks и create-options. Если дампите без них, по посмотрите сами, какие строки окаймляют создание таблиц в дампе.

Если нужно сделать потабличный дамп баз данных, использую простой скрипт с циклом:

#!/bin/bash
USER='root'
PASS='pass'

MYSQL="mysql --user=$USER --password=$PASS --skip-column-names";
DIR="/tmp/backupdb"

for s in mysql `$MYSQL -e "SHOW DATABASES"`;
  do
  mkdir $DIR/$s;
  for t in `$MYSQL -e "SHOW TABLES FROM $s"`;
do
  /usr/bin/mysqldump --user="$USER" --password="$PASS" --opt $s $t |
/usr/bin/gzip -c > $DIR/$s/$t.sql.gz;
done
done

Данный скрипт сделает потабличный бэкап всех баз данных и положит каждую базу данных в отдельную директорию. Если вам нужна будет конкретная база данных, то замените конструкцию `$MYSQL -e "SHOW DATABASES"` на имя нужной базы данных.

Восстановить всю базу из потабличного бэкапа можно тоже скриптом:

#!/bin/bash
DB=dbase;
USER='root'
PASS=''pass
DIR="/tmp/backupdb/dbase"

for s in `ls -1 $DIR`;
  do
  echo "--> $s restoring... ";
  zcat $DIR/$s | /usr/bin/mysql --user=$USER --password=$PASS $DB;
  done

Удобнее не использовать в скриптах пользователя и пароль, а задавать их в ~/.my.cnf, обязательно ограничив доступ на чтение.

#mysql #backup #bash

​​Во всех моих заметках на тему бэкапа в комментариях обязательно кто-нибудь посоветует UrBackup. Я решил посмотреть на этот софт.

https://www.urbackup.org/

Сразу скажу, что штука очень крутая. Странно, что я ранее о ней особо не слышал и никогда не пользовался. Это кроссплатформенная система бэкапа с управлением через встроенный веб интерфейс. Причем что клиенты, что сервер могут быть подняты на разных системах, в том числе Windows и Linux.

Я для теста сервер поднял в Docker на Centos 8, а забэкапил с помощью клиента Windows систему. UrBackup позволяет делать резервные копии как системы целиком, так и отдельных директорий и файлов.

Это полноценная система резервного копирования. Она умеет разграничивать доступ по пользователям и интегрироваться с LDAP, рассылать оповещения о задачах, делать полные и инкрементные копии, поддерживает расписание и многое другое. То есть закрывает все базовые вопросы по бэкапу.

Попробовать систему проще простого. Как я уже сказал, запустил сервер в докере и сразу же зашёл через веб интерфейс. Команда на запуск:

docker run -d --name urbackup-server-1 -v /mnt/backups:/backups -v /mnt/database:/var/urbackup -p 55413-55415:55413-55415 -p 35623:35623/udp uroni/urbackup-server

Интерфейс управления по адресу http://10.20.1.16:55414. Далее ставите на Windows клиента с помощью простого установщика и быстро там же настраиваете, что бэкапить. Потом возвращаетесь в веб интерфейс сервера и добавляете по ip адресу комп, куда клиент поставили.

И всё, сразу начинается бэкап с дефолтными настройками сервера. Можете заранее их посмотреть и поменять. Настраивается частота бэкапа, политика хранения и создания полных и инкрементных бэкапов и многое другое.

Есть русский язык как в клиенте, так и в сервере. По смыслу всё нормально переведено, но кое-где интерфейс кривоват: пробелов не хватает или разъезжается текст. В английской версии аккуратнее смотрится.

Система очень понравилась в первую очередь функционалом и простотой настройки. Особо красноглазить в консоли не надо. Все базовые потребности можно закрыть веб интерфейсом. По надежности и скорости работы ничего сказать не могу. Но судя по тому, как часто UrBackup рекомендуют, у него с этим всё в порядке.

Из того, что я обозревал на канале, больше всего похоже на Kopia и BackupPC. Но на первый взгляд по функционалу, удобству и простоте превосходит их. Так что рекомендую. Спасибо всем, кто посоветовал эту программу.

#backup

Я неоднократно уже упоминал на канале про ELK Stack. Это достаточно громоздкая, тяжелая в плане ресурсов и не очень простая в плане настройки система хранения и анализа логов. Но она очень функциональная и полезная. Эту услугу можно купить как сервис, а не разворачивать и настраивать на своих мощностях. 

Для теста можно взять 14-ти дневный триал и посмотреть, как там всё работает. Если понравится, можно перейти на платный тариф. Самый простой стоит 16$ в месяц. Для начала хватит. Это дешевле стоимости виртуальных машин, которые вам понадобятся, если будете арендовать VPS под них. Для небольшого проекта это однозначно выгоднее, чем устанавливать и поддерживать свой сервер. 

У меня есть статья с пошаговым руководством, как всё запустить и потестировать работу с использованием триала. Для примера я собираю логи веб сервера от сайта на bitrix и отправляю в elastic cloud.

https://serveradmin.ru/bystraya-nastrojka-elastic-stack-v-elastic-cloud-dlya-sbora-logov/

#elk #devops

​​Делюсь с вами любопытным сервисом, которым можно пользоваться бесплатно с некоторыми ограничениями. Мне понравилась его идея, хотя она на поверхности и не сказать, что закрывает острую потребность. Тем не менее мне он показался полезным. Авторы называю его Cron Job Monitoring.

Сервис - https://healthchecks.io. В него можно отправлять вывод скриптов или кроновских задач. Чтобы долго не рассказывать, просто покажу на примере. Возьмем утилиту certbot, которая регулярно запускается на сервере по крону. Зарегистрировавшись в healthchecks вы получаете для каждого задания ссылку вида https://hc-ping.com/dad1acc5-2e1e-47cb-a55a-ff45bee47537, по которой можете обращаться к сервису.

Теперь делаем простой скрипт:

#!/bin/sh
/usr/bin/certbot renew
curl -m 10 --retry 5 https://hc-ping.com/your-uuid-here/$?

Мы запускаем certbot, а статус работы команды отправляем в сервис. Напомню, что $? в баше выводит результат работы команды: 0, если все ОК, и 1, если ошибка.

Если у вас будет ошибка, то healthchecks зафиксирует это и отправит уведомление на почту. Результаты работы скрипта будут храниться в healthchecks. Помимо кодов ошибок, можно и текст вывода направить туда же:

#!/bin/sh
m=$(/usr/bin/certbot renew 2>&1)
curl -fsS -m 10 --retry 5 --data-raw "$m" https://hc-ping.com/your-uuid-here

В таком случае в сервис улетит весь вывод команды. Ну и так далее. Думаю, идею вы поняли. У healthchecks есть много всяких интеграций, в том числе с мессенджерами. На бесплатном тарифе можно получить 10 ссылок для 10-ти задач. А хранение истории ограничено 100 записями для каждой задачи.

Сервис будет полезен для каких-то одиночных скриптов бэкапа на сервере, или того же certbot, который у меня много где работает. Хотя лично я всё замыкаю на Zabbix и большой потребности в подобном функционале не испытываю, но кому-то может пригодится.

#сервис

Всех с пятницей и окончанием рабочей недели. Хочу порекомендовать вам посмотреть на досуге любопытный канал, который я недавно нашел и посмотрел несколько видео оттуда. Например, вот это.

https://www.youtube.com/watch?v=avl5rVi-HNo (ссылка тут для тематического превью к заметке 😁)

Автор, судя по всему, как-то связан с IT, так как много роликов из этой сферы, но не только. Я пока ехал с выставки малоэтажного домостроения, посмотрел его ролик, как собирать электрощит для частного дома и вынес для себя несколько полезных советов. Например, повесить на отдельный автомат холодильники. У меня их будет два. Это удобно, когда надо будет обесточить дом во время длительного отъезда, а холодильники оставить включенными.

Видео там на разные тематики, но где-то половина айтишные. Мне понравилась подача материала и сам автор. Есть ролики на тему мотивации, распорядка дня и т.д. Мне близка озвученная позиция.

По нашей теме тоже есть, что посмотреть. Например, наглядно показано как настроить доступ к локальному nextcloud, расположенному дома без внешнего IP, соединив его по vpn с арендуемой виртуальной машиной. Далее через nginx проксируем запросы на этот nextcloud по vpn, настроив доменное имя и https. Для меня всё это не новость, так как я так же к домашним серверам прокидываю доступы, но если вы не умеете это делать, то в видео наглядно все показано и доступно объяснено.

К сожалению, роликов не очень много и я понимаю, почему. Они очень качественно сделаны и отлично проработаны. Времени записать подобный материал надо много. Но с помощью youtube его не получится монетизировать и как-то окупить. А на одном энтузиазме регулярно записывать такие видео не будешь.

Если вы знаете какие-то классные каналы IT тематики, прошу поделиться. Мне кажется, я в ютубе уже все, что можно, разыскал и посмотрел по нашей теме. Люблю что-то познавательное и развивающее в русле своей профессии смотреть, но в ютубе, к сожалению, эта тематика слабо представлена.

#видео

​​Моя эпопея с Proxmox 7 не закончилась. Он продолжает периодически жестко зависать, выпадая в Kernel Panic. Спасает только ресет. Мой домашний сервер под тестову лабу практически недееспособен. Подводит в самый неподходящий момент. Как же хорошо, что я больше ничего не обновил. Продолжаю исследование. Виснет при дисковой активности, но не всегда и не сразу.

На официальном форуме proxmox видел мнение, что виной всему значение aio, которое раньше было native по дефолту, а теперь io_uring. Это одно из значительных нововведений новой версии. Есть сообщения, что возврат на native решает проблему. Речь идёт вот о чем.

В конфиге VM есть описание диска. Конфиг тут /etc/pve/qemu-server/133.conf. Нужно к параметру диска добавить в конец aio=native, примерно так:

scsi0: raid10:vm-133-disk-0,size=50G,aio=native

Проверить параметр можно через консоль:

qm showcmd 133 --pretty | grep aio

В выводе увидите реальное значение параметра. Если вручную ничего не добавлять, то будет io_uring. Ваша задача заменить на native.

Я попробовал и пока гипервизор ни разу не завис. К сожалению, это не показатель. Надо больше времени на тесты. Я загрузил три виртуалки и на всех трех запустил тесты дисков на длительный срок. Ничего не зависло. Раньше где-то в 80-90% зависало. Буду дальше наблюдать.

#proxmox

​​Отличительной особенностью Proxmox от других систем виртуализации является то, что у него в дефолтной поставке есть возможность бэкапить виртуальные машины. Причем поддерживаются не только простые бэкапы, но и некоторое управление хранением. Это как раз то, что отличает его от других систем, где вопрос бэкапа нужно решать сторонними средствами.

Для того, чтобы правильно настроить политику хранения, есть удобный калькулятор, где наглядно показано, какие именно бэкапы будут сохраняться при той или иной схеме - https://pbs.proxmox.com/docs/prune-simulator/

Например, я чаще всего использую схему, когда хранятся 7 последних дневных архива, 4 недельных и 6 или 12 месячных. То есть мы можем откатиться назад на любой день в течении последних 7-ми дней. Далее с 8-го по 30-й день у нас есть только 4 недельных бэкапа. А еще дальше только месячные бэкапы.

Для реализации такой схемы делаются следующие настройки параметров Backup Retention в Storage, куда будут складываться бэкапы:
◽ Keep Daily: 7
◽ Keep Weekly: 4
◽ Keep Monthly: 6
Остальные значения не указываем.

Дальше настраиваете задание бэкапа, а хранилище будет автоматически их чистить.

#proxmox

​​Собираю очередную подборку уже опубликованных в канале заметок, объединенных одной темой. Сегодня будет подборка систем мониторинга - #мониторинг.

▪ Munin - небольшой локальный мониторинг сервера или виртуальной машины. Данные хранятся локально в rrdtool, субд не нужны. Написан на perl, так что очевидно, что это очень старая система мониторинга, но при этом до сих пор поддерживается и развивается.
▪ Netdata - достаточно функциональный мониторинг с очень простой установкой. Функционал расширяется за счет готовых collectors. Руками ничего допиливать не надо. Данные со своих северов можно отправлять в бесплатный облачный dashboard и там просматривать.
▪ LibreNMS - мониторинг с упором на сетевое оборудование. Модный, современный, молодежный. Можно запускать в Docker, есть интеграция с Grafana, умеет хранить данные в InfluxDB. Под капотом полноценная система с автообнаружением, api, оповещениями, LDAP и т.д.
▪ Monitorix - маленьких, легковесный мониторинг для одиночных систем. Написан на perl, данные хранит в rrd. Для всех метрик автоматически генерирует png картинки. Мониторинг очень старый, но поддерживается и развивается. Есть много интеграций с софтом. Основная фишка - очень легковесный.
▪ Veliam - система управления инфраструктурой 3 в одном: мониторинг, helpdesk система и удаленный доступ к серверам и рабочим станциям. Продается как saas, так и self-hosted версия. Есть полнофункциональная бесплатная лицензия на ограниченное количество хостов. Собирает метрики без агентов, по ssh, wmi и snmp. Серверная часть ставится на Windows.
▪ Observium - полнофункциональная система мониторинга с автообнаружением, готовыми интеграциями с софтом и железом, api и т.д. Упор сделан на сетевые устройства и сбор метрик по snmp, но обычные сервера тоже поддерживает. Руками допиливать не надо, всё из коробки работает.
▪ Newrelic - очень крутой и навороченный мониторинг всего и вся, в том числе и серверов. Продается по подписке saas, но есть бесплатный тариф для нескольких серверов. Отличительная особенность - очень функциональные и удобные визуализации, которых больше просто нет ни у кого. Ресурсов сервера кушает много для своей работы.

Если у вас есть на примете еще какие-то интересные системы мониторинга, о которых я не делал заметок, поделитесь информацией о них. Zabbix и Prometheus не в счет 😄. Их и так все знают. Сам знаю и некоторое время использовал Nagios. Надо будет заметку написать. Как-то проводил собеседование с админом, который построил мониторинг на базе Nagios сотен, если не тысяч хостов. Подробности уже забылись, но помню, что число меня очень впечатлило. Немного обсудил с ним эту тему.

#подборка #мониторинг

Я вчера вечером шапочно познакомился с очень любопытным сервисом по автоматизации рутинных задач с помощью API различных сервисов. Тема вроде бы не айтишная, но набор возможностей позволяет его использовать и в наших делах. Постараюсь на пальцах объяснить, как эта штука работает.

Речь идёт про n8n.io - https://n8n.io. Это сервис, который может работать по saas подписке, либо быть развернут на вашем собственно сервере, в том числе через докер. Я развернул у себя:

docker run -it --rm --name n8n p 5678:5678 \
 -v ~/.n8n:/home/node/.n8n n8nio/n8n

N8n имеет встроенную интеграцию по api с огромным количеством сервисов. Список можно тут посмотреть - https://n8n.io/integrations. Он может откуда-то забирать информацию, как-то обрабатывать и дальше куда-то складывать. Например, вы можете создать несколько простых форм для заполнения. Затем эти данные могут автоматически заноситься в таблицу google docs, вам может отправляться емейл сообщение с заполненными данными, а в мессенджер отправляться информация о событии.

Другой пример. Вы можете ходить по api в zabbix и забирать какие-то нужные вам данные. Например, некоторые бизнес метрики и автоматически записывать их в какую-то xlsx таблицу, чтобы потом раз в месяц в удобочитаемом виде кому-то передать.

Сервис умеет складывать данные в S3, ходить куда-то по sftp или ftp. Есть интеграции со всякими треллами и ноушенами, мессенджерами и т.д. Возможности обширные, настраивается всё через веб интерфейс и человекочитаемый конструктор.

Мне показалось, это особенно удобно будет каким-нибудь сеошникам или маркетологам, которые не умеют сами скрипты делать, но при этом им надо со всяких метрик собирать данные. N8n им может очень сильно упростить жизнь. Либо банально можно какой-то сайт проверять и слать себе оповещение в телегу, когда появится новая статья.

Пару примеров можно на видео посмотреть:
◽️ Обработка данных, полученных через веб формы - https://www.youtube.com/watch?v=rn3-d4IiW44
◽️ Проверка погоды и отправка сообщения в мессенджер в зависимости от результата - https://www.youtube.com/watch?v=QhTsOMvqLuo

Еще примеры можно посмотреть на самом канале проекта - https://www.youtube.com/c/n8n-io/videos

Мне очень понравился сервис. Захотелось кучу всего автоматизировать, но по факту лично у меня нет большой нужды, хотя кое-где пригодилось бы прямо сейчас. Ко всему прочему еще и времени свободного нет, чтобы спокойно сесть, разобраться и что-то автоматизировать.

#автоматизация

​​❓ Какой шрифт в терминале предпочитаете? Я последнее время частенько стал пользоваться встроенным терминалом Windows. Обратил внимание на его шрифт. Очень понравился. Называется Cascadia Mono. Это бесплатный шрифт - https://github.com/microsoft/cascadia-code.

Я установил этот же шрифт в свой любимый менеджер ssh подключений XShell 5-й версии. Эта версия была полностью бесплатной для персонального пользования без каких-либо ограничений. До этого года два использовал шрифт Consolas. Мне он нравится, но Cascadia Mono показался приятнее.

Перед тем, как использовать Consolas долго выбирал шрифт, пробовал разные, ничего не нравилось. Смотрел на чужие терминалы, перебирал цветовые схемы. Особенно долго возился с цветом в MC. Он то контрастный очень, то ничего не видно, то глаза выжигает.

В итоге как-то все организовал и не трогал несколько лет. Где-то месяц назад шрифт поменял на Cascadia Mono. Думаю, еще несколько лет ничего менять не буду.

#разное

​​Всем привет. Хочу прорекламировать сайт по продаже б.у. серверов https://ittelo.ru/ Свой первый б.у. сервер я купил как раз у них то ли в 2014 году, то ли в 2015, когда резко упал рубль и покупать новые сервера стало накладно.

Тогда особо не было рынка этих серверов и выбирать было не из кого. Насколько я помню, они были одни из первых. В то время меня удивило, что сначала присылают сервер, ты его тестируешь 2 недели и только потом оплачиваешь, если все в порядке. Чтобы тебе привезли сервер, достаточно было подписать договор, проставить печати, подписи и отправить скан. Сейчас таких условий нет, отправка только после оплаты. Доставка бесплатная.

Заказал сначала сервер, потом через месяц у них же к нему купил рейд контроллер. Консультант подсказал, какой 100% подойдет. На все по кругу сэкономил примерно вчетверо по сравнению с покупкой нового сервера. Это было круто. С тех пор я купил больше б.у. серверов, чем новых. И все они до сих пор работают. То есть у меня вообще не было проблем с б.у. серверами, хотя покупал я их много и у разных поставщиков. Обычно просто выбирал там, где были подходящие модели и комплектации.

Прошло уже больше 6 лет с открытия https://ittelo.ru/, команда растет, развивается, расширяется ассортимент и штат сотрудников. Сейчас у них бесплатно можно получить консультацию it-архитектора, поможет спроектировать все по-уму. 

Так что, если в поисках сервера, обратите на них внимание.

#реклама #текст_мой #ittelo

Ранее на канале я уже упоминал про youtube канал ADV-IT. Там очень много качественных уроков по IT тематике. На днях я посмотрел двухчасовой стрим с автором канала и хочу с вами поделиться основными моментами, которые я вынес из него.

Для начала кратко расскажу об авторе, devops инженере из Канады, Денисе Астахове. Он родился в Севастополе, потом переехал в Израиль, прожил там 19 лет, отучился на программиста, но по специальности не смог устроиться, да и потом не работал. Начинал грузчиком, потом удалось устроиться в Intel на какие-то начальные менеджерские позиции, не связанные напрямую с IT. Мечтал уехать жить в англоязычную страну и сделал это, переехав и устроившись на работу в Канаде.

К 36 годам он имел опыт системного администрирования, преимущественно Windows. Linux почти не знал. В это время он понял, что хочет стать девопсом и начал целенаправленно учиться. Это к вопросу о том, когда можно зайти в IT. Было бы желание. Сейчас ему 40+, женат, двое детей. Живет и работает в Канаде, ему там нравится. Канал на youtube просто хобби. Он любит записывать уроки, делиться информацией. Лучшей мотивацией для него являются благодарности, которые он получает.

Теперь про само интервью. Ниже выжимка из него. Это не мои мысли, а Дениса, на основе его опыта и приобретенного в Канаде кругозора в IT сфере.

◽ Стать девопсом никогда не поздно, было бы желание.
◽ Devops инженеру обязательно нужно хорошо работать хоть с каким-нибудь облачным провайдером. Сейчас явная тенденция на переезд в облака всех и вся. Без этого навыка вы никуда не устроитесь.
◽ Для старта карьеры в Devops достаточно начальных знаний Linux. Он привел в пример какой-то курс, вроде от RedHat - Linux basic или что-то в этом роде. Дальше уже по ходу дела будете разбираться.
◽ Программировать девопсу не обязательно. Он в своей ежедневной работе обходится башем и очень редко пайтоном.
◽ Zabbix, Nagios и прочие системы мониторинга сейчас никому не нужны и не пользуются популярностью. Все юзают Prometheus.
◽ Зарплатный потолок девопса выше, чем у программиста. Так что в целом это более перспективное направление.
◽ Уроков на его канале достаточно, чтобы освоить уровень Devops Junior. Ему постоянно пишут благодарности в комментариях люди, которые либо сменили работу, либо получили повышение после того, как освоили информацию из его уроков.
◽ Денис не актуализирует свои сертификаты, у которых вышел срок действия. Говорит, что влом и ему это не нужно. Лучше какой-то новый получит.
◽ Сейчас огромный спрос на девопсов. Он каждый день получает предложения рассмотреть вакансию через LinkedIn.
◽ На своей работе Денис обучается и повышает скилл в рабочее время. Личное время на это не тратится. Там, где он работает, это обычная практика. Всё знать невозможно, а новые задачи подразумевают время на изучение технологии или инструмента.

Вроде бы все основное, что запомнил. Слушал днём в машине, так что не конспектировал. Записал по памяти уже вечером.

Сам стрим - https://www.youtube.com/watch?v=XrXX3ER8sOU

#видео