Собрал большую статью из основных материалов моего сайта, касающихся работы небольшого офиса (шлюз, почта и т.д.). Немного дополнил все это своими мыслями и соображениями. Привел конкретный пример с приобретением железа и распределения нагрузки виртуальных машин.

В очередной раз напоминаю, что все написанное мной на сайте не истина в последней инстанции. Я просто делюсь своим опытом, который может быть всяким, как полезным так и ошибочным.

Для всех замечаний есть комментарии, которые я не модерирую, удаляя только спам. Остается все, в том числе и критика. Все замечания по существу я учитываю и потом использую при очередном обновлении статьи. Некоторый материал обновлялся уже по 3-4 раза на сайте за все время его существования.

https://serveradmin.ru/postroenie-it-infrastruktury-nebolshogo-ofisa/

Смотрел недавно запись выступления с HighLoad++ 2019 MySQL 8 vs. MariaDB 10.4 - Feature Comparison. Всегда было интересно узнать, чем реально отличается Mysql от своего форка MariaDB, который теперь по дефолту почти во всех репах популярных дистрибутивов Linux. Связано это с особенностью лицензирования Mysql, в то время как Mariadb "fully GPL licensed"

Хотел сделать выжимку из выступления, потом передумал, потому что все уже сделано за меня. Есть две замечательные презентации. В первой начиная с 10-го слайда идут конкретные сравнения функционала. А во второй сравнение производительности разных версий Mysql, в том числе MariaDB. Можете сразу мотать в середину к графикам.

Если верить представленным тестам, то Mysql 8 быстрее всех остальных. Насколько можно судить о достоверности полученных данных - не знаю. У меня нет возможности их проверить. У автора тестов интересный блог - http://dimitrik.free.fr/blog/. Например, вот статья на тему того, какая файловая система, xfs или ext4 лучше для mysql сервера.

По сравнению mysql vs mariadb вынес для себя следующее:

1️⃣ В обычном, не highload проекте, без тонкого тюнинга бд вы не заметите существенной разницы в производительности.
2️⃣ Более заметна разница в дополнительном функционале, который может сильно различаться (auditing, backup, cluster и т.д.)
3️⃣ Для MySQL существует версия Enterprise Edition с платным расширением функционала.

#mysql #заметка

Очень информативный вебинар на тему предобработки данных на самом Zabbix Server - https://www.youtube.com/watch?v=Q9eSrzifOOE

Для тех, кто не понимает, о чем идет речь, приведу пару примеров. С помощью предобработки данных можно сразу же в айтеме выполнить какое-то преобразование. Допустим, вы получаете json строку, а вам нужно только одно значение из нее. С помощью предобработки в виде jsonpath, вы оставляете конкретное значение, остальное отбрасываете. У меня на сайте есть пример подобной предобработки.

Так же с помощью предобработки можно регулярными выражениями парсить значение айтема. Например, вы можете через http агента забрать статус web сервера nginx и сразу же распарсить его регулярками на зависимые элементы. Этот вариант так же описан в моей статье про мониторинг nginx и php-fpm.

Ну и много других более простых преобразований, таких как арифметические действия, обрезание значений, обработка джаваскриптом и т.д. В самом видео еще больше примеров, так что советую посмотреть, если вам интересна данная тема.

Лично мне очень не хватает простого препроцессинга в виде округления дробного значения до целого. Наверно это можно делать с помощью javascript, но я этого не умею.

#zabbix #заметка #видео

Написал небольшую статью по подключению к микротикам через winbox. Разобрал вопросы доступа по mac, ограничение подключения или его запрет, хранение и шифрование паролей и некоторые другие вещи.

https://serveradmin.ru/mikrotik-winbox/

#mikrotik #статья

Старенький розыгрыш сисадмина с заменой мониторов. Возможно, кто-то еще не видел. Шутка немного туповатая, но ролик смотрится задорно благодаря закадровой озвучке.

Админ, конечно, растерялся и вышел из ситуации не очень, лазая под столами. Можно было как-то отшутиться и обратно моники переставить, либо оставить как есть. Пусть возвращает обратно тот, кто это сделал.

Помнится в мою бытность сисадмином в офисе, на первое апреля кто-нибудь обязательно то мышки заменит, то телефонные провода перепутает, то еще что-то. Никогда не ходил решать такие проблемы, предлагая разобраться самим шутникам.

https://www.youtube.com/watch?v=6IXHVETDZ0k

Хочу поделиться парой советов на тему мониторинга. Они будут актуальны для любой системы, которая у вас следит за сервисами.

1️⃣ Если у вас срочные алерты висят незакрытыми днями и неделями, можете смело их отключать или менять. У меня это постоянно происходит. Изначально настраиваешь мониторинг и думаешь, что вот на это надо реагировать. А потом то времени нет, то забудешь и по факту оказывается, что алерт не очень то и важный. Периодически захожу в мониторинг и прорабатываю подобные триггеры.

2️⃣ Не всегда есть необходимость реагировать на метрики, за которыми стоят вышестоящие метрики, напрямую зависящие от первых. Лучше делать алерты на более высокоуровневые сущности. Приведу конкретный пример, о чем идет речь.

Допустим, вы мониторите доступность сайтов. Для них есть триггеры, следящие за кодами ответов веб сервера, за скоростью ответов и за полосу пропускания, с которой сайты отдают данные. Сайты живут на отдельном сервере. На этом сервере есть триггеры на нагрузку на процессор, на память и т.д.

У вас периодически случаются какие-то временные наплывы посетителей или ботов, делаются дампы базы данных, бэкапы информации и т.д. Все это может приводить к срабатыванию триггеров на память, диск, сеть и т.д. Но для вас они не являются критичными, так как основное это метрики с сайта, которые могут не выходить за определенные вами пороги. То есть по факту все в порядке, но периодически вы будете получать алерты от других метрик.

Вы можете гибко настраивать временные интервалы срабатывания триггеров, калибровать их, отлаживать пороговые значения и т.д. А можете просто все отключить и оставить алерты только на метрики непосредственно сайтов. А дальше уже разбираться, в чем была проблема, так как все данные собирались, есть графики и т.д. Вы даже триггеры можете оставить, чтобы потом проще было ориентироваться в ситуации, просто оповещения с этих триггеров отключите, чтобы они вас не отвлекали.

#zabbix #заметка

​​⚡️ В эти выходные получил отличный урок на тему мониторинга и построения инфраструктуры. Есть небольшая vpn сеть на базе openvpn. Изначально она была развернута в 2010 году.

С тех пор она переходила их рук в руки, переезжала с сервера на сервер. При этом неизменными оставались 2 вещи:

1️⃣ Реализация на базе openvpn.

2️⃣ Корневой CA сертификат центра сертификации для подписи клиентских сертификатов.

Когда я в мониторинге увидел, что все вообще развалилось, подумал, что либо проблемы с интернетом на сервере мониторинга, либо на openvpn сервере. После того, как убедился, что и там, и там все в порядке, крепко призадумался.

Пошел на vpn сервер и увидел по всем туннелям кучу всяких ошибок на подключение клиентов. Сразу стало видно, что упали все туннели для всех клиентов. В голове мелькнула мысль, что протух самоподписанный CA, хотя я с этим ни разу не сталкивался. Проверил и убедился, что это так.

CA сертификат генерировался с помощью скриптов easy-rsa, где по дефолту срок жизни сертификата стоит 10 лет. Обычно никому в голову не приходит это менять, так как кто планирует инфраструктуру на 10 лет вперед? Там либо ишак, либо падишах сдохнет.

По факту так и случилось, но за это время неизменно использовался один и тот же сертификат. И вот спустя 10 лет он превратился в тыкву. К удивлению обнаружил, что новый можно выпустить с привязкой к старому.

# openssl x509 -in ca.crt -days 3650 -out ca-new.crt -signkey ca.key

При этом часть клиентов сразу же подключилась и продолжила работу как ни в чем не бывало. А для части пришлось перевыпустить сертификаты с новым CA.

А у вас протухали 10-ти летние сертификаты?

Нашел любопытную утилиту для тестирования конфигурации nginx - https://github.com/yandex/gixy. Написана на python, ставится очень быстро через pip. Пример для centos 8:

# dnf install python3-pip
# pip3 install gixy
# gixy /etc/nginx/nginx.conf

И дальше смотрите рекомендации. Я протестировал на nginx, который работает в качестве proxy и получил рекомендацию, заменить

proxy_set_header Host $http_host;

на

proxy_set_header Host $host;

И тут же ссылка на описание, почему так стоит сделать - https://github.com/yandex/gixy/blob/master/docs/en/plugins/hostspoofing.md. В общем, рекомендую, особенно если на потоке много работаете с nginx. Надо будет все свои шаблоны конфигураций проверить этой штукой.

​​Вчера ушла в релиз версия Zabbix 5.2 - https://www.zabbix.com/ru/release_notes
Некоторые нововведения я уже упоминал в предыдущих заметках про Zabbix. Вот основные:

1️⃣ Появился новый тип элемента данных - script. С его помощью можно существенно расширить возможности мониторинга. Например, при наблюдении за микросервисами и приложениями. Отрадно видеть такие изменения. Явно видно, что Zabbix старается идти в ногу со временем.

2️⃣ Комплексные экраны полностью заменяются дашбордами. Их теперь можно будет создавать в шаблонах (наконец-то). Существующие экраны будут трансформированы в дашборды автоматически.

3️⃣ Появились новые функции триггеров для работы с историческими данными. В документации еще не вижу подробностей. На одном из скринов видел функцию trendavg. Надо ждать обновление доков с подробностями использования.

4️⃣ Улучшили ролевую модель прав пользователей для гранулярного управления правами. Не понял, о чем речь, не разбирался еще. Думаю, просто более гибко можно настраивать права на объекты и элементы мониторинга.

5️⃣ Появились готовые шаблоны для мониторинга Asterisk, DB Oracle, Ceph, Squid, Php-fpm. Многие костыли, которые я городил много лет для мониторинга всех этих программ, становятся не актуальными. Напоминаю, что чуть раньше появился шаблон для мониторинга mssql server.

6️⃣ Появилась встроенная поддержка протокола modbus. Я как раз недавно настраивал подобное. Для этого требовалась компиляция и установка внешнего модуля. Теперь все работает из коробки.

7️⃣ В качестве стандартного формата для шаблонов становится YAML, вместо XML.

8️⃣ Настройки языка и часового пояса вынесли наконец-то в веб интерфейс. Их можно глобально указать во время установки сервера или отдельно в настройках пользователя.

Ну и много других более мелких изменений. Я пробежался глазами по release_notes и перевел то, что показалось наиболее интересным. Еще наконец-то починили баг в Latest Data с отображением списков.

В общем, Zabbix не стоит на месте, развивается. Свою нишу в мониторинге удерживает твердо. Если кто-то не читал мою статью про сравнение Zabbix vs Prometheus, можете ознакомиться. Описал своими словами отличия.

#zabbix #заметка

​​Хочу поговорить немного про rsync. Думаю, все линуксоиды знают эту утилиту. Я постоянно ее использую в ежедневной рутине при настройке серверов. То файлы перекинуть, то бэкап на скриптах наколхозить, то репликацию каталогов настроить и т.д.

Rsync представляет огромную опасность для прода, сравнимую с опасностью от неосторожного использования rm -rf / (у меня было разок 💀). Я думаю у каждого активного пользователя rsync найдется история факапа, связанного с ним. Думаю вы уже поняли, в чем тут дело.

Чаще всего rsync используется с ключом --delete для того, чтобы удалить все файлы на приемнике, которых уже нет на источнике, с которого мы тянем файлы. Это для того, чтобы получить актуальную копию. И горе вам, если вы перепутаете местами источник с приемником. Если у вас приемник пустой, то одной простой командой с rsync вы и источник обнулите.

Стоит ли говорить, что разок я так ошибся и теперь каждый раз очень внимательно проверяю синтаксис команды, которую собираюсь запустить. Мне повезло, что когда я удалял актуальные файлы сайта с прода, успел вовремя заметить и остановить команду. В итоге удалились старые медиа файлы из архива. У меня была вторая копия данных в другом бэкапе (у вас же тоже более одного бэкапа 😎), из которой я их восстановил. Никто даже не заметил проблем, так как сайт продолжал нормально работать.

Все то же самое относится к команде find, если используете ее для удаления файлов. Я сначала направляю вывод списка найденных файлов в консоль или отдельный файл. Проверяю, что там реально то, что я хочу удалить и только после этого удаляю или ставлю в скрипт с ключом --delete или -exec rm {} \;

Были такие факапы, когда удаляли нужные файлы?

Провел обновление Zabbix до версии 5.2 на одном из своих серверов мониторинга. Это была система на Centos 8. Так же протестировал на Debian 10. Все прошло штатно без каких-то проблем. Сразу написал статью по теме.

Хотел затестить и для Centos 7 то же самое, так как у меня много серверов на этой системе, но почему-то в репах нет пакетов для семерки. И на сайте Zabbix в разделе "Загрузка" пусто. В документации тоже инфа только для восьмерки. Какая-то непонятная ситуация. Надеюсь со временем пакеты для Centos 7 тоже подвезут.

https://serveradmin.ru/obnovlenie-zabbix-5-0-do-5-2/

#zabbix #статья

Старенькое видео на тему розыгрыша пользователей с помощью компьютера 🤡 Очевидно, что способ с дисководом уже устарел, так как современные компы в основном идут без него. А так же шутка со скриншотом рабочего стола в качестве фона слегка заезжена.

Но вот вариант с автозаменой текста в Word лично мне понравился. Безобидно и забавно. Я сам бы не придумал такое. Со звуками тоже можно неплохо пошутить, правда не уверен, что системные звуки можно так запросто менять, особенно звук логона.

Благодаря обаятельной рассказчице, видео смотрится легко и приятно. Мне понравилось, поэтому делюсь.

https://www.youtube.com/watch?v=o2PnxiYlPsk

#юмор

​​Хочу в выходные немного порассуждать и поделиться мыслями на тему железа и современного ПО. Помню ВАУ эффект, когда я первый раз поставил себе SSD диск и запустил Photoshot. Он открылся моментально, хотя на обычном hdd я секунд 10-15 ждал запуска. Сейчас у меня достаточно скоростной ssd и я те же 10-15 секунд жду запуска фотошопа.

Когда у меня появился первый смартфон на Android (думаю, это была еще версия 2), обновление программ на нем занимало 30-60 секунд. Софт весил сотни килобайт или до 1-2 мб. Обновлялось все буквально за несколько секунд. Запустил, вжух и все обновилось, так как интернет через wifi уже тогда был скоростной. Сейчас софт для смартфона весит по 50-100 мб и обновление всех программ занимает значительное время. Надо запустить обновление и на 5-10 минут отложить смартфон, чтобы дождаться завершения.

Казалось бы, такой огромный скачок в технологиях за последние 10-15 лет, но по факту для пользователя ничего не изменилось. Весь прикладной софт работает со схожей производительностью, если не хуже (привет chromium, фреймворк Electron и софт на его основе). Иногда мне хочется взять что-то старое и пользоваться им. Я даже пробовал так, но увы, слишком много проблем с устаревшим ПО. То тут, то там возникают неудобства, поэтому бросил эту затею.

Пошел по пути наименьшего сопротивления - везде, где можно, ставлю хорошие ssd и наращиваю оперативную память по максимуму. К сожалению, это не гарантирует тебе быструю работу все более тормозного софта.

Например, никак не ускорить работу почты gmail. Гугл постоянно ставит палки в колеса при использовании сторонних почтовых клиентов по imap, так что активно пользоваться ими неудобно. Думаю, скоро настанет момент, когда он его вообще отключит. Но при этом веб интерфейс очень тормозной и неотзывчивый, какой бы супер-пупер мощный компьютер ты не взял.

Понятно, что можно не использовать gmail, но тем не менее, тенденция налицо. От чего-то ты можешь отказаться, а где-то у тебя и выбора не будет. И чем дальше, тем хуже в этом плане. Например, попробуйте купить смартфон с размером экрана 4-5 дюймов. Это удивительно, но их вообще нет в продаже.

Наивных и доверчивых людей до сих пор обманывают, говоря, что капитализм это хорошо - конкуренция, качество, свобода и вот это вот все. А по факту мы видим практически полное доминирование монополий на рынке ИТ. И никакого выбора у нас уже нет. Для меня лично все это не новость, так как еще в юности читал книгу Джека Лондона - Железная пята, где описано все то же самое, только на другом технологическом укладе. Я вообще все его произведения читал по несколько раз, так что смело могу рекомендовать к прочтению в любом возрасте и любое произведение.

Посмотрим, к чему мы вы итоге придем с таким подходом. Предпосылок к перелому этой тенденции я лично сейчас не вижу. По крайней мере без каких-то внешних крупных изменений. Например, переход на новый технологический уклад в результате доступа к новым источникам энергии с плотностью в разы больше, чем есть сейчас.

​​⚠️ Регулярно сталкиваюсь с одной и той же проблемой при восстановлении из бэкапа или клонировании виртуальной машины. Не важно, для чего это делается и в каких условиях. В одной сети оказываются две виртуалки с одинаковыми MAC адресами.

Это приводит к сетевыми проблемам, причем не очевидным. Вас просто начинает время то времени отключать от rdp или ssh. Наблюдается нестабильная работа сети на виртуальных машинах с одинаковыми маками. Когда я первый раз с этим столкнулся, долго не мог понять, в чем проблема. Вроде все работает, но нестабильно. Потом все-таки догадался проверить mac адрес. Какое-то чутье помогло понять, что проблему надо искать там.

❗️ Так что важно не забывать менять у виртуальной машины MAC адрес, если клонируете ее. Я это делаю часто, в основном для проверки каких-то обновлений. Для этого восстанавливаю машину из бэкапа (заодно и бэкап проверяю), меняю ip адрес, подключаю к сети, спокойно и без спешки проверяю все, что надо, удаляю.

Сталкивался с подобной ошибкой в разных гипервизорах, так как она не привязана к ним. Ошибка чисто сетевая. Особых проблем не принесет, просто пакеты начинают скакать то к одной виртуалке, то к другой. В итоге сеть работает нестабильно, соединения рвутся.

🏃🏻‍♂️ Ускорение Wordpress

Периодически мне попадаются статьи на тему ускорения работы Wordpress. Чаще всего там фокусируются на кэширующих плагинах, сравнивая разные версии, платные, бесплатные и т.д. Как по мне, так это все пустое. Что там может принципиально отличаться в кэшировании на уровне плагинов? Кто-то умудряется даже продавать подобные плагины по подписке 😱

Я всегда действую просто и максимально эффективно, когда речь идет о контентном сайте со статическим содержимым.

1️⃣ Ставлю бесплатный кэширующий плагин WP Super Cache. Он формирует полноценные статические html страницы. Из настроек там стоит уделить внимание параметрам обновления кэша. Все остальное вторично.

2️⃣ Настраиваю отдачу сформированной плагином статики напрямую через nginx. Посетителям сразу же показываются готовые html страницы. Нет вообще запросов к тормозному бэкенду на php + mysql. Если хочется еще сильнее ускориться, собираю nginx с brotli. Получите +10-15% к сжатию по сравнению с gzip.

3️⃣ Настраиваю сжатие картинок, опционально в том числе и в webp. Использую EWWW Image Optimizer либо WebP Express.

Это дает максимальный эффект, закрывая вопросы ускорения процентов на 80-90. Все остальное добавит копейки и можно не заморачиваться, если полученный результат устроит. Немного по тестированию и ускорению сайта есть в моей статье - Оптимизация скорости сайта, аудит сайта.

🤝 Приветствую своих дорогих читателей. Я решил пройти видеокурс от slurm на тему ci/cd - https://slurm.io/ci-cd. Думаю, многие уже видели ранее анонсы этого курса в других админских каналах.

Ранее у меня уже был положительный опыт в этой школе. Я проходил у них обучение по kubernetes. У меня с нуля получилось освоить достаточно непростой инструмент. Даже несколько содержательных статей по этой теме удалось написать спустя пол года после обучения, хотя не практиковался в этой теме.

Здесь будет принципиально другой формат - онлайн обучение по графику, который выбираешь сам. На первый взгляд это более привлекательно, чем трехдневный интенсив, на который не так просто выделить время. Но посмотрим, что будет на практике. Удастся ли себя заставить заниматься систематически, получится ли так же эффективно освоить материал?

По окончанию курса напишу свой отзыв как о самом курсе, так и о подобном формате обучения. В последнее время он стал очень популярен. Заодно будет интересно сравнить свои разрозненные знания самоучки по ci/cd с систематизированным курсом от профильных специалистов.

​​Любопытное наблюдение. Провел тут недавно опрос про невнимательность и ошибки при использовании rsync. И вот что удивительно. Результаты опроса диаметрально противоположные для аудитории VK и Telegram. Я даже не понял, с чем это связано.

В ВК сидят такие крутые админы, что редко ошибаются? А может просто rsync не используют, поэтому и ошибок с ним связанных нет? И "нет" выбирали как раз те, кто не пользуется и соответственно не ошибаются? Или дело в разной формулировке вопросов? Хотя при их составлении я подразумевал одно и то же.

Наглядный пример, как можно манипулировать статистическими данными. По разному формулируя вопрос и подбирая определенным образом варианты ответов, можно получать диаметрально противоположные результаты. У меня это невольно получилось.

​​Раз уж у нас сегодня внеплановый выходной, продолжаем околоайтишную тематику. Недавно я прилично удивился, увидев системный блок более чем за 5 млн. рублей (стартовая цена на Audi Q8). До этого мне приходилось видеть системники за 1-2 млн. и тогда мне казалось, что это предел. Как же я ошибался.

🔥 Вот он - наш чемпион:

- 28-ядерный процессор Intel Xeon W с тактовой частотой 2,5 ГГц, ускорение Turbo Boost до 4,4 ГГц;
- 1,5 ТБ (12 модулей по 128 ГБ) памяти DDR4 ECC;
- Два графических процессора Radeon Pro Vega II с 2 модулями памяти HBM2 по 32 ГБ на каждом;
- SSD‑накопитель ёмкостью 8 ТБ;
- Ускоритель Apple Afterburner;
- Корпус из нержавеющей стали, с колёсиками.

Если забудете взять колесики, можно купить отдельно за 69990. В комплекте будет кабель питания (еще не догадались убрать) и бесплатная доставка.

Я не буду здесь писать, как любят многие не имеющие возможность подобное приобрести, что эта штука не стоит своих денег, можно собрать дешевле и т.д. По мне так это крутая штука и если бы была возможность, я бы приобрел. Ничего красивее, функциональнее и производительнее для рабочей станции видеть не приходилось. Теперь на компьютеры HyperPC, похожие на новогодние гирлянды, даже смотреть не хочется.

Вы знали, что существуют такие дорогие персональные компьютеры?