Написал небольшую статью по подключению к микротикам через winbox. Разобрал вопросы доступа по mac, ограничение подключения или его запрет, хранение и шифрование паролей и некоторые другие вещи.

https://serveradmin.ru/mikrotik-winbox/

#mikrotik #статья

Старенький розыгрыш сисадмина с заменой мониторов. Возможно, кто-то еще не видел. Шутка немного туповатая, но ролик смотрится задорно благодаря закадровой озвучке.

Админ, конечно, растерялся и вышел из ситуации не очень, лазая под столами. Можно было как-то отшутиться и обратно моники переставить, либо оставить как есть. Пусть возвращает обратно тот, кто это сделал.

Помнится в мою бытность сисадмином в офисе, на первое апреля кто-нибудь обязательно то мышки заменит, то телефонные провода перепутает, то еще что-то. Никогда не ходил решать такие проблемы, предлагая разобраться самим шутникам.

https://www.youtube.com/watch?v=6IXHVETDZ0k

Хочу поделиться парой советов на тему мониторинга. Они будут актуальны для любой системы, которая у вас следит за сервисами.

1️⃣ Если у вас срочные алерты висят незакрытыми днями и неделями, можете смело их отключать или менять. У меня это постоянно происходит. Изначально настраиваешь мониторинг и думаешь, что вот на это надо реагировать. А потом то времени нет, то забудешь и по факту оказывается, что алерт не очень то и важный. Периодически захожу в мониторинг и прорабатываю подобные триггеры.

2️⃣ Не всегда есть необходимость реагировать на метрики, за которыми стоят вышестоящие метрики, напрямую зависящие от первых. Лучше делать алерты на более высокоуровневые сущности. Приведу конкретный пример, о чем идет речь.

Допустим, вы мониторите доступность сайтов. Для них есть триггеры, следящие за кодами ответов веб сервера, за скоростью ответов и за полосу пропускания, с которой сайты отдают данные. Сайты живут на отдельном сервере. На этом сервере есть триггеры на нагрузку на процессор, на память и т.д.

У вас периодически случаются какие-то временные наплывы посетителей или ботов, делаются дампы базы данных, бэкапы информации и т.д. Все это может приводить к срабатыванию триггеров на память, диск, сеть и т.д. Но для вас они не являются критичными, так как основное это метрики с сайта, которые могут не выходить за определенные вами пороги. То есть по факту все в порядке, но периодически вы будете получать алерты от других метрик.

Вы можете гибко настраивать временные интервалы срабатывания триггеров, калибровать их, отлаживать пороговые значения и т.д. А можете просто все отключить и оставить алерты только на метрики непосредственно сайтов. А дальше уже разбираться, в чем была проблема, так как все данные собирались, есть графики и т.д. Вы даже триггеры можете оставить, чтобы потом проще было ориентироваться в ситуации, просто оповещения с этих триггеров отключите, чтобы они вас не отвлекали.

#zabbix #заметка

​​⚡️ В эти выходные получил отличный урок на тему мониторинга и построения инфраструктуры. Есть небольшая vpn сеть на базе openvpn. Изначально она была развернута в 2010 году.

С тех пор она переходила их рук в руки, переезжала с сервера на сервер. При этом неизменными оставались 2 вещи:

1️⃣ Реализация на базе openvpn.

2️⃣ Корневой CA сертификат центра сертификации для подписи клиентских сертификатов.

Когда я в мониторинге увидел, что все вообще развалилось, подумал, что либо проблемы с интернетом на сервере мониторинга, либо на openvpn сервере. После того, как убедился, что и там, и там все в порядке, крепко призадумался.

Пошел на vpn сервер и увидел по всем туннелям кучу всяких ошибок на подключение клиентов. Сразу стало видно, что упали все туннели для всех клиентов. В голове мелькнула мысль, что протух самоподписанный CA, хотя я с этим ни разу не сталкивался. Проверил и убедился, что это так.

CA сертификат генерировался с помощью скриптов easy-rsa, где по дефолту срок жизни сертификата стоит 10 лет. Обычно никому в голову не приходит это менять, так как кто планирует инфраструктуру на 10 лет вперед? Там либо ишак, либо падишах сдохнет.

По факту так и случилось, но за это время неизменно использовался один и тот же сертификат. И вот спустя 10 лет он превратился в тыкву. К удивлению обнаружил, что новый можно выпустить с привязкой к старому.

# openssl x509 -in ca.crt -days 3650 -out ca-new.crt -signkey ca.key

При этом часть клиентов сразу же подключилась и продолжила работу как ни в чем не бывало. А для части пришлось перевыпустить сертификаты с новым CA.

А у вас протухали 10-ти летние сертификаты?

Нашел любопытную утилиту для тестирования конфигурации nginx - https://github.com/yandex/gixy. Написана на python, ставится очень быстро через pip. Пример для centos 8:

# dnf install python3-pip
# pip3 install gixy
# gixy /etc/nginx/nginx.conf

И дальше смотрите рекомендации. Я протестировал на nginx, который работает в качестве proxy и получил рекомендацию, заменить

proxy_set_header Host $http_host;

на

proxy_set_header Host $host;

И тут же ссылка на описание, почему так стоит сделать - https://github.com/yandex/gixy/blob/master/docs/en/plugins/hostspoofing.md. В общем, рекомендую, особенно если на потоке много работаете с nginx. Надо будет все свои шаблоны конфигураций проверить этой штукой.

​​Вчера ушла в релиз версия Zabbix 5.2 - https://www.zabbix.com/ru/release_notes
Некоторые нововведения я уже упоминал в предыдущих заметках про Zabbix. Вот основные:

1️⃣ Появился новый тип элемента данных - script. С его помощью можно существенно расширить возможности мониторинга. Например, при наблюдении за микросервисами и приложениями. Отрадно видеть такие изменения. Явно видно, что Zabbix старается идти в ногу со временем.

2️⃣ Комплексные экраны полностью заменяются дашбордами. Их теперь можно будет создавать в шаблонах (наконец-то). Существующие экраны будут трансформированы в дашборды автоматически.

3️⃣ Появились новые функции триггеров для работы с историческими данными. В документации еще не вижу подробностей. На одном из скринов видел функцию trendavg. Надо ждать обновление доков с подробностями использования.

4️⃣ Улучшили ролевую модель прав пользователей для гранулярного управления правами. Не понял, о чем речь, не разбирался еще. Думаю, просто более гибко можно настраивать права на объекты и элементы мониторинга.

5️⃣ Появились готовые шаблоны для мониторинга Asterisk, DB Oracle, Ceph, Squid, Php-fpm. Многие костыли, которые я городил много лет для мониторинга всех этих программ, становятся не актуальными. Напоминаю, что чуть раньше появился шаблон для мониторинга mssql server.

6️⃣ Появилась встроенная поддержка протокола modbus. Я как раз недавно настраивал подобное. Для этого требовалась компиляция и установка внешнего модуля. Теперь все работает из коробки.

7️⃣ В качестве стандартного формата для шаблонов становится YAML, вместо XML.

8️⃣ Настройки языка и часового пояса вынесли наконец-то в веб интерфейс. Их можно глобально указать во время установки сервера или отдельно в настройках пользователя.

Ну и много других более мелких изменений. Я пробежался глазами по release_notes и перевел то, что показалось наиболее интересным. Еще наконец-то починили баг в Latest Data с отображением списков.

В общем, Zabbix не стоит на месте, развивается. Свою нишу в мониторинге удерживает твердо. Если кто-то не читал мою статью про сравнение Zabbix vs Prometheus, можете ознакомиться. Описал своими словами отличия.

#zabbix #заметка

​​Хочу поговорить немного про rsync. Думаю, все линуксоиды знают эту утилиту. Я постоянно ее использую в ежедневной рутине при настройке серверов. То файлы перекинуть, то бэкап на скриптах наколхозить, то репликацию каталогов настроить и т.д.

Rsync представляет огромную опасность для прода, сравнимую с опасностью от неосторожного использования rm -rf / (у меня было разок 💀). Я думаю у каждого активного пользователя rsync найдется история факапа, связанного с ним. Думаю вы уже поняли, в чем тут дело.

Чаще всего rsync используется с ключом --delete для того, чтобы удалить все файлы на приемнике, которых уже нет на источнике, с которого мы тянем файлы. Это для того, чтобы получить актуальную копию. И горе вам, если вы перепутаете местами источник с приемником. Если у вас приемник пустой, то одной простой командой с rsync вы и источник обнулите.

Стоит ли говорить, что разок я так ошибся и теперь каждый раз очень внимательно проверяю синтаксис команды, которую собираюсь запустить. Мне повезло, что когда я удалял актуальные файлы сайта с прода, успел вовремя заметить и остановить команду. В итоге удалились старые медиа файлы из архива. У меня была вторая копия данных в другом бэкапе (у вас же тоже более одного бэкапа 😎), из которой я их восстановил. Никто даже не заметил проблем, так как сайт продолжал нормально работать.

Все то же самое относится к команде find, если используете ее для удаления файлов. Я сначала направляю вывод списка найденных файлов в консоль или отдельный файл. Проверяю, что там реально то, что я хочу удалить и только после этого удаляю или ставлю в скрипт с ключом --delete или -exec rm {} \;

Были такие факапы, когда удаляли нужные файлы?

Провел обновление Zabbix до версии 5.2 на одном из своих серверов мониторинга. Это была система на Centos 8. Так же протестировал на Debian 10. Все прошло штатно без каких-то проблем. Сразу написал статью по теме.

Хотел затестить и для Centos 7 то же самое, так как у меня много серверов на этой системе, но почему-то в репах нет пакетов для семерки. И на сайте Zabbix в разделе "Загрузка" пусто. В документации тоже инфа только для восьмерки. Какая-то непонятная ситуация. Надеюсь со временем пакеты для Centos 7 тоже подвезут.

https://serveradmin.ru/obnovlenie-zabbix-5-0-do-5-2/

#zabbix #статья

Старенькое видео на тему розыгрыша пользователей с помощью компьютера 🤡 Очевидно, что способ с дисководом уже устарел, так как современные компы в основном идут без него. А так же шутка со скриншотом рабочего стола в качестве фона слегка заезжена.

Но вот вариант с автозаменой текста в Word лично мне понравился. Безобидно и забавно. Я сам бы не придумал такое. Со звуками тоже можно неплохо пошутить, правда не уверен, что системные звуки можно так запросто менять, особенно звук логона.

Благодаря обаятельной рассказчице, видео смотрится легко и приятно. Мне понравилось, поэтому делюсь.

https://www.youtube.com/watch?v=o2PnxiYlPsk

#юмор

​​Хочу в выходные немного порассуждать и поделиться мыслями на тему железа и современного ПО. Помню ВАУ эффект, когда я первый раз поставил себе SSD диск и запустил Photoshot. Он открылся моментально, хотя на обычном hdd я секунд 10-15 ждал запуска. Сейчас у меня достаточно скоростной ssd и я те же 10-15 секунд жду запуска фотошопа.

Когда у меня появился первый смартфон на Android (думаю, это была еще версия 2), обновление программ на нем занимало 30-60 секунд. Софт весил сотни килобайт или до 1-2 мб. Обновлялось все буквально за несколько секунд. Запустил, вжух и все обновилось, так как интернет через wifi уже тогда был скоростной. Сейчас софт для смартфона весит по 50-100 мб и обновление всех программ занимает значительное время. Надо запустить обновление и на 5-10 минут отложить смартфон, чтобы дождаться завершения.

Казалось бы, такой огромный скачок в технологиях за последние 10-15 лет, но по факту для пользователя ничего не изменилось. Весь прикладной софт работает со схожей производительностью, если не хуже (привет chromium, фреймворк Electron и софт на его основе). Иногда мне хочется взять что-то старое и пользоваться им. Я даже пробовал так, но увы, слишком много проблем с устаревшим ПО. То тут, то там возникают неудобства, поэтому бросил эту затею.

Пошел по пути наименьшего сопротивления - везде, где можно, ставлю хорошие ssd и наращиваю оперативную память по максимуму. К сожалению, это не гарантирует тебе быструю работу все более тормозного софта.

Например, никак не ускорить работу почты gmail. Гугл постоянно ставит палки в колеса при использовании сторонних почтовых клиентов по imap, так что активно пользоваться ими неудобно. Думаю, скоро настанет момент, когда он его вообще отключит. Но при этом веб интерфейс очень тормозной и неотзывчивый, какой бы супер-пупер мощный компьютер ты не взял.

Понятно, что можно не использовать gmail, но тем не менее, тенденция налицо. От чего-то ты можешь отказаться, а где-то у тебя и выбора не будет. И чем дальше, тем хуже в этом плане. Например, попробуйте купить смартфон с размером экрана 4-5 дюймов. Это удивительно, но их вообще нет в продаже.

Наивных и доверчивых людей до сих пор обманывают, говоря, что капитализм это хорошо - конкуренция, качество, свобода и вот это вот все. А по факту мы видим практически полное доминирование монополий на рынке ИТ. И никакого выбора у нас уже нет. Для меня лично все это не новость, так как еще в юности читал книгу Джека Лондона - Железная пята, где описано все то же самое, только на другом технологическом укладе. Я вообще все его произведения читал по несколько раз, так что смело могу рекомендовать к прочтению в любом возрасте и любое произведение.

Посмотрим, к чему мы вы итоге придем с таким подходом. Предпосылок к перелому этой тенденции я лично сейчас не вижу. По крайней мере без каких-то внешних крупных изменений. Например, переход на новый технологический уклад в результате доступа к новым источникам энергии с плотностью в разы больше, чем есть сейчас.

​​⚠️ Регулярно сталкиваюсь с одной и той же проблемой при восстановлении из бэкапа или клонировании виртуальной машины. Не важно, для чего это делается и в каких условиях. В одной сети оказываются две виртуалки с одинаковыми MAC адресами.

Это приводит к сетевыми проблемам, причем не очевидным. Вас просто начинает время то времени отключать от rdp или ssh. Наблюдается нестабильная работа сети на виртуальных машинах с одинаковыми маками. Когда я первый раз с этим столкнулся, долго не мог понять, в чем проблема. Вроде все работает, но нестабильно. Потом все-таки догадался проверить mac адрес. Какое-то чутье помогло понять, что проблему надо искать там.

❗️ Так что важно не забывать менять у виртуальной машины MAC адрес, если клонируете ее. Я это делаю часто, в основном для проверки каких-то обновлений. Для этого восстанавливаю машину из бэкапа (заодно и бэкап проверяю), меняю ip адрес, подключаю к сети, спокойно и без спешки проверяю все, что надо, удаляю.

Сталкивался с подобной ошибкой в разных гипервизорах, так как она не привязана к ним. Ошибка чисто сетевая. Особых проблем не принесет, просто пакеты начинают скакать то к одной виртуалке, то к другой. В итоге сеть работает нестабильно, соединения рвутся.

🏃🏻‍♂️ Ускорение Wordpress

Периодически мне попадаются статьи на тему ускорения работы Wordpress. Чаще всего там фокусируются на кэширующих плагинах, сравнивая разные версии, платные, бесплатные и т.д. Как по мне, так это все пустое. Что там может принципиально отличаться в кэшировании на уровне плагинов? Кто-то умудряется даже продавать подобные плагины по подписке 😱

Я всегда действую просто и максимально эффективно, когда речь идет о контентном сайте со статическим содержимым.

1️⃣ Ставлю бесплатный кэширующий плагин WP Super Cache. Он формирует полноценные статические html страницы. Из настроек там стоит уделить внимание параметрам обновления кэша. Все остальное вторично.

2️⃣ Настраиваю отдачу сформированной плагином статики напрямую через nginx. Посетителям сразу же показываются готовые html страницы. Нет вообще запросов к тормозному бэкенду на php + mysql. Если хочется еще сильнее ускориться, собираю nginx с brotli. Получите +10-15% к сжатию по сравнению с gzip.

3️⃣ Настраиваю сжатие картинок, опционально в том числе и в webp. Использую EWWW Image Optimizer либо WebP Express.

Это дает максимальный эффект, закрывая вопросы ускорения процентов на 80-90. Все остальное добавит копейки и можно не заморачиваться, если полученный результат устроит. Немного по тестированию и ускорению сайта есть в моей статье - Оптимизация скорости сайта, аудит сайта.

🤝 Приветствую своих дорогих читателей. Я решил пройти видеокурс от slurm на тему ci/cd - https://slurm.io/ci-cd. Думаю, многие уже видели ранее анонсы этого курса в других админских каналах.

Ранее у меня уже был положительный опыт в этой школе. Я проходил у них обучение по kubernetes. У меня с нуля получилось освоить достаточно непростой инструмент. Даже несколько содержательных статей по этой теме удалось написать спустя пол года после обучения, хотя не практиковался в этой теме.

Здесь будет принципиально другой формат - онлайн обучение по графику, который выбираешь сам. На первый взгляд это более привлекательно, чем трехдневный интенсив, на который не так просто выделить время. Но посмотрим, что будет на практике. Удастся ли себя заставить заниматься систематически, получится ли так же эффективно освоить материал?

По окончанию курса напишу свой отзыв как о самом курсе, так и о подобном формате обучения. В последнее время он стал очень популярен. Заодно будет интересно сравнить свои разрозненные знания самоучки по ci/cd с систематизированным курсом от профильных специалистов.

​​Любопытное наблюдение. Провел тут недавно опрос про невнимательность и ошибки при использовании rsync. И вот что удивительно. Результаты опроса диаметрально противоположные для аудитории VK и Telegram. Я даже не понял, с чем это связано.

В ВК сидят такие крутые админы, что редко ошибаются? А может просто rsync не используют, поэтому и ошибок с ним связанных нет? И "нет" выбирали как раз те, кто не пользуется и соответственно не ошибаются? Или дело в разной формулировке вопросов? Хотя при их составлении я подразумевал одно и то же.

Наглядный пример, как можно манипулировать статистическими данными. По разному формулируя вопрос и подбирая определенным образом варианты ответов, можно получать диаметрально противоположные результаты. У меня это невольно получилось.

​​Раз уж у нас сегодня внеплановый выходной, продолжаем околоайтишную тематику. Недавно я прилично удивился, увидев системный блок более чем за 5 млн. рублей (стартовая цена на Audi Q8). До этого мне приходилось видеть системники за 1-2 млн. и тогда мне казалось, что это предел. Как же я ошибался.

🔥 Вот он - наш чемпион:

- 28-ядерный процессор Intel Xeon W с тактовой частотой 2,5 ГГц, ускорение Turbo Boost до 4,4 ГГц;
- 1,5 ТБ (12 модулей по 128 ГБ) памяти DDR4 ECC;
- Два графических процессора Radeon Pro Vega II с 2 модулями памяти HBM2 по 32 ГБ на каждом;
- SSD‑накопитель ёмкостью 8 ТБ;
- Ускоритель Apple Afterburner;
- Корпус из нержавеющей стали, с колёсиками.

Если забудете взять колесики, можно купить отдельно за 69990. В комплекте будет кабель питания (еще не догадались убрать) и бесплатная доставка.

Я не буду здесь писать, как любят многие не имеющие возможность подобное приобрести, что эта штука не стоит своих денег, можно собрать дешевле и т.д. По мне так это крутая штука и если бы была возможность, я бы приобрел. Ничего красивее, функциональнее и производительнее для рабочей станции видеть не приходилось. Теперь на компьютеры HyperPC, похожие на новогодние гирлянды, даже смотреть не хочется.

Вы знали, что существуют такие дорогие персональные компьютеры?

​​Недавно обращался в тех. поддержку Яндекса по поводу работы их почты с прикрепленного домена. Много лет все было в порядке, а с недавнего времени стала через раз доставляться в gmail. Тот футболил ее, как похожую на спам, хотя похожа она не была.

В DNS не была добавлена запись с DKIM, поэтому тех. поддержка рекомендовала ее добавить. Вообще, я думал с Яндекса и так траст большой, должно и без dkim работать. Оно и работало всегда, а потом перестало.

Но не суть. Рассказать то я хотел не об этом. Тех. поддержка для проверки корректности настроек записей прислала ссылку на онлайн сервис - https://digwebinterface.com. Хотя подобных сервисов навалом, конкретно тут понравилось вот что:

1️⃣ Можно сформировать ссылку, в которой уже будут заполнены различные параметры. Как раз подобную ссылку тех поддержка и отправила.

2️⃣ Можно вывести синтаксис утилиты dig и проверить результат где-то на другом linux сервере.

3️⃣ Можно быстро выбирать из списка наиболее популярные dns серверы.

В общем, добавил этот сервис в закладки, буду пользоваться им. Раньше использовал другой, но этот лучше.

#сервис

Забавная переозвучка на айтишную тематику фрагментов фильма "Волк с Уолл-стрит". Странно, что это видео с более чем 3-мя миллионами просмотров раньше мне не попадалось. Посмотрел первый раз. Не скажу, что прям сильно-сильно понравилось, но в целом качественно сделано. Некоторые перлы особенно хороши.

- Да, малыш, сделай мне больно!
- Goto в коде программы.
- Ааааа, это чересчур.

- Заходим мы, значит, к ней, и тут она показывает новенький Invasion. Аэрография, подсветка, водяное охлаждение...
- Я всё подключил, поставил для теста Батлу. И ты не поверишь - на ультрах стабильно 60 fps.
- Эх ты, а говоришь, не тупой - Ведьмака надо было ставить.

и т.д. В общем, рекомендую к просмотру.

https://www.youtube.com/watch?v=WT82dSzZTKs

#юмор

Я уже много лет использую систему для совместной работы и редактирования документов onlyoffice. По сути, это аналог Google docs, только его можно установить на свой собственный сервер. При этом есть полнофункциональная бесплатная версия, которая закрывает многие типовые потребности в работе с документами.

У меня накопился некоторый опыт по эксплуатации этой системы, поэтому решил поделиться и оформить в статью. Возможно будет развитие темы.

https://serveradmin.ru/ustanovka-i-nastrojka-onlyoffice/

#onlyoffice #docs

Посмотрел интересное выступление PostgreSQL на K8s в Zalando: два года в бою и решил поделиться основными моментами, на которые обратил внимание лично я. Меня интересует тема баз данных, потому что считаю ее одной из ключевых в построении отказоустойчивых систем. И при этом хуже всего проработанной, так как до сих пор нет простого, удобного, надежного кластерного решения. Приходится пробовать разные варианты и везде соглашаться на какие-то компромиссы.

В видео рассказывается, как крупная компания переехала в кластер Kubernetes и перенесла туда почти все свои базы данных Postgresql. Вот на что обратил внимание лично я:

1️⃣ Внедрение микросервисов привело к тому, что появились сотни отдельных кластеров БД под каждый микросервис. За удобство разработки пришлось заплатить такой ценой. Можно представить, какой там перерасход железа идет на все эти микросервисы и абстракции вокруг них. Да еще и отдельный кластер для каждого сервиса. Хоть они чаще всего очень маленькие по объему, но тем не менее.

2️⃣ Для самых нагруженных и объемных кластеров приходится как и раньше использовать традиционные кластера на железе. То есть в итоге имеем переусложненную инфраструктуру под базы данных, где присутствуют кластеры в кубернетисе и на железе одновременно.

3️⃣ Для k8s есть вполне надежный failover postgresql - patroni.

4️⃣ Администраторам кластеров баз данных приходится регулярно вставать по ночам и решать проблемы. Зачем так жить 😱

#видео

Тайм-менеджмент для системных администраторов

Я давненько уже написал обзор книги на тему тайм менеджмента для системного администратора. Думаю, многие подписчики канала ее не читали. Решил напомнить про статью и порекомендовать прочитать.

От традиционных подходов в этой области системных администраторов отличает то, что они постоянно отвлекаются на текущие задачи и это мешает им работать над долгосрочными проектами. Автор книги прорабатывает этот момент.

Со времени написания статьи у меня мало что поменялось в организации рабочего процесса. Я по прежнему придерживаюсь озвученных принципов и в целом доволен, как удается решать задачи. Советую очень внимательно и вдумчиво прочитать мою статью. Я потратил на нее много времени, постарался хорошо проработать и дать самую суть. Применение на практике советов из статьи вам помогут улучшить свою производительность.

Вообще, самодисциплина и умение организовать себя на продуктивную деятельность - основа успеха любой деятельности. Какой бы ты умный специалист не был, но если регулярно что-то забываешь или динамишь заказчиков, ничего путного не получится.

Ведешь где-то отдельно список дел?