​​Я тут затестил на удивление удобную утилиту. Даже не знаю, как её обозвать. Это такой top с кучей информации не только по процессам. Речь идёт про glances.

https://github.com/nicolargo/glances

Не слышал о ней раньше, хотя на вид мне сразу показалась удобной и живет в стандартных репах. Для Centos и форков в репозитории epel. Установить можно как оттуда, так и через pip.

# dnf install epel-release
# dnf install python python-devel
# dnf install glances

Утилита написана под все современные linux системы и даже freebsd. Для нее существует куча расширений для увеличения метрик, и не только. Можно поставить веб интерфейс, чтобы через него смотреть за метриками, либо модуль для экспорта метрик в формате prometheus или elasticsearch. Через pip это ставится примерно так:

pip install 'glances[browser,docker,export]'

Такую штуку можно по дефолту ставить вместо htop. Последний я неизменно ставлю почти на все сервера под моим управлением. Очень привык, в первую очередь к древовидному отображению процессов. Очень наглядно и удобно, как по мне.

#terminal #утилита

​​Кажется закончилась моя эпопея с обновлённым гипервизором под Proxmox 7.0. Напомню для тех, кто не в курсе. Я почти сразу после выхода релиза накатил новую версию на свой домашний тестовый гипервизор. И почти сразу же словил проблему - гипервизор жёстко зависал при повышении I/O нагрузки в какой-то виртуалке.

В интернете нашлось достаточно много отзывов с похожими проблемами. Кому-то помогала замена типа процессора с [host] на [kvm64]. Мне это не помогло.

Далее я проверил гипотезу, что это из-за нововведения io_uring, который стал параметром по умолчанию для aio, заменив native. Я вернул обратно native для всех виртуалок. Подробнее об этом писал в отдельной заметке. С тех пор у меня гипервизор ни разу не завис. Так что похоже дело было именно в этом нововведении.

Подозреваю, что подобные проблемы возникают на каком-то конкретном наборе железа. Не похоже на массовую проблему, но и случай не единичный. Подобный совет я встретил на форуме proxmox, где отзывались люди, что им тоже помогло. Так что берите на вооружение, если испытываете схожие проблемы.

#proxmox

​​Недавно читал любопытное исследование вакансий системных администраторов на hh. Ссылку не буду приводить, потому что заметка была рекламная, но к сути поднимаемой темы это не имеет прямого отношения. Мне там понравились некоторые цифры и срезы.

Вакансий сисадминов с требованием знания Windows в среднем в 4 раза меньше, чем резюме с указанием этого навыка. То есть конкуренция среди кандидатов 1 к 4. Зарплаты в этом сегменте самые низкие.

Дальше идёт сравнение вакансий с требованием знания Linux. Там уже соотношение вакансий к резюме 1,4. То есть линукс админов чуть меньше, чем полтора человека на место. Конкуренция значительно ниже, зарплаты в среднем выше, чем у виндовых админов.

Ну а с devops вообще другая картина. Вакансий больше, чем размещенных резюме. На каждую вакансию только 0,66 кандидатов с указанием навыков devops в резюме. То есть конкуренции нет вообще. Достаточно просто обладать требуемыми навыками и вас возьмут.

Цифры не стоит воспринимать буквально, так как очевидно, что куча вакансий со знанием windows это обычные эникеи или тех. поддержка. Тем не менее, тенденции, мне кажется, отражены верно. Если хотите расти, то учить Linux обязательно, а дальше уже двигать в Devops. Это если вам программировать не нравится. Если еще не определились, то лучше идти в программисты. Оттуда в Devops проще будет зайти, так как прошлых админов среди девопсов значительно больше, чем бывших разработчиков. А навык участия непосредственно в разработке там очень ценен.

#мысли

В Proxmox существуют различные настройки кэширования дисков виртуальных машин. По умолчанию стоит режим Default (No cache). Считается, что это оптимальный вариант для виртуальной машины общего назначения. Хост данные не кэширует вообще. Гостевая система работает с виртуальным диском как-будто напрямую с физическим в режиме writeback. Она понимает, когда устройство хранения еще не записало данные, но поместило в очередь на запись. Так что виртуалка будет ожидать окончания реальной записи перед сбросом своего дискового кэша, для того, чтобы не было повреждения данных.

cache=writethrough - хост использует свой кэш при чтении. При этом виртуальная машина всегда дожидается реальной записи данных на устройство хранения, а не размещение данных в очереди на запись. Такой режим снижает скорость записи данных, но увеличивает скорость чтения. Подойдет для каких-нибудь серверов отдачи статики.

cache=writeback - хост использует свой кэш и при чтении, и при записи, диск виртуалки тоже работает в режиме writeback. Гостевая система будет получать команду о том, что запись завершена после помещения данных в кэш хоста, а не реальной записи на устройство хранения. Теоретически, это вариант с максимальным быстродействием дисков виртуальных машин. Но в случае каких-то проблем с питанием, хостом, очень велик шанс потери данных.

cache=directsync - хост не использует кэширование вообще, диск виртулаки работает в режиме writethrough, то есть всегда ждёт реальной записи данных на устройство хранения. Максимально надежный вариант сохранности данных. Очевидно, что скорость записи будет минимальной в этом режиме работы дисков.

cache=unsafe - как я понял, это то же самое, что и writeback, только гостевая система вообще не сбрасывает свой дисковый кэш (doesn't flush data, fastest and unsafest). Я до конца не понял смысл этого режима.

Рассказанное выше мой пересказ официальной статьи в wiki по этой теме - https://pve.proxmox.com/wiki/Performance_Tweaks#Disk_Cache Полезно выбирать подходящие режимы под конкретную ситуацию, а не использовать всё время дефолт. Можно лишние 10-20% производительности получить на ровном месте.

И еще важное дополнение. Режимы работы нужно выбирать не только исходя из назначения вирутальной машины, но и в соответствии с параметрами самого storage. К примеру, если storage это локальный raid контроллер со своим кэшем и батарейкой, очевидно, что кэширование гипервизора здесь не нужно. А если обычный mdadm, то можно попробовать включить.

Я такие записи обычно держу в закладках. Особенно это касается настройки рейд контроллеров, которые не так часто выполняешь. Каждый раз начинаю вспоминать, какой режим кэширования выбрать. Там примерно то же самое, то и тут.

#proxmox

Меня в одном проекте стала донимать немного странная ошибка, с которой никак не получалось справиться. Время от времени не выполнялся бэкап базы данных с помощью обычного дампа в mysqldump. Дамп падал с ошибкой: "mysqldump: Error 1412: Table definition has changed, please retry transaction when dumping table". Рассказываю, как я ее победил.

Ошибка была связана всегда с одной и той же таблицей. По тексту ошибки примерно понятно, в чем ее суть. Во время бэкапа таблица меняется и это приводит к проблемам. Не понятно только, как ее победить. Проще всего было бы включить блокировку таблиц во время дампа, но это не подходящая в моем случае идея. База дампится секунд 10-15. Нельзя заблокировать таблицы на это время. 

Возникать подобная ошибка может в двух случаях:
- таблицы не существовало на момент старта бэкапа, а потом в процессе она появилась;
- таблица существовала до начала бэкапа, а затем ее удалили до того, как успели забэкапить.

В моем случае работал отдельный модуль сайта, который постоянно создавал, изменял, удалял эту таблицу. Немного разобравшись в том, что там за данные хранятся, я понял, что их можно не бэкапить. В итоге добавил эту таблицу в исключения, чтобы не добавлять в дамп. Достаточно добавить еще один ключ к mysqldump.

--ignore-table=dbname.table_name

Проблема исчезла. Более подробно о том, как я выполняю бэкап баз данных mysql с помощью mysqldump можно почитать в отдельной статье. Там не только про сами дампы рассказано, но и том, как их потом проверять через систему мониторинга.

​​🤝 Всем привет! Совсем недавно публиковал пост-отзыв о компании ittelo.ru. Покупал у них свой первый БУ сервер.

Сейчас у них проходит глобальная распродажа - чистят склад. Распродажа закрытая, только для клиентов, на сайте ее нет. Ловите ссылку, возможно найдете что-то интересное для себя, список огромный. 

📌 Процы, память, платформы - немного ретро товаров по очень привлекательным ценам. Скидки доходят до 90%.

Успевайте купить, пока все не разобрали.

#реклама #ittelo

​​Попробовал интересный сервис для тестирования нагрузки на сайт - https://artillery.io. У него есть бесплатная self-hosted версия, которую я развернул у себя. В нюансы saas и его подписок не вникал.

Что понравилось в этом сервисе нагрузочного тестирования:
1️⃣ Простая и быстрая установка, легко разобраться и начать пользоваться.
2️⃣ Хорошая документация.
3️⃣ Наглядные и простые html отчёты.
4️⃣ Yaml конфиги. В данном случае это удобно, когда выполняются последовательно разные шаги.
5️⃣ Хорошая документация с примерами.

Ставится через nodejs. В Centos 8 поставил так:

dnf module enable nodejs:12
dnf install nodejs
npm install -g artillery@latest

Теперь рисуем простейший конфиг script.yaml

config:
 target: https://ya.ru
 phases:
  - duration: 60
    arrivalRate: 10
scenarios:
 - flow:
   - get:
      url: "/"

Запускаем тест и сохраняем отчет в json файл.
artillery run script.yaml --output report.json

Отчёт можно загнать в html:
artillery report --output report.html report.json

Сервис ориентирован на современную разработку и использование в CI/CD. В конфиге поддерживаются разные окружения, значения можно переопределять через консольные команды. На всё есть примеры в документации - https://artillery.io/docs/guides/overview/welcome.html

Я быстро разобрался и протестировал основные возможности. Сам в основном Yandex.Tank использую, но Artillery понравился больше более простыми конфигами и отчетами.

#нагрузочное_тестирование

​​Существует определенная категория linux админов, которые считают, что надо стараться работать в чистой консоли, без файловых менеджеров, типа Midnight Commander. Периодически вижу таких в комментариях к своим заметкам. Каких-то разумных обоснований предоставить не могут. Просто считают, что профи быстрее работают в консоли, когда выучат все консольные команды и инструменты.

Я работаю в консоли каждый день и считаю утверждение, что без файлового менеджера можно добиться большей производительности, ошибочной. Двухпанельные файловые менеджеры это признанная классика. Они позволяют увеличить быстродействие. А конкретно в MC горячие клавиши и закладки по каталогам существенно увеличивают производительность. У меня по дефолту в закладках каталоги /etc, /var/log, /var/www и другие в зависимости от системы и софта.

На днях смотрел вебинар, где было очень много действий в консоли. Автор то ли принципиально, то ли просто так решил для вебинара, но не использовал MC. Все делал в консоли. Было уныло смотреть, как он набирает пути, ошибается в именах файлов, исправляет их, копирует, переименовывает файлы и т.д. Причем это был не абы кто, а заслуженный специалист, который часто работает в консоли и разбирается во всём этом не плохо. В MC он бы всё это делал явно быстрее и меньше ошибался.

Вы пользуетесь двухпанельными файловыми менеджерами?

#мысли

​​Вчера впервые заметил, что в Zabbix 5.4 изменились настройки выполнения скриптов на удаленных хостах при срабатывании триггера. Раньше все это настраивалось прямо в Actions. А сейчас зашел, всё проверил и не понял, куда делись настройки и как теперь выполнить скрипт по какому-то событию.

Разобрался в итоге сам. Нашел в администрировании раздел Scripts. Теперь скрипт сначала надо туда добавить, выставить все настройки, как-то обозвать его. А потом уже в виде выпадающего списка выбрать нужный скрипт в Actions.

Даже не знаю, удобнее так или нет. Вроде так более упорядоченно всё стало, но теперь надо в 2 места лазить, чтобы что-то настроить. Если у вас один скрипт много где используется, то удобно. А если массового использования нет и настраивается всё в единичных случаях, то дольше настраивать стало и менее наглядно.

#zabbix

​​Очередной игровой подгон для тех, кто не обременён заботами в свободное время и может спокойно во что-то поиграть. Hack_me – это игра про жизнь обычного хакера.

https://store.steampowered.com/app/526740/hack_me/

В игре вам придётся взламывать всевозможные сервера, применяя обычный инструментарий хакера - брутфорс, инъекции, трояны и т.д. Своеобразное пособие для тех, кто хочет почувствовать себя хакером и освоить хотя бы терминологию. Как минимум, мамкиным хакером после игры вы станете. Тем более на эту игру есть обзор в журнале Хакер !!!

Так как игру написал русскоговорящий человек, русификация отличная, можно играть на родном языке и не париться. Отзывы бодрые, игрушка судя по всему забавная.

Игра настолько реалистична, что через нее можно повлиять на выборы в США.

Если вы с детства хотели заняться взломом, но максимум на что способны - взломать экран блокировки у айфона - то эта игра для вас)

Обычный день украинского пользователя ВК

Thanks Obama. Thanks Mr.Robot. Thanks Watch_Dogs 2. Теперь меня разыскивает ФСБ.

Игра настолько затянула, что когда друзья постучались в дверь, я подумал, это ФСБ и пришлось разбить ноут.

Там много подобного в комментах. По ним стало понятно, что игра в основном, чтобы повалять дурака и поприкалываться.

#игра

Я полностью обновил и переработал свою старую статью по установке и настройке Сервера 1С вместе с базой PostgreSQL на Debian. Постарался собрать в одном месте весь свой опыт по этой теме.

В статье показано:
1️⃣ Установка и настройка сервера 1С и PosgtreSQL.
2️⃣ Привожу пример создания баз данных на этом сервере и подключение к ним.
3️⃣ Бэкап и обслуживание postgresql баз утилитами сервера бд. Рассказываю про свой подход к этому процессу и привожу скрипты автоматизации.
4️⃣ Рассказываю, как тестирую восстановление из дампов и делаю контрольную проверку в виде выгрузки баз в .dt файлы с помощью клиента Linux. Причём последний запускается в консоли без графического окружения. Всё это автоматизируется скриптами.
5️⃣ Рассказываю про свои подходы к мониторингу этих бэкапов и выгрузок, чтобы всегда быть уверенным в том, что у тебя есть гарантированно рабочие бэкапы.

Всё описанное основано на личном опыте настройки и эксплуатации подобных систем. Ни у кого ничего не смотрел, лучших практик не знаю. Придумал всё сам и сделал, как посчитал нужным. Так что не нужно это воспринимать как оптимальное решение.

Статью постарался написать более менее законченной и не слишком большой, так как и такую писал в течении нескольких недель урывками. Не хватает времени на написание полноценных объемных статей. Так что опущены многие моменты настройки postgresql, мониторинга всей системы, а не только бэкапов. Возможно когда-нибудь появятся отдельные статьи по этим темам.

https://serveradmin.ru/ustanovka-i-nastrojka-1s-na-debian-s-postgresql/

#статья #1с #postgresql

​​Знакомлю вас с утилитой командной строки, которая мне очень понравилась. Речь пойдёт про bat, аналоге cat, только с подсветкой синтаксиса и не только. Лично я утилиту cat использую постоянно. Сформировалась привычка при поиске чего-то делать сначала cat, потом grep. Например:
# cat /var/log/messages | grep kernel

По идее, логичнее и проще сделать так:
# egrep "kernel" /var/log/messages

Но я привык к первому варианту и cat использую постоянно. И при грепанье, и просто при просмотре чего-то в консоли. Перед тем, как что-то скопировать из файла, вывожу через cat в консоль.

Bat очень классно подсвечивает вывод в консоли. Нет смысла рассказывать, на картинке к посту все и так видно:
# bat /etc/hosts

Репозиторий утилиты - https://github.com/sharkdp/bat. В Debian/Ubuntu bat ставится из стандартных реп:
# apt install bat
# ln -s /usr/bin/batcat /usr/bin/bat

В Centos 8 (на 7 не заработает из-за устаревших пакетов) и форках придется бинарник качать:
# wget https://github.com/sharkdp/bat/releases/download/v0.18.2/bat-v0.18.2-x86_64-unknown-linux-gnu.tar.gz
# tar xzvf bat-v0.18.2-x86_64-unknown-linux-gnu.tar.gz
# cd bat-v0.18.2-x86_64-unknown-linux-gnu
# cp bat /usr/bin/

Жаль, что подобного рода утилиты либо вообще не доедут до состава стандартного дистрибутива, либо появятся там лет через 20, когда оттуда наконец-то выпилят vi и им подобное. Так что использовать получится только на своих серверах, которых обычно не много.

#terminal #утилита

​​❗️Хостеры, с которыми я работаю сам и оплачиваю те или иные услуги. Все ссылки реферальные. Думаю, информация многим пригодится, так как поиск хостера сейчас нетривиальная задача. Выбор и конкуренция огромны.

Selectel - здесь в основном покупаю бюджетные дедики линейки Chipcore. У них низкая надёжность, но и цена соответствующая. Всё, что может пережить простой в пол дня, размещаю на них. Нормальные серверы тоже есть (на нормальных дисках), арендую и их, но реже. Мне нравится, как тут устроен личный кабинет, техподдержка (вопросы почти сразу решают, не тянут, не футболят). Если что-то падает, то сразу можно это увидеть на странице со статусом всех сервисов. Можно подсеть адресов купить, раскидать по своим дедикам. Все просто, наглядно, через панель управления. Так же покупаю у них S3 хранилище под бэкапы. Можно взять в аренду Raspberry Pi за 500 р.

RUVDS - конкретно у них меня привлекают ровно 2 услуги - дешманские промо vps за 30р. в месяц. Мне удалось одну купить, очень удобно, так как есть внешний ip. Использую под vpn. Второе - VPS с большими дисками. Суперудобная услуга, как по мне, которая мало где есть. Арендуется обычная виртуалка с 1 cpu и 1 gb ram и к ней дополнительно диск 1-2 Tb. Отлично подходит для бэкапов. Можно совместить с мониторингом, если чуть ресурсов добавить.

VDSina - использую под VPS, когда нужен какой-то кастомный iso образ. У этого хостера можно залить свой образ и установить с него систему на виртуалку. Например, берёте обычную виртуалку на 2 ядра, 4 гига памяти и ставите туда Windows 10 из своего образа. Вопросы по лицензиям не задают. Такая возможность мало где есть.

Serverspace - ничем особенно не примечательный хостер. Я на него обратил внимание, когда узнал, что их кластер построен на базе Freebsd. Это лоу костер VDS. Покупаю у них виртуалки в США, есть ЦОД в Нью Джерси. Ничего особенного про хостера сказать не могу, работает и работает. Удобно, что платишь в рублях. Еще плюс в том, что несмотря на бюджетные VPS, их можно объединять своими виртуальными сетями. Обычно у лоу костеров нет такой возможности.

Simplecloud - здесь арендую виртуалки с почасовой оплатой для тестов и написания статей. Удобно взять сразу что-то мощное, сделать всё, что нужно за пару часов, потратить 10 рублей и удалить виртуалку. Много готовых шаблонов vps. Например, с bitrixenv или docker. Не надо самому предварительные настройки делать. На постоянку этот хостер тоже сойдет. Цены низкие, работает стабильно. Вообще не припоминаю с ним проблем. У многих заказчиков там крутятся сайты. От них и узнал о нём, когда тестировали некоторые вещи на более мощных виртуалках с почасовой оплатой.

👉 Рекомендую забрать в закладки. Понадобится дешёвая виртуалка с виндой, быстро не найдёте. Когда мне нужно было, кучу хостеров перебрал, пока не нашел подходящего. Те, что предлагают vps с win + rdp как сервис, обычно сильно дороже стоят.

#хостинг

​​Разработчики VzLinux, одного из форков RHEL, который может заменить Centos, активно форсят свою систему. Мне попадается реклама этой системы в рекламной сети гугла - Adsense (реклама может быть полезной). Из ссылки в рекламе я узнал некоторые полезные подробности этой системы.

На сайте https://vzlinux.org/ представлен roadmap проекта, в котором заявлено, что в третьем квартале 2021 года (до конца сентября) появится инструмент по переходу с Centos 7 на VzLinux 8. Это достаточно полезный и актуальный функционал. Насколько я знаю, сейчас нет простого и надежного способа обновить Centos 7 на 8. Для RHEL 7 есть такая утилита, но в бесплатный доступ она не попала.

Я видел в интернете статьи по ручному обновлению с 7 на 8-ю версию. Там сначала ядро переставляют, потом меняют репы и обновляют пакеты. Все эти рецепты костыльные и нестабильные. Прод по этим руководствам я бы обновлять не стал. Посмотрим, что удастся сделать команде VzLinux. Если получится рабочий инструмент, то он, по идее, без проблем разойдётся и по остальным форкам. У RockyLinux подобного функционала пока тоже нет.

#centos

​​Сегодня у меня заметка про, не побоюсь этого слова, царя бесплатных self-hosted VPN сервисов - SoftEther VPN. Такого количества поддерживаемых технологий и реализаций vpn в одном продукте я еще не видел.

SoftEther VPN умеет поднимать L2TP/IPsec, OpenVPN, MS-SSTP, L2TPv3, EtherIP, а также имеет свой собственный SoftEther VPN Protocol (Ethernet over HTTPS), который неотличим от обычного HTTPS-трафика. Работает всё, как говорится, "из коробки".

Серверную часть можно поставить на любую из популярных ОС - Windows, Linux, MacOS, Freebsd. С клиентом та же история. В винде ставится через обычный инсталлятор, потом управляется через запуск приложения. На Linux надо качать исходники и собирать. Что любопытно, страница загрузки на сайте поддерживает работу в консольном браузере Lynx. Можно через него зайти и скачать нужную версию сразу на сервер. Настраивать придется правкой конфигов в консоли.

Я погуглил руководства на тему настройки SoftEther в Linux. Везде настройка идёт через консоль. То есть это не то решение, которое поставил, настроил за 5 минут через браузер и пользуешься. Придётся поразбираться немного. К тому же там есть свои абстракции и терминология.

После знакомства с продуктом осталось двоякое впечатление. С одной стороны обширный функционал, который закрывает разом все потребности в vpn. С другой монструозность, куча компонентов. Наверняка ресурсы хорошо кушает. Нет готовых пакетов, поэтому для обновления качаем исходники, собираем, накатываем. Не понятно, что там с безопасностью при таком функционале.

Думаю, что это больше актуально для Windows, где простой установщик и интерфейс для настройки и управления. Пойдет для тех, кто не сильно разбирается в этих ваших консолях и вэпээнах. Если уж ковыряться в консоли, я бы руками настроил отдельно openvpn и l2tp и связал всё это самостоятельно, если бы надо было.

https://www.softether.org/

#vpn #selfhosted

На днях в очередной раз пользовался своим сервисом Webpagetest и решил, что не плохо бы про него рассказать, хотя ранее о нём уже были упоминания на канале. Это один из немногих сервисов, которыми я регулярно пользуюсь уже несколько лет.

Webpagetest позволяет протестировать производительность сайта, визуализируя загрузку контента в виде водопада запросов. Также записывается видео загрузки сайта. Функционал у сервиса обширный. Можно считать его профессиональным инструментом тех, кто занимается вопросами ускорения работы сайта. Есть сервисы для обычных людей, типа PageSpeed Insights, где зашел, быстро запустил тест, посмотрел циферки, не понял, что с ними делать и ушёл. Не знаешь даже, из какой географической локации проверка была.

Webpagetest для вдумчивой работы и анализа (проверки PageSpeed Insights он тоже в себя включает). Я как-то написал статью на примере проверки скорости работы сайта с помощью указанного инструмента. Это было давно, но данные там актуальны. Статья не устарела.

Также у меня есть статья на тему установки и настройки своего инстанса Webpagetest. В этом его огромное преимущество перед другими сервисами, которые размещены где-то на сторонних серверах. Тут вы можете всё запустить у себя и быть уверенным, что узким местом не станет ваш сервер или посторонние каналы связи.

Для того, чтобы просто посмотреть о чём идет речь и какой конкретно присутствует функционал, можете воспользоваться бесплатным публичным сервисом - https://webpagetest.org.

Webpagetest создан с заделом на серьезное промышленное использование. Он умеет автоматически масштабироваться в AWS при росте запросов на тесты. У него есть API для автоматизации тестов. В общем, приятный и полезный во всех отношениях продукт. На Linux ставится очень быстро и просто из готовых Docker образов. Хотя я и так его устанавливал, прямо на сервер.

#selfhosted #сервис

​​Вчера на хабре в одной из статей увидел мониторинг, который меня сразу заинтересовал. Называется Monitoror - https://monitoror.com. Привлек он меня в первую очередь простым и лаконичным плиточным дашбордом. Мне он показался идеальным для вывода текстовых метрик. Стал разбираться.

Сам по себе он очень простой и состоит всего лишь из одного бинарника и конфигурационного файла к нему. Отдельным конфигом настраивается web интерфейс. Используется формат json.

Настраивать проверки быстро и просто. Мне так понравился этот мониторинг, что решил немного разобраться в нём и оформил всё в статью, чтобы потом самому не забыть.

Меня привлекла простота парсинга и сбора текстовых данных по http с возможностью их вывести в плитках на дашбодр. Это отличный инструмент для всяких чисел, получаемых из API. На сайте в статье как раз разобрал такой вариант с примером сбора данных из api telegram. Получается быстро и удобно собрать дашборд с нужными данными. Можно обучить даже не специалистов это делать. Там достаточно конфиг менять, monitoror автоматом подхватит изменения.

https://serveradmin.ru/monitoring-monitoror-s-plitochnym-dashboard/

#мониторинг #статья

Существует очень известная и популярная программа для удаленного сканирования хостов - Nmap. Лично у меня она стоит и на рабочем ноутбуке и на некоторых серверах. Используется как для разовых проверок открытых портов какого-то сервера, так и для регулярных автоматических проверок.

Я даже статью как-то написал на тему регулярных проверок своей же инфраструктуры с помощью nmap. Рекомендую ознакомиться. Бывает, что поднимается временно какой-то сервис для теста в отдельной виртуальной машине. Для простоты к нему просто пробрасывается определенный порт. После теста виртуальная машина удаляется, а проброс порта остается.

Через некоторое время на этот же ip адрес может приехать что-то другое. Например, у меня приехал новый сервер и на этот ip был посажен idrac. Каково же было мое удивление, когда я, сканируя внешний ip, увидел доступ к консоли управления сервером. Сначала перепугался, думал кто-то что-то сломал. Полез разбираться, оказалось, что старый проброс 443 порта остался на этом внешнем ip.

Можете настроить что-то простое и банальное, типа подобной проверки и засунуть её в крон:

nmap -T4 87.250.250.242 | mail -s "Nmap Scan 87.250.250.242" serveradmin@gmail.com

Раз в неделю будете получать отчёты на почту по проверке своих IP. И более детальную и подробную проверку сделать. Например, так:

nmap -T0 -A -v 87.250.250.242 | mail -s "Nmap Scan 87.250.250.242" serveradmin@gmail.com

Полный список параметров можно посмотреть в документации - https://nmap.org/man/ru/man-briefoptions.html

Добавлю для информации еще несколько ходовых примеров, чтобы за ними в документацию не лазить.

Сканирование подсети или отдельных адресов:
nmap 192.168.1.0/24 или nmap 192.168.1.*
nmap 192.168.1.1,2,3

Быстрый скан сети пингом. Позволяет сразу увидеть, какие хосты в сети запущены и отвечают на пинг.
nmap -sP 192.168.1.0/24

Скан хоста, не отвечающего на пинг. Актуально, если открытые порты есть, но хост не отвечает на icmp запросы.
nmap -Pn 192.168.1.1

Быстрое сканирование. Если не добавить ключи, увеличивающие скорость, дефолтный скан будет длиться очень долго.
nmap -F 192.168.1.1
nmap -T4 192.168.1.1

Подробный скан всех портов хоста. Небольшой скрипт nmap.sh, который по очереди подробно сканирует все открытые порты. Процесс может длиться долго.
#!/bin/bash
ports=$(nmap -p- --min-rate=500 $1 | grep ^[0-9] | cut -d '/' -f 1 | tr '\n' ',' | sed s/,$//)
nmap -p$ports -A $1

Использовать
./nmap.sh 192.168.1.1

Как обычно, не забываем забрать в закладки.

#terminal #утилита #nmap

Вчера у меня на канале была реклама курсов SkillBox. Один подписчик скинул мне видео на ютубе с отзывом на этот курс:

https://www.youtube.com/watch?v=lgOdb3_GRcw

Суть в том, что они продают курс, который просто пустой. Он не готов и не наполнен содержимым. Я привык к тому, что курсы постоянно ругают и говорят, что они не стоят своих денег. Всякое бывает. Какие-то курсы хорошие, какие-то плохие. Я сам некоторые курсы проходил и писал отзывы. Но тут совсем другое дело. Курса просто нет, а его продают. Что по сути похоже на сами знаете на что (не пишу прямо, потому что обнаружил, что эта компания любит судиться и убирать негативные отзывы), прикрытый офертой, составленной с нарушением законодательства.

К сожалению, у меня уже подписан договор и оплачен еще один рекламный пост от компании Skillbox. Возможно сейчас этот курс уже доделан, я не знаю наверняка. Но факт из видео говорит сам за себя. После этого оплаченного поста больше у меня рекламы этой онлайн школы не будет.

#курсы

​​Как защититься от взлома через IP-адрес

Интересный факт: каждые 39 секунд в мире происходит одна хакерская атака. Чтобы обезопасить себя, скачайте бесплатно защитное ПО Crowdsec.

Почему им нужно пользоваться:

1. Не привязан к конкретной платформе: данные никуда не утекут. CrowdSec защищает от вредоносных ресурсов и файлов с помощью нескольких команд. 
2. Разные способы блокировки: капча, брандмауэринг, понижение уровня разрешений, многофакторная аутентификация и т. д. Это увеличивает защиту сервера от хакерских атак. 

3. Соответствует требованиям GDPR и политик конфиденциальности, совместим с различными ПО и компонентами, работает компактно: не требует большого объема ОЗУ и ресурсов ЦП.

4. Вы получите фичи в подарок, если поучаствуете в краудсорсинге, и будете помогать выявлять вредоносные IP-адреса. Так мы создаем самую большую в мире базу вредоносных IP-адресов. 

Чтобы перестать бояться взлома и слива данных, а еще стать частью большого дела — скачивайте CrowdSec.

Некоторое время назад я пробовал CrowdSec - установил и настроил. Отличная современная замена Fail2Ban. Обо всем подробно написал в отдельной статье.

#реклама

​​Расскажите, кто как справляется с тем, чтобы не бахать по ошибке команды не в тот терминал? Наверняка каждый с этим сталкивался. Я время от времени так косячу, пока везло, что не фатально.

Как это обычно бывает. Открыто несколько сессий. Ты что-то делаешь, настраиваешь, готовишь команду на выполнение. Потом тебя отвлекают, ты делаешь какие-то другие вещи. Потом возвращаешься к первоначальной задаче и отправляешь команду не в тот терминал.

Я решил написать об этом, потому что вчера накосячил немного. Настраивал очередной сервер 1С под Linux. Там нужно русскую локаль поставить и активировать. Отвлекся и потом это сделал совершенно на другом сервере. Еще удивился, откуда на чистой системе какие-то еще локали, кроме en_us.utf-8. Только потом заметил, что сервер не тот. Откатил изменения обратно.

Я вкладки ssh соединений обычно раскрашиваю в разные цвета, но это не сильно помогает от ошибок. Еще взял за правило, когда выключаешь сервер, через терминал или какую-то консоль управления сервером/гипервизором, остановиться, посмотреть еще раз тот ли ты сервер выключаешь. На уровне рефлекса уже это. Никогда ничего не перезагружаю и не выключаю, не проверив, что это действительно тот сервер. А вот в консоль иногда бахаю не то, что нужно, и что с этим делать - не понятно.

#мысли