Вышел сегодня прогуляться пешком и послушать что-то интересное в ютубе, но понял, что ничего интересного найти не могу. Полистал ленту рекомендаций и наткнулся на видео одного программиста - 9 вещей, которые я хотел бы знать в начале карьеры в айти.
https://www.youtube.com/watch?v=jfRE0_beZ3s
Мне понравилось, поэтому делюсь с вами. Актуально для сисадминов и devops инженеров практически на 100%. Человек говорит дело, со всем согласен и рекомендую задуматься над тем, что он рассаказывает, особенно в самом начале.
Заодно прошу поделиться интересными на ваш взгляд каналами на IT тематику. Я все свои пролистал и просмотрел все интересное. К сожалению, они не часто обновляются, так что даже не знаю, что еще посмотреть полезного и интересного.
#видео
https://www.youtube.com/watch?v=jfRE0_beZ3s
Мне понравилось, поэтому делюсь с вами. Актуально для сисадминов и devops инженеров практически на 100%. Человек говорит дело, со всем согласен и рекомендую задуматься над тем, что он рассаказывает, особенно в самом начале.
Заодно прошу поделиться интересными на ваш взгляд каналами на IT тематику. Я все свои пролистал и просмотрел все интересное. К сожалению, они не часто обновляются, так что даже не знаю, что еще посмотреть полезного и интересного.
#видео
YouTube
9 вещей, которые я хотел бы знать в начале карьеры в айти
Сегодня поговорим о тех знаниях, которые я хотел бы иметь, когда начинал работать программистом и о выводах, которые я сделал за все годы работы в IT
Курс о котором говорится в видео: ANDROID - http://bit.ly/2KYctWk
Открываем 🎉 2025 год грандиозной возможностью…
Курс о котором говорится в видео: ANDROID - http://bit.ly/2KYctWk
Открываем 🎉 2025 год грандиозной возможностью…
Вчера вышел тестовый релиз дистрибутива Rocky Linux. Для тех, кто не в курсе, напомню, что это клон RHEL, который планирует заменить Centos. Я поставил, попробовал. Сказать особо нечего, тот же Centos 8, только репы другие.
Организовал сборку и выпуск Rocky Linux бывший создатель CentOS, который в этот раз пообещал учесть предыдущие ошибки и организовать структурно и юридически публикацию дистрибутива так, чтобы защитить от подобных проблем в будущем.
Я не знаю, что у него получится по факту, но на текущий момент в качестве замены Centos лично я рассматриваю этот дистрибутив. Из других вариантов есть Oracle Linux и AlmaLinux. Первый рано или поздно тоже кинет своих пользователей, как только увидит в этом экономическую выгоду. Примеры такие уже были ранее.
По поводу AlmaLinux я даже не знаю, что сказать. Дистрибутив тоже только вышел. Какая будет поддержка и популярность - не знаю. В этом плане мне просто кажется, что Rocky Linux будет более популярный, так что им будет удобнее пользоваться из практических соображений.
Лично я на текущий момент продолжаю делать новые установки на Centos 8 и Debian 10. В конце года определюсь с форком RHEL и переведу все Centos 8 на него.
А вы в итоге на чем остановились в качестве замены Centos 8?
#rockylinux
Организовал сборку и выпуск Rocky Linux бывший создатель CentOS, который в этот раз пообещал учесть предыдущие ошибки и организовать структурно и юридически публикацию дистрибутива так, чтобы защитить от подобных проблем в будущем.
Я не знаю, что у него получится по факту, но на текущий момент в качестве замены Centos лично я рассматриваю этот дистрибутив. Из других вариантов есть Oracle Linux и AlmaLinux. Первый рано или поздно тоже кинет своих пользователей, как только увидит в этом экономическую выгоду. Примеры такие уже были ранее.
По поводу AlmaLinux я даже не знаю, что сказать. Дистрибутив тоже только вышел. Какая будет поддержка и популярность - не знаю. В этом плане мне просто кажется, что Rocky Linux будет более популярный, так что им будет удобнее пользоваться из практических соображений.
Лично я на текущий момент продолжаю делать новые установки на Centos 8 и Debian 10. В конце года определюсь с форком RHEL и переведу все Centos 8 на него.
А вы в итоге на чем остановились в качестве замены Centos 8?
#rockylinux
На днях зарелизился мой любимый почтовый сервер - Postfix. Как по мне, это образец качественного софта. Наследник традиций разработки еще прошлого века. Надежный, требует мало ресурсов для работы, за все время его использования не припомню каких-то критичных багов или проблем с безопасностью. Он просто работает и потихоньку обновляется, не привлекая к себе особого внимания.
Но и его постигла современная зараза. Вот одно из нововведений:
Ведем журнал с уважением. Версия Postfix 3.6 объявляет deprecated терминологию, подразумевающую, что белое лучше черного. Вместо этого вводятся понятия allowlist и denylist и другие вариации этих слов. Эти изменения затрагивают документацию, настройки postscreen и логирование.
То есть немного изменится формат конфигов и логов. Жаль, что это идиотия уже напрямую пришла на наши сервера и вынуждает нас делать пустые и бесполезные действия.
http://www.postfix.org/announcements/postfix-3.6.0.html
Осуждаем такие изменения?
#postfix #mailserver
Но и его постигла современная зараза. Вот одно из нововведений:
Ведем журнал с уважением. Версия Postfix 3.6 объявляет deprecated терминологию, подразумевающую, что белое лучше черного. Вместо этого вводятся понятия allowlist и denylist и другие вариации этих слов. Эти изменения затрагивают документацию, настройки postscreen и логирование.
То есть немного изменится формат конфигов и логов. Жаль, что это идиотия уже напрямую пришла на наши сервера и вынуждает нас делать пустые и бесполезные действия.
http://www.postfix.org/announcements/postfix-3.6.0.html
Осуждаем такие изменения?
#postfix #mailserver
Как быстро и просто проследить за сетевой активностью с помощью консоли Linux? Ранее я для этого предлагал использовать iftop. Но есть более функциональная программа - iptraf, которая живет в стандартных системных репозиториях. Так что с установкой нет проблем.
Если нужна самая свежая версия, то придется собрать самостоятельно: https://github.com/iptraf-ng/iptraf-ng
Далее запускаем:
Программа показывает чуть более расширенную статистику по сравнению с iftop, но основное отличие в том, что может писать информацию в лог файл, который достаточно просто читать. Все очень наглядно. Если хочется выцепить какие-то адреса и порты, то iptraf отлично для этого подходит.
В итоге, наглядно оценить сетевую активность на сервере удобнее с iftop. А если нужно собрать лог за какой-то период и спокойно проанализировать, то удобнее использовать iptraf.
#утилита
dnf install iptraf
apt install iptraf
Если нужна самая свежая версия, то придется собрать самостоятельно: https://github.com/iptraf-ng/iptraf-ng
dnf groupinstall "Development Tools"
dnf install ncurses-devel.x86_64
git clone https://github.com/iptraf-ng/iptraf-ng
cd iptraf-ng/
make
Далее запускаем:
./iptraf-ng
Программа показывает чуть более расширенную статистику по сравнению с iftop, но основное отличие в том, что может писать информацию в лог файл, который достаточно просто читать. Все очень наглядно. Если хочется выцепить какие-то адреса и порты, то iptraf отлично для этого подходит.
В итоге, наглядно оценить сетевую активность на сервере удобнее с iftop. А если нужно собрать лог за какой-то период и спокойно проанализировать, то удобнее использовать iptraf.
#утилита
Приглашаем вас оценить ПО для осуществления массовых SMS-рассылок, активная работа над которым началась с середины 2018 года (и продолжается по сей день).
Упор при разработке сделан на удобство эксплуатации: отсутствие зависимостей (хватит и минимальной установки Centos7), файл конфигурации с подсказками, подробная документация, возможность управления через systemd.
Основные преимущества:
1️⃣ Возможность обработки отчётов о доставке (если при отправке короткого сообщения был выставлен соответствующий флаг) с сохранением результатов в машино-понятном виде для последующей обработки.
2️⃣ Максимальная скорость рассылки ~ 2500 submit_sm в секунду (на один экземпляр рассыльщика с одним smpp-коннектом).
3️⃣ Настраиваемая скорость отправки для каждого конкретного smpp-соединения.
4️⃣ Динамическое понижение скорости отправки при получении от целевого smpp-коннекта (SMS-центра) заранее определённых (в файле конфигурации) кодов ошибок.
5️⃣ Отправка SMS с использованием функций выбора целевого smpp-коннекта (любой доступный, по номеру отправителя, по номеру получателя);
6️⃣ Отложенная отправка (с указанием конкретной даты начала рассылки);
7️⃣ Настраиваемая совместная обработка очередей сообщений различными приложениями-рассыльщиками (например, sms_sender_1 + sms_sender_3);
8️⃣ Настраиваемый контроль smpp-соединений (отправка/приём enquire_link/enquire_link_resp).
9️⃣ Настраиваемая скорость приёма входящего трафика (отчёты о доставке и проч.) для каждого smpp-соединения.
🔟 Возможность скрывать содержание входящих и исходящих сообщений в лог-файлах для определённого smpp-коннекта.
🔹 Настраиваемые условия (по коду ошибки в resp-ах) автоматического переподключения к smpp-соединению.
🔹 Возможность автоматической транслитерации содержания отправляемых сообщений.
🔹 Встроенный функционал вида "перезвони мне / заплати за меня".
👉🏻 Ознакомиться с ПО можно по ссылке: https://github.com/vladimir-chursin000 (репозиторий sms_sender).
❗️ Узнать условия получения лицензии на период ознакомительной эксплуатации (без shareware-ограничений): vladimir.chursin000@yandex.ru или в telegram - @vladimir_cn000.
#реклама
Упор при разработке сделан на удобство эксплуатации: отсутствие зависимостей (хватит и минимальной установки Centos7), файл конфигурации с подсказками, подробная документация, возможность управления через systemd.
Основные преимущества:
1️⃣ Возможность обработки отчётов о доставке (если при отправке короткого сообщения был выставлен соответствующий флаг) с сохранением результатов в машино-понятном виде для последующей обработки.
2️⃣ Максимальная скорость рассылки ~ 2500 submit_sm в секунду (на один экземпляр рассыльщика с одним smpp-коннектом).
3️⃣ Настраиваемая скорость отправки для каждого конкретного smpp-соединения.
4️⃣ Динамическое понижение скорости отправки при получении от целевого smpp-коннекта (SMS-центра) заранее определённых (в файле конфигурации) кодов ошибок.
5️⃣ Отправка SMS с использованием функций выбора целевого smpp-коннекта (любой доступный, по номеру отправителя, по номеру получателя);
6️⃣ Отложенная отправка (с указанием конкретной даты начала рассылки);
7️⃣ Настраиваемая совместная обработка очередей сообщений различными приложениями-рассыльщиками (например, sms_sender_1 + sms_sender_3);
8️⃣ Настраиваемый контроль smpp-соединений (отправка/приём enquire_link/enquire_link_resp).
9️⃣ Настраиваемая скорость приёма входящего трафика (отчёты о доставке и проч.) для каждого smpp-соединения.
🔟 Возможность скрывать содержание входящих и исходящих сообщений в лог-файлах для определённого smpp-коннекта.
🔹 Настраиваемые условия (по коду ошибки в resp-ах) автоматического переподключения к smpp-соединению.
🔹 Возможность автоматической транслитерации содержания отправляемых сообщений.
🔹 Встроенный функционал вида "перезвони мне / заплати за меня".
👉🏻 Ознакомиться с ПО можно по ссылке: https://github.com/vladimir-chursin000 (репозиторий sms_sender).
❗️ Узнать условия получения лицензии на период ознакомительной эксплуатации (без shareware-ограничений): vladimir.chursin000@yandex.ru или в telegram - @vladimir_cn000.
#реклама
Очередной пост про халяву, причем вполне функциональную. Есть сервис для запуска веб приложений Heroku - https://www.heroku.com. Думаю, многие о нем слышали, так как он достаточно известный и необычный.
У него есть бесплатный тариф, который позволяет запускать небольшое веб приложение на 550 часов в месяц. При этом приложение завершается, если к нему в течении 30 минут нет запросов. Для личного использования этих лимитов вполне достаточно для запуска какого-то одного приложения.
Для регистрации и получения бесплатного тарифа достаточно только email адреса. Карта не нужна. Далее пример того, что там можно запустить. Свой личный прокси сервер shadowsocks - https://habr.com/ru/post/555768/
После настройки app в heroku ставятся клиенты на android или windows и успешно используются. Так как приложение heroku будет автоматически завершаться после 30 минут неактивности, бесплатного лимита вам всегда будет хватать. Таким образом можно один раз настроить всё и пользоваться условно бесконечно, не переживая за оплату и продление.
Также heroku отлично подходит для хостинга своих личных телеграм ботов. Бесплатного лимита для себя одного вполне хватает.
#бесплатно
У него есть бесплатный тариф, который позволяет запускать небольшое веб приложение на 550 часов в месяц. При этом приложение завершается, если к нему в течении 30 минут нет запросов. Для личного использования этих лимитов вполне достаточно для запуска какого-то одного приложения.
Для регистрации и получения бесплатного тарифа достаточно только email адреса. Карта не нужна. Далее пример того, что там можно запустить. Свой личный прокси сервер shadowsocks - https://habr.com/ru/post/555768/
После настройки app в heroku ставятся клиенты на android или windows и успешно используются. Так как приложение heroku будет автоматически завершаться после 30 минут неактивности, бесплатного лимита вам всегда будет хватать. Таким образом можно один раз настроить всё и пользоваться условно бесконечно, не переживая за оплату и продление.
Также heroku отлично подходит для хостинга своих личных телеграм ботов. Бесплатного лимита для себя одного вполне хватает.
#бесплатно
Разбирал на днях свои заметки и нашел упоминание игры Uplink. Мне ее когда-то давно порекомендовали посмотреть, но руки так и не дошли. Это игра условно про сисадминов. Там речь идет о хакерах. Игра старая, от 2001 года. Сам я в нее не играл и не известно еще когда поиграю. Решил поделиться с вами информацией, как есть. Сейчас праздники, как раз можно порубиться в олдскул. Мне некогда, у меня стройка 🙀.
С 2006 года игра есть в стиме - https://store.steampowered.com/app/1510/Uplink/ Если не хочется заморачиваться с пиратками, можно купить за кружку кофе (250р.). Там же можно комментарии посмотреть. В целом, игра необычная и интересная. Забесплатно ее без проблем можно на торрентах найти, да и в целом на сайтах. Так как она очень старая, разбросана повсюду.
Также ее можно установить на андроид. Брать на 4pda - https://4pda.ru/forum/index.php?showtopic=369442
Если кто-то играл в игрушку, поделитесь впечатлениями.
#игра
С 2006 года игра есть в стиме - https://store.steampowered.com/app/1510/Uplink/ Если не хочется заморачиваться с пиратками, можно купить за кружку кофе (250р.). Там же можно комментарии посмотреть. В целом, игра необычная и интересная. Забесплатно ее без проблем можно на торрентах найти, да и в целом на сайтах. Так как она очень старая, разбросана повсюду.
Также ее можно установить на андроид. Брать на 4pda - https://4pda.ru/forum/index.php?showtopic=369442
Если кто-то играл в игрушку, поделитесь впечатлениями.
#игра
Познакомился с любопытной утилитой, которая недавно вышла в свет. Первая альфа версия была в январе этого года. Речь идет о Zellij - https://zellij.dev. Опенсорсный продукт с репой на гитхабе https://github.com/zellij-org/zellij.
Она умеет в рамках одной ssh сессии открывать несколько панелей с командной строкой. Посмотреть, как это выглядит, можно тут - https://zellij.dev/screenshots/
Для запуска, достаточно скачать бинарник из релизов на github. Я немного потестил, в целом понравилось. То же самое привык делать с помощью отдельных сессий ssh в клиенте.
Из особенностей можно выделить:
🔹 преднастройка с помощью yaml конфига
🔹 поддержка плагинов
В будущем обещают сделать веб клиент для работы в консоли через браузери шаринг своей сессии зрителям.
#утилита
Она умеет в рамках одной ssh сессии открывать несколько панелей с командной строкой. Посмотреть, как это выглядит, можно тут - https://zellij.dev/screenshots/
Для запуска, достаточно скачать бинарник из релизов на github. Я немного потестил, в целом понравилось. То же самое привык делать с помощью отдельных сессий ssh в клиенте.
Из особенностей можно выделить:
🔹 преднастройка с помощью yaml конфига
🔹 поддержка плагинов
В будущем обещают сделать веб клиент для работы в консоли через браузери шаринг своей сессии зрителям.
#утилита
Посмотрел вчера очень качественное и интересное видео на тему Freebsd. Автор все по полочкам разложил и точно отразил суть и особенности этой системы. Говорю ответственно, так как знаю ее очень хорошо и первые несколько лет своей админской деятельности управлял только Freebsd. Настраивал шлюзы, почтовые, файловые, веб сервера. Даже на сайте немного захватил этот период и написал несколько статей по данной системе.
Вообще, я до сих пор скучаю по Freebsd. Она мне нравится значительно больше, чем линукс. В первую очередь своей целостностью. Freebsd это полноценная единая система со всем софтом, а не только ядро, как в Linux, поверх которого выстроен целый зоопарк различных систем. А сейчас линукс это не только сам линукс но и systemd поверх системы со своим cron, ntp client, mount и так далее. В общем, система в системе. Чудовищный зоопарк и многослойная вложенность сущностей.
К сожалению, из-за особенности своей лицензии, со временем фряха растеряла всю свою популярность и на текущий момент практически исчезла из типового прода. Осталась только в нишевых проектах, в первую очередь завязанных на производительность сетевой подсистемы. В некоторых задачах freebsd там показывает лучшую производительность, чем линукс. Но и тут она с каждым годом становиться всё менее и менее востребованной.
В общем, если вам интересно узнать, что такое Freebsd и чем отличается от Linux, рекомендую посмотреть этот видеоролик.
https://www.youtube.com/watch?v=4VaJeB_bf6E
Знает кто freebsd? Админили ее? Что больше нравится в плане удобства управления и администрирования, freebsd или linux?
#freebsd #видео
Вообще, я до сих пор скучаю по Freebsd. Она мне нравится значительно больше, чем линукс. В первую очередь своей целостностью. Freebsd это полноценная единая система со всем софтом, а не только ядро, как в Linux, поверх которого выстроен целый зоопарк различных систем. А сейчас линукс это не только сам линукс но и systemd поверх системы со своим cron, ntp client, mount и так далее. В общем, система в системе. Чудовищный зоопарк и многослойная вложенность сущностей.
К сожалению, из-за особенности своей лицензии, со временем фряха растеряла всю свою популярность и на текущий момент практически исчезла из типового прода. Осталась только в нишевых проектах, в первую очередь завязанных на производительность сетевой подсистемы. В некоторых задачах freebsd там показывает лучшую производительность, чем линукс. Но и тут она с каждым годом становиться всё менее и менее востребованной.
В общем, если вам интересно узнать, что такое Freebsd и чем отличается от Linux, рекомендую посмотреть этот видеоролик.
https://www.youtube.com/watch?v=4VaJeB_bf6E
Знает кто freebsd? Админили ее? Что больше нравится в плане удобства управления и администрирования, freebsd или linux?
#freebsd #видео
YouTube
FreeBSD | Обзор, мнение, пригодность для десктопа
Стань профессионалом в Linux с Yodo: https://go.yodo.im/samoilov
Обзор и моё личное мнение об операционной системе FreeBSD - наследницы легендарного Berkley Unix. #freebsd #unix
Официальный сайт: https://www.freebsd.org/ru/
Скачать: ftp://ftp.freebsd.o…
Обзор и моё личное мнение об операционной системе FreeBSD - наследницы легендарного Berkley Unix. #freebsd #unix
Официальный сайт: https://www.freebsd.org/ru/
Скачать: ftp://ftp.freebsd.o…
Некоторое время назад я рассказывал про систему мониторинга Observium. Как оказалось, у нее есть бесплатный форк, который реализует некоторый функционал родной системы, доступный только за деньги. Так что если у вас появился интерес к бесплатной версии Observium, лучше сразу использовать LibreNMS. Репозиторий системы - https://github.com/librenms/librenms.
Пару слов, что это такое и зачем надо. LibreNMS - многофункциональная система мониторинга с автообнаружением. Заточена в первую очередь на мониторинг сетей по snmp. Из коробки имеет поддержку практически всех популярных сетевых устройств. Помимо сетевых устройств умеет мониторить и сервера на windows, linux, freebsd. Для этого использует агенты. Работает на базе php + mysql. Все типовые метрики подхватывает сама, напильником пилить не надо. То есть это не аналог Zabbix с безграничной кастомизацией.
Особенности LibreNMS:
🔹 автоматически обнаруживает всю сеть, используя следующие протоколы: CDP, FDP, LLDP, OSPF, BGP, SNMP и ARP.
🔹 использует свой агент для операционных систем
🔹 поддерживает различные системы оповещения, отправляет уведомления по электронной почте, IRC, Slack и т.д.
🔹 есть api для управления и доступа к данным
🔹 имеет встроенную систему биллинга трафика
🔹 есть приложения для Android и iOS
🔹 поддерживает разные методы аутентификации, в том числе LDAP, Radius и Active Directory.
Если кто-то пользовался, расскажите, какова эта система на практике. Демку можно посмотреть тут - https://demo.librenms.org/ demo / demo .
#мониторинг
Пару слов, что это такое и зачем надо. LibreNMS - многофункциональная система мониторинга с автообнаружением. Заточена в первую очередь на мониторинг сетей по snmp. Из коробки имеет поддержку практически всех популярных сетевых устройств. Помимо сетевых устройств умеет мониторить и сервера на windows, linux, freebsd. Для этого использует агенты. Работает на базе php + mysql. Все типовые метрики подхватывает сама, напильником пилить не надо. То есть это не аналог Zabbix с безграничной кастомизацией.
Особенности LibreNMS:
🔹 автоматически обнаруживает всю сеть, используя следующие протоколы: CDP, FDP, LLDP, OSPF, BGP, SNMP и ARP.
🔹 использует свой агент для операционных систем
🔹 поддерживает различные системы оповещения, отправляет уведомления по электронной почте, IRC, Slack и т.д.
🔹 есть api для управления и доступа к данным
🔹 имеет встроенную систему биллинга трафика
🔹 есть приложения для Android и iOS
🔹 поддерживает разные методы аутентификации, в том числе LDAP, Radius и Active Directory.
Если кто-то пользовался, расскажите, какова эта система на практике. Демку можно посмотреть тут - https://demo.librenms.org/ demo / demo .
#мониторинг
Любопытную историю вчера прочитал про падение Slack 4-го января этого года.
https://habr.com/ru/company/macloud/blog/556522/
Перевод ужасен, но к теме моей заметки это не имеет отношения. Общий смысл статьи в том, что после новогодних праздников все клиенты полезли на сервера Slack с протухшим кэшем, который обнулился за новогодние праздники. Это создало повышенную нагрузку на входящие каналы связи в AWS и они немного прилегли.
Проблему долго не могли решить, потому что мониторинг всей инфраструктуры тоже жил за этими шлюзами и оказался недоступен. В итоге инженеры вслепую, по старинке, через консоль и логи пытались понять, что происходит. Удивительно, такая крупная компания не подумала заранее о том, что мониторинг или хотя бы его часть должны быть вынесены во внешний по отношению к наблюдаемому объекту периметр.
Это все равно что некоторые мониторинг кластера Kubernetes настраивают в нем же и рассказывают, как современен и удобен прометеус. Его можно быстро запустить в кластере и автоматически все замониторить. А потом так же автоматически все потерять, когда кластер ляжет.
Делал уже по похожей теме заметку, но решил еще раз напомнить в связи с подвернувшейся статьей. Сам имею отдельный внешний мониторинг, который дергает наиболее критичные метрики моих заказчиков. Обычно это доступность внешних каналов связи и сервисов, которые видны из интернета. Даже если у заказчика все ляжет вместе с мониторингом, я хотя бы примерно буду понимать, что сломалось.
#мониторинг
https://habr.com/ru/company/macloud/blog/556522/
Перевод ужасен, но к теме моей заметки это не имеет отношения. Общий смысл статьи в том, что после новогодних праздников все клиенты полезли на сервера Slack с протухшим кэшем, который обнулился за новогодние праздники. Это создало повышенную нагрузку на входящие каналы связи в AWS и они немного прилегли.
Проблему долго не могли решить, потому что мониторинг всей инфраструктуры тоже жил за этими шлюзами и оказался недоступен. В итоге инженеры вслепую, по старинке, через консоль и логи пытались понять, что происходит. Удивительно, такая крупная компания не подумала заранее о том, что мониторинг или хотя бы его часть должны быть вынесены во внешний по отношению к наблюдаемому объекту периметр.
Это все равно что некоторые мониторинг кластера Kubernetes настраивают в нем же и рассказывают, как современен и удобен прометеус. Его можно быстро запустить в кластере и автоматически все замониторить. А потом так же автоматически все потерять, когда кластер ляжет.
Делал уже по похожей теме заметку, но решил еще раз напомнить в связи с подвернувшейся статьей. Сам имею отдельный внешний мониторинг, который дергает наиболее критичные метрики моих заказчиков. Обычно это доступность внешних каналов связи и сервисов, которые видны из интернета. Даже если у заказчика все ляжет вместе с мониторингом, я хотя бы примерно буду понимать, что сломалось.
#мониторинг
Знакомлю вас с очередной бесплатной системой бэкапа, которая показалась мне интересной и полезной. Речь пойдет про Burp - https://burp.grke.org. Репа на гитхабе - https://github.com/grke/burp.
Автор на сайте целый раздел написал на тему того, зачем он начал разрабатывать Burp, если есть такая замечательная Bacula, которой он сам пользовался. Если кратко - Бакула слишком сложная для простых задач. Он решил написать что-то похожее, но значительно проще.
Burp написан на языке C с использованием librsync (значит синхронизирует файлы быстро) и имеет клиент-серверную архитектуру. Сервер ставится на linux, клиенты есть под linux, windows, mac. Разрабатывается активно уже в течении более чем 10-ти лет.
Burp поддерживает создание репозиториев для бэкапа, дедупликацию, шифрование, сжатие, планирование, оповещения и т.д. В общем, полноценная система бэкапа. Умеет выдавать свой статус в json, можно разворачивать с помощью ansible, есть готовые роли - https://github.com/grke/burp/wiki/automated-deploy-and-maintenance. Так что с молодёжностью все в порядке, несмотря на то, что проект достаточно старый.
Отдельный персонаж написал веб интерфейс для Burp. Живет тут - https://git.ziirish.me/ziirish/burp-ui.
Любопытная система бэкапа. Мне приглянулась в первую очередь тем, что она на базе rsync сделана, плюс файлы хранятся в открытом виде. По бэкапам можно тем же find лазить при желании, если они не зашифрованы.
#backup
Автор на сайте целый раздел написал на тему того, зачем он начал разрабатывать Burp, если есть такая замечательная Bacula, которой он сам пользовался. Если кратко - Бакула слишком сложная для простых задач. Он решил написать что-то похожее, но значительно проще.
Burp написан на языке C с использованием librsync (значит синхронизирует файлы быстро) и имеет клиент-серверную архитектуру. Сервер ставится на linux, клиенты есть под linux, windows, mac. Разрабатывается активно уже в течении более чем 10-ти лет.
Burp поддерживает создание репозиториев для бэкапа, дедупликацию, шифрование, сжатие, планирование, оповещения и т.д. В общем, полноценная система бэкапа. Умеет выдавать свой статус в json, можно разворачивать с помощью ansible, есть готовые роли - https://github.com/grke/burp/wiki/automated-deploy-and-maintenance. Так что с молодёжностью все в порядке, несмотря на то, что проект достаточно старый.
Отдельный персонаж написал веб интерфейс для Burp. Живет тут - https://git.ziirish.me/ziirish/burp-ui.
Любопытная система бэкапа. Мне приглянулась в первую очередь тем, что она на базе rsync сделана, плюс файлы хранятся в открытом виде. По бэкапам можно тем же find лазить при желании, если они не зашифрованы.
#backup
Я обычно собираю логи с помощью syslog или syslog-ng. Если нужна аналитика и обработка, то это ELK Stack. У меня целый цикл статей на эту тему написан. ELK всем хорош, хоть и кажется сложноватым. Но если вам надо просто собирать логи, то его можно и не настраивать. Он по дефолту будет все хранить, плюс быстрый и удобный поиск по логам сразу работает, что уже удобно даже без дополнительных настроек.
Большой минус ELK - он очень тяжелый. Под него надо отдельную виртуалку минимум с 2CPU и 4Gb RAM, чтобы он хотя бы завелся. А чтобы нормально работал с минимальным количеством данных, умножаем эти цифры сразу на 2. Для небольшого веб проекта, который сам живет на более скромной виртуалке это перебор.
Но есть современная более простая и легковесная альтернатива - Loki от разработчиков Grafana.
https://grafana.com/oss/loki/
Архитектурно сбор логов через Loki похож на сбор метрик Prometheus. Настраивается все быстро и просто, так как запускать можно через Docker, а все необходимые интеграции с графаной уже настроены в ней. Достаточно только новый Datasource с loki подключить и вывести его на дашборд. На сам хост с логами ставится сборщик - promtail, условный аналог filebeat в elk.
Я немного погонял систему, мне понравилось. Буду внедрять в одном проекте. Скорее всего статью напишу, если появится возможность выделить время.
#логи #devops
Большой минус ELK - он очень тяжелый. Под него надо отдельную виртуалку минимум с 2CPU и 4Gb RAM, чтобы он хотя бы завелся. А чтобы нормально работал с минимальным количеством данных, умножаем эти цифры сразу на 2. Для небольшого веб проекта, который сам живет на более скромной виртуалке это перебор.
Но есть современная более простая и легковесная альтернатива - Loki от разработчиков Grafana.
https://grafana.com/oss/loki/
Архитектурно сбор логов через Loki похож на сбор метрик Prometheus. Настраивается все быстро и просто, так как запускать можно через Docker, а все необходимые интеграции с графаной уже настроены в ней. Достаточно только новый Datasource с loki подключить и вывести его на дашборд. На сам хост с логами ставится сборщик - promtail, условный аналог filebeat в elk.
Я немного погонял систему, мне понравилось. Буду внедрять в одном проекте. Скорее всего статью напишу, если появится возможность выделить время.
#логи #devops
Набросал вчера быстро мониторинг ssd дисков на новом сервере. Показалось, что износ пошел слишком быстро. На всякий случай пришлось замониторить, чтобы проследить динамику.
Сделал все максимально просто и быстро. С помощью smartctl делаем запросы и отправляем в Zabbix через UserParameter. Запрос использую вот такой (на примере SSD_Life_Left):
Сам UserParameter выглядит вот так:
Потом в шаблоне создаем item с ключом:
Простой заменой имени диска и параметра smart делаем все необходимые айтемы на основе атрибутов smart.
Рассказал на пальцах, как это сделал быстро я. В целом, мониторинг дисков в zabbix можно делать разными методами. Навскидку:
◽ По старинке, через скрипты, грепая вывод smartctl под каждый параметр.
◽ Через зависимые элементы и парсинг айтемов с помощью регулярных выражений в предобработке элементов. За основной элемент берется полный вывод атрибутов смарт. Это позволяет пореже дергать сами диски.
◽ Парсинг json вывода smartctl через jsonpath (я бы сейчас делал именно так, если бы надо было полноценно на парке серверов развернуть).
Чтобы все это автоматизировать, придется еще отдельно настроить автообнаружение дисков. Подробно все это рассматриваю в своей статье - https://serveradmin.ru/monitoring-smart-v-zabbix/
В завершении собрал все, что мне было нужно, в отдельный дашборд. Интересно будет смотреть хотя бы через недельку, когда накопится динамика.
#zabbix #мониторинг
Сделал все максимально просто и быстро. С помощью smartctl делаем запросы и отправляем в Zabbix через UserParameter. Запрос использую вот такой (на примере SSD_Life_Left):
smartctl -A /dev/sdb| grep -i "SSD_Life_Left"| tail -1| cut -c 88-|cut -f1 -d' '
Сам UserParameter выглядит вот так:
UserParameter=SSD[*],smartctl -A /dev/$1| grep -i "$2"| tail -1| cut -c 88-|cut -f1 -d' '
Потом в шаблоне создаем item с ключом:
SSD[sdb,SSD_Life_Left]
Простой заменой имени диска и параметра smart делаем все необходимые айтемы на основе атрибутов smart.
Рассказал на пальцах, как это сделал быстро я. В целом, мониторинг дисков в zabbix можно делать разными методами. Навскидку:
◽ По старинке, через скрипты, грепая вывод smartctl под каждый параметр.
◽ Через зависимые элементы и парсинг айтемов с помощью регулярных выражений в предобработке элементов. За основной элемент берется полный вывод атрибутов смарт. Это позволяет пореже дергать сами диски.
◽ Парсинг json вывода smartctl через jsonpath (я бы сейчас делал именно так, если бы надо было полноценно на парке серверов развернуть).
Чтобы все это автоматизировать, придется еще отдельно настроить автообнаружение дисков. Подробно все это рассматриваю в своей статье - https://serveradmin.ru/monitoring-smart-v-zabbix/
В завершении собрал все, что мне было нужно, в отдельный дашборд. Интересно будет смотреть хотя бы через недельку, когда накопится динамика.
#zabbix #мониторинг
❗️ Я сегодня случайно наткнулся на очень крутой сервис, который вы обязательно добавите в закладки, если часто бываете в консоли linux.
https://explainshell.com/
Это шпаргалка по стандартным консольным утилитам типа tar, find, grep и т.д. Когда мне быстро надо вспомнить какой-то ключ, я обычно набираю либо в консоли, либо в поисковике man tar и т.д.
А тут все собрано в одном месте. Да еще и со всякими расшифровками и подсказками. Особо даже рассказывать нечего, просто попробуйте. Мне понравилось. Ссылка уехала на панель быстрого доступа в избранном.
#сервис
https://explainshell.com/
Это шпаргалка по стандартным консольным утилитам типа tar, find, grep и т.д. Когда мне быстро надо вспомнить какой-то ключ, я обычно набираю либо в консоли, либо в поисковике man tar и т.д.
А тут все собрано в одном месте. Да еще и со всякими расшифровками и подсказками. Особо даже рассказывать нечего, просто попробуйте. Мне понравилось. Ссылка уехала на панель быстрого доступа в избранном.
#сервис
Познакомился с любопытным веб сервером - Caddy. Раньше вообще о нем не слышал.
https://caddyserver.com
Установить можно, подключив внешний репозиторий с программой. Репы созданы под все популярные системы, так что установка проходит быстро.
Отличительная черта Caddy в том, что он очень быстро и легко настраивается. Просто покажу несколько примеров и вы сами всё поймёте.
Доступ к файлам с помощью веб сервера. Рисуем такой конфиг и запускаем caddy:
Теперь вы через браузер можете гулять по директории /var/www. Это полный конфиг, больше ничего добавлять не надо. Специально проверил сам. Это я еще отключил https, который по дефолту включен на самоподписанном сертификате. Если не отключать, то буквально три строки останется.
Настройка reverse proxy. Вся настройка - один параметр:
Статичная страница. Если хотите просто показывать кому-то готовый статичный текст, то вам не нужно создавать индексный файл. Добавляйте текст сразу в конфиг Caddy:
Настройка https. Если у вас есть доменное имя, внешний ip и настроенные dns записи, то caddy автоматически получит бесплатный сертификат и запустит веб сервер по https. Для этого достаточно его запустить с таким конфигом:
Все быстро и просто. На сайте в документации есть готовые типовые примеры. Веб сервер хорошо подойдет для каких-то временных или внутренних ресурсов, когда не хочется тратить время на настройку более функциональных веб серверов. У него до кучи есть api и конфиги в формате json понимает. Есть где развернуться, если нужна автоматизация.
#webserver
https://caddyserver.com
Установить можно, подключив внешний репозиторий с программой. Репы созданы под все популярные системы, так что установка проходит быстро.
Отличительная черта Caddy в том, что он очень быстро и легко настраивается. Просто покажу несколько примеров и вы сами всё поймёте.
Доступ к файлам с помощью веб сервера. Рисуем такой конфиг и запускаем caddy:
{
auto_https off
}
10.20.1.23:80
root * /var/www
file_server browse
Теперь вы через браузер можете гулять по директории /var/www. Это полный конфиг, больше ничего добавлять не надо. Специально проверил сам. Это я еще отключил https, который по дефолту включен на самоподписанном сертификате. Если не отключать, то буквально три строки останется.
Настройка reverse proxy. Вся настройка - один параметр:
{
auto_https off
}
10.20.1.23:80
reverse_proxy 127.0.0.1:9000
Статичная страница. Если хотите просто показывать кому-то готовый статичный текст, то вам не нужно создавать индексный файл. Добавляйте текст сразу в конфиг Caddy:
{
auto_https off
}
10.20.1.23:80
respond "Hello, world!"
Настройка https. Если у вас есть доменное имя, внешний ip и настроенные dns записи, то caddy автоматически получит бесплатный сертификат и запустит веб сервер по https. Для этого достаточно его запустить с таким конфигом:
example.com
root * /var/www
Все быстро и просто. На сайте в документации есть готовые типовые примеры. Веб сервер хорошо подойдет для каких-то временных или внутренних ресурсов, когда не хочется тратить время на настройку более функциональных веб серверов. У него до кучи есть api и конфиги в формате json понимает. Есть где развернуться, если нужна автоматизация.
#webserver
Media is too big
VIEW IN TELEGRAM
Забавный ролик про чувака без смартфона, которого к тому же не было в соц. сетях и это пугало его девушку.
Сейчас вообще остались такие люди? Я только одного знаю, да и то, он есть в мессенджерах.
Видос не по теме канала, но мне понравился, поэтому делюсь. У вас есть знакомые младше 40-ка лет, которые совсем не пользуются соц. сетями и не имеют там аккаунтов?
#юмор
Сейчас вообще остались такие люди? Я только одного знаю, да и то, он есть в мессенджерах.
Видос не по теме канала, но мне понравился, поэтому делюсь. У вас есть знакомые младше 40-ка лет, которые совсем не пользуются соц. сетями и не имеют там аккаунтов?
#юмор
BLM зараза добралась и до Kubespray. Зашел в репозиторий на github, открыл инвентарь (inventory от ansible) и увидел там kube_control_plane, чего до этого там не наблюдал.
Новая сущность, которая раньше называлась просто и понятно - kube-master. Открыл свою статью по установке кластера Kubernetes, проверил. Действительно раньше мастер так и назывался - kube-master, а теперь какой-то control_plane.
Чего делать то будем со всем этим? Такими темпами скоро рот открыть не дадут.
#мысли
Новая сущность, которая раньше называлась просто и понятно - kube-master. Открыл свою статью по установке кластера Kubernetes, проверил. Действительно раньше мастер так и назывался - kube-master, а теперь какой-то control_plane.
Чего делать то будем со всем этим? Такими темпами скоро рот открыть не дадут.
#мысли
На днях писал заметку про мониторинг SSD дисков в связи с повышенным расходом ресурса записи. Решил повнимательнее посмотреть на сервер, чтобы понять, кто там так много пишет. Оказалось, что это PostgreSQL и конкретно временные данные статистки, живущие в директории pg_stat_tmp.
Выдержка из документации по поводу этого параметра:
Задаёт каталог, в котором будут храниться временные данные статистики. Этот путь может быть абсолютным или задаваться относительно каталога данных. Значение по умолчанию —
В документации указано, что эту директорию можно вынести в ram диск, что я и сделал в итоге. По дефолту она занимает всего 25 мегабайт, так что я решил с запасом сделать диск размером 1G.
Теперь добавляем в fstab (не забудьте в конце переход на новую строку поставить):
Монтируем диск в систему:
Меняем параметр в postgresql.conf:
Перезапускаем postgresql:
Теоретически должна и производительность повыситься, но я не измерял. С учетом того, что SSD и так достаточно быстрый, разница будет не заметна на уровне погрешности измерений.
Как можно было догадаться из названия сервиса postgresql, настраивалось все это для сервера 1С. Так что если вам предстоит переезд на postgresql, заметку сохраните. Наверняка пригодится.
Если есть вопросы по поводу переезда или подбора сервера под 1С, задавайте. Статья может получится на эту тему, а может и нет. Не знаю, как со временем будет. Там должны быть бэкапы, запасной сервер для разворачивания и тестирования бэкапов баз, автоматическая выгрузка баз в dt, мониторинг. В общем все, что надо для промышленной эксплуатации.
#postgresql #1С
Выдержка из документации по поводу этого параметра:
Задаёт каталог, в котором будут храниться временные данные статистики. Этот путь может быть абсолютным или задаваться относительно каталога данных. Значение по умолчанию —
pg_stat_tmp
. Если разместить целевой каталог в файловой системе в ОЗУ, это снизит нагрузку на физическое дисковое хранилище и может увеличить быстродействие. Задать этот параметр можно только в postgresql.conf
или в командной строке при запуске сервера.В документации указано, что эту директорию можно вынести в ram диск, что я и сделал в итоге. По дефолту она занимает всего 25 мегабайт, так что я решил с запасом сделать диск размером 1G.
mkdir /var/lib/pgsql_stats_tmp
chown postgres:postgres /var/lib/pgsql_stats_tmp
Теперь добавляем в fstab (не забудьте в конце переход на новую строку поставить):
tmpfs /var/lib/pgsql_stats_tmp tmpfs size=1G,uid=postgres,gid=postgres 0 0
Монтируем диск в систему:
mount /var/lib/pgsql_stats_tmp
Меняем параметр в postgresql.conf:
stats_temp_directory = '/var/lib/pgsql_stats_tmp'
Перезапускаем postgresql:
systemctl restart postgrespro-1c-13
Теоретически должна и производительность повыситься, но я не измерял. С учетом того, что SSD и так достаточно быстрый, разница будет не заметна на уровне погрешности измерений.
Как можно было догадаться из названия сервиса postgresql, настраивалось все это для сервера 1С. Так что если вам предстоит переезд на postgresql, заметку сохраните. Наверняка пригодится.
Если есть вопросы по поводу переезда или подбора сервера под 1С, задавайте. Статья может получится на эту тему, а может и нет. Не знаю, как со временем будет. Там должны быть бэкапы, запасной сервер для разворачивания и тестирования бэкапов баз, автоматическая выгрузка баз в dt, мониторинг. В общем все, что надо для промышленной эксплуатации.
#postgresql #1С
Вышел Zabbix 5.4. Смотрим, что там появилось новенькое. Нигде не увидел анонсов на русском языке, так что решил своими словами пересказать официальный релиз - https://www.zabbix.com/ru/whats_new_5_4.
1️⃣ Ну конечно же новый синтаксис триггеров. Странно, что они это изменение не поставили на первое место. Я уже делал заметку по этому поводу, так что не буду повторяться. Изменение очень значимое и полезное.
2️⃣ Планировщик для pdf отчетов. Теперь можно будет настроить отправку регулярных отчетов себе на почту или куда-то еще. Интересная и полезная возможность. Для руководства в самый раз.
3️⃣ Новые расширенные способы агрегации данных. Это следствие использования нового синтаксиса. Примеры этого уже были в заметке, на которую дал ссылку в начале.
4️⃣ Обновлена визуализация. Как я понял, появилась возможность объединять дашборды в виде отдельных страниц на одном экране. В целом, полезно. Сам часто думаю о том, что переключаться между дашбордами не очень удобно и быстро. Надо бы это как-то упростить. Придумали поместить их во вкладки на дашборде. Посмотрим, удобно ли будет на практике.
Дальше изменения на мой взгляд не столь значительные, так что не буду их комментировать, просто перечислю:
▪ Новые api токены с истекающим сроком действия.
▪ Tags стали поддерживаться еще большим количеством объектов (templates, hosts, host prototypes, triggers, metrics, events)
▪ У шаблонов появились уникальные ID, теперь не будем с одинаковыми именами путаться.
▪ Улучшено масштабирование.
▪ Появились какие-то Global scripts. Из описания не понял, для чего они.
▪ Появились локальные value maps. Раньше все глобально хранилось в одном месте.
▪ Добавились интеграции с Brevis, Express, iTop, RocketChat, Signal, VictorOps.
▪ Добавились шаблоны для APC UPS hardware, Hikvision cameras, etcd, Hadoop, Zookeeper, Kafka, AMQ, HashiCorp Vault, MS Sharepoint, MS Exchange, smartclt, Gitlab, Jenkins, Apache Ignite и других.
Изменения интересные, буду тестировать на днях.
#zabbix #мониторинг
1️⃣ Ну конечно же новый синтаксис триггеров. Странно, что они это изменение не поставили на первое место. Я уже делал заметку по этому поводу, так что не буду повторяться. Изменение очень значимое и полезное.
2️⃣ Планировщик для pdf отчетов. Теперь можно будет настроить отправку регулярных отчетов себе на почту или куда-то еще. Интересная и полезная возможность. Для руководства в самый раз.
3️⃣ Новые расширенные способы агрегации данных. Это следствие использования нового синтаксиса. Примеры этого уже были в заметке, на которую дал ссылку в начале.
4️⃣ Обновлена визуализация. Как я понял, появилась возможность объединять дашборды в виде отдельных страниц на одном экране. В целом, полезно. Сам часто думаю о том, что переключаться между дашбордами не очень удобно и быстро. Надо бы это как-то упростить. Придумали поместить их во вкладки на дашборде. Посмотрим, удобно ли будет на практике.
Дальше изменения на мой взгляд не столь значительные, так что не буду их комментировать, просто перечислю:
▪ Новые api токены с истекающим сроком действия.
▪ Tags стали поддерживаться еще большим количеством объектов (templates, hosts, host prototypes, triggers, metrics, events)
▪ У шаблонов появились уникальные ID, теперь не будем с одинаковыми именами путаться.
▪ Улучшено масштабирование.
▪ Появились какие-то Global scripts. Из описания не понял, для чего они.
▪ Появились локальные value maps. Раньше все глобально хранилось в одном месте.
▪ Добавились интеграции с Brevis, Express, iTop, RocketChat, Signal, VictorOps.
▪ Добавились шаблоны для APC UPS hardware, Hikvision cameras, etcd, Hadoop, Zookeeper, Kafka, AMQ, HashiCorp Vault, MS Sharepoint, MS Exchange, smartclt, Gitlab, Jenkins, Apache Ignite и других.
Изменения интересные, буду тестировать на днях.
#zabbix #мониторинг