Установка и настройка ELK Stack

Полностью обновил и переработал свою старую статью про настройку ELK Stack. В ней я рассказываю, как установить одиночный хост Elasticsearch и начать собирать в него логи с linux и windows серверов. Теперь не нужно отдельно ставить Java.

Сам я постоянно использую этот продукт при администрировании веб серверов. Я вообще не представляю себе управление сайтом без него. Настраиваю одиночный сервер, так как нагрузки небольшие и не очень нужно гарантированно хранить эти логи. Если потеряются, не страшно. Они обычно нужны для текущего анализа состояния сервера.

С помощью ELK лично я быстро смотрю, кто и какие активности ведет на сайте. Там сразу видно различных ботов, коды ошибок, вся статистика по урлам и т.д. Самое главное, что все удобно визуализируется и настраиваются выборки. Так на словах трудно объяснить, как это работает. Надо один раз настроить и попробовать.

Например, достает вас какой-то ip адрес. Вы можете в несколько кликов по нему всю информацию собрать. Когда и к каким урлам обращался, как часто приходил, с какой скоростью ему сайт отвечал и т.д. Все, что угодно можно настроить.

https://serveradmin.ru/ustanovka-i-nastroyka-elasticsearch-logstash-kibana-elk-stack/

#elk #статья

Подытожил свой небольшой опыт работы с файловыми базами 1С. Тема весьма популярная для малого бизнеса. Да что там говорить, я сам свою бухгалтерию веду в файловой базе 1С и считаю это удобным продуктом. Пробовал другие, но в итоге остановился на 1С.

В статье рассказываю, как можно относительно простыми и дешевыми способами существенно повысить производительность файловых баз и отложить тот момент, когда придется выложить круглую сумму на переход к клиент - серверной схеме работы с базами 1С.

Как обычно, делюсь своим личным опытом работы с описываемым продуктом.

https://serveradmin.ru/fajlovaya-baza-1s-tormozit/

#1с #статья

Небольшая статья на тему конвертации Centos 8 в Centos Stream - https://serveradmin.ru/centos-8-to-centos-stream/. Судя по всему, Centos все же останется популярной системой, несмотря на то, что ее перевели на rolling release. Есть, к примеру, такая новость - https://servernews.ru/1029891

Разработчики из Facebook и Twitter планируют создать новую группу, которая займётся развёртыванием CentOS Stream в крупномасштабной инфраструктуре. Разработчики отмечают три основных направления, на которых они хотели бы сосредоточить внимание группы. Первым и основным является сверхбыстрое развёртывание определённых пакетов. Они будут доступны через собственные репозитории, а не через общие для CentOS Stream.

Поживем увидим, пока рано делать выводы, что из этого получится. Предупреждаю на всякий случай, что на Stream переехать просто, а вот обратно либо очень сложно, либо невозможно. Со временем разница между этими дистрибутивами будет увеличиваться. Так что это путь в один конец.

#статья

Решил добить тему с публикацией баз в 1С. К прошлой статье в комментах мне сказали, что опубликовать базу можно даже без графического окружения на Linux. Достаточно только веб сервера и некоторых компонентов сервера 1С для Linux. Мне идея понравилась, решил проверить.

И реально, опубликовать базу и настроить доступ через web можно с использованием обычной консоли и веб сервера apache. Проверил все и реализовал на Centos 8.

Для работы с файловыми базами 1С в таком режиме достаточно любого бесплатного Linux и клиентских лицензий самой 1С. И все, никакой винды. Дальше, если не хватает производительности, покупается только лицензия на сам сервер 1С и настраивается все в режиме клиент-сервер с базой на postgresql с той же публикацией в веб.

Следующим этапом, наверное, эту схему опробую и напишу статью. Получается очень бюджетно для небольшого коллектива.

https://serveradmin.ru/publikacziya-baz-1s-v-centos/

#1с #статья

В рамках одной из задач по мониторингу мне нужно было удаленно выполнять WMI запросы к виндовым машинам. Подобными вещами я занимался и ранее, но не припоминаю, чтобы были какие-то проблемы с настройкой. Все работало как-то сразу и без напильника, лишь бы прав хватало.

https://serveradmin.ru/nastroit-udalennyj-dostup-po-wmi/

В этот раз пришлось повозиться, причем везде по-разному. Машины были не в домене, поэтому требовалась ручная настройка на местах. Написал сразу же статью, чтобы самому потом не забыть, что и как делал. Если у вас домен, то информация для вас не актуальна. Там все автоматом работает без танцев с бубном.

Такое ощущение, что и тут Microsoft что-то поменяла не так давно, в настройках безопасности. Так что нельзя стало просто так выполнять удаленно wmi. Как нельзя стало заходить под гостевыми учетками на шары.

Утомительно с виндой работать. Постоянно идут изменения в системе (наверно премии менеджерам выдают за внедренные изменения). Будь то различные настройки безопасности или просто обновление расположения настроек в Параметрах. Логи неинформативны.

Конкретно по этой теме при неправильных настройках одна и та же ошибка - отказано в доступе. А каком именно доступе - гадай сам. Может пароль неверный, может удаленные вызовы wmi запрещены, может у юзера прав нет. Ошибка одна и та же. Некоторые подсказки есть в логе аудита. Если учетка верна и у нее хватает прав, хотя бы увидите в аудите прошедшую аутентификацию, а вот проблему авторизации я там не нашел. Пришлось перебирать все возможные варианты. Оказалось, тип сетевого соединения надо было поменять с публичного на частный (еще попробуй найди, где это меняется).

#статья

​​Ранее я уже писал про систему мониторинга и управления IT инфраструктурой Veliam. Посмотреть статьи можно в соответствующем разделе сайта. Я не только тестировал систему, но и внедрил ее в небольшой организации. В целом, она закрывает базовые потребности типового офиса, где нет больших функциональных требований к инфраструктуре.

Veliam закрывает 3 основных направления:
1️⃣ Мониторинг
2️⃣ HelpDesk система
3️⃣ Удаленный доступ сотрудников

Есть оригинальные и уникальные наработки. В общем и целом, продукт самобытный и лично мне понравился. В этот раз у меня заказали обзор коробочной версии системы, которую можно развернуть на своих серверах. До этого она работала по модели SaaS на мощностях разработчиков.

Помимо выхода боксовой версии, расширился и функционал. Добавились метрики, получаемые с помощью внешних скриптов. Также можно стало писать свои шаблоны мониторинга на базе SNMP запросов. Программа развивается и расширяет функционал. Но в базе так и осталась простота и скорость разворачивания и запуска в работу.

Сам сервис ставится на Windows и не требует специальных знаний по настройке и внедрению. Можно сразу брать и настраивать. Все получится. Моих статей будет достаточно. Ограничения бесплатной версии очень лояльные, многим может хватить и их. Если кто-то уже пробовал Veliam или слышал о нем, дайте обратную связь по продукту.

https://serveradmin.ru/obzor-korobochnoj-versii-monitoringa-i-helpdesk-sistemy-veliam/

#мониторинг #статья

"Лаборатория Касперского" запускает ступенчатый подход к обеспечению кибербезопасности на основе трех уровней. У меня заказали обзор второго - Kaspersky Optimum Security, ориентированного на компании со средним уровнем развития ИБ-инфраструктуры.

В статье я беру конкретные продукты производителя, устанавливаю, настраиваю и наглядно показываю, как работает защита Kaspersky EDR для бизнеса Оптимальный. Это расширение базовой защиты на основе антивируса, который устанавливается на рабочие станции.

Ранее я несколько лет администрировал систему антивирусной защиты с помощью Kaspersky Secyrity Center (единая консоль управления), так что достаточно быстро развернул на тестовой лабе всё необходимое и сфокусировался конкретно на EDR (Endpoint Detection and Response) функционале.

Для тех, кто не знает, что такое EDR, кратко поясню. Это класс решений для обнаружения и изучения вредоносной активности на конечных точках. То есть не просто предотвращение заражения блокировкой вирусной активности, но и полная аналитика по ней, чтобы можно было провести дальнейшую работу, связанную с предотвращением и устранением последствий активности вирусов.

Я рекомендую посмотреть статью тем, кто занимается антивирусной защитой рабочих станций и серверов, а также кибербезопасностью в целом. Я сам раньше не был знаком с EDR-решениями. Сейчас посмотрел и оценил удобство с точки зрения системного администратора, отвечающего в том числе за безопасность.

https://serveradmin.ru/laboratoriya-kasperskogo-stupenchatyj-podhod-k-kiberbezopasnosti/

#ИБ #Kaspersky #антивирус #статья

Думаю, все уже слышали, что обновился Proxmox VE до версии 7.0. Не буду перечислять все нововведения, так как уже было много публикаций по этой теме на профильных порталах и каналах.

Меня лично заинтересовало только появление поддержки btrfs и нового раздела в веб интерфейсе для управления репозиториями. Всё остальное больше технические обновления версий софта. В плане функционала ничего особенного я не заметил.

Я решил не откладывать в долгий ящик обновление и выполнил его на своём домашнем тестовом гипервизоре. Заодно оформил всё это в статью. Написана она на основе официальной заметки в wiki на тему апгрейда.

Добавлю только важное замечание для тех, кто не будет смотреть статью. Если используете Proxmox Backup Server, обновлять VE нельзя, пока не выйдет его поддержка в релизе 2.0. Всем остальным, в принципе, можно обновляться. Хотя понятно, что большого смысла делать это прямой сейчас нет. Хотя бы 7.1 подождать надо. А лично я вообще не буду обновляться, пока есть поддержка прошлых версий. Перечисленные нововведения лично мне не нужны. А обновление гипервизор в проде это всегда потенциально небезопасная процедура.

Кстати, в статье в конце есть скрин моего гипервизора со списком виртуальных машин. Кому интересно, что там у меня стоит, может заглянуть. Я сам люблю поглазеть на чужие скрины 😉

https://serveradmin.ru/obnovlenie-proxmox-6-do-7/

#proxmox #статья

Хотел написать заметку на тему бэкапов баз данных mysql с помощью mysqldump, но в итоге не удержался и написал полноценную статью. Как ни крути, а в рамках заметки дать нормальные инструкции и раскрыть тему невозможно.

В статье я рассматриваю три основных момента:
1️⃣ Параметры mysqldump, которые используются при дампе. Там есть важный нюанс, связанный с блокировкой таблиц в дефолтных настройках.
2️⃣ Делаю проверку дампа сразу после создания, анализируя начало и конец дампа. Результат записываю в лог. Привожу готовый скрипт для этого.
3️⃣ С помощью Zabbix настраиваю мониторинг этого лог файла и отправку оповещений, если он прошел с ошибкой.

Как обычно напоминаю, что делюсь своим опытом, который беру из реальных примеров в своей практике. Поиск оптимального решения и лучших практик не делал. Так что рад любым замечаниям, уточнения и подсказкам по существу.

https://serveradmin.ru/nastrojka-mysqldump-proverka-i-monitoring-bekapov-mysql/

#backup #mysql #статья

Вчера погонял скрипт миграции Centos на RockyLinux. Процесс не быстрый. На голой системе Centos 8 переустанавливаются почти 700 пакетов. Минут 30 процесс длился. Все автоматически делается, можно и по ssh. Проблем не заметил при этом.

Оформил всё это в статью, хотя там просто запуск одного скрипта - migrate2rocky.sh. Никаких проблем или нюансов. По сути полностью переустанавливается вся система. Я по началу не так себе представлял этот процесс. Думал просто репы поменяются и пару каких-нибудь пакетов. На деле - нет. Переустанавливаются из новых репозиториев абсолютно все пакеты.

Надо будет ближе к делу погонять тесты с копиями боевых серверов. Такой длинный простой при переходе не очень нравится. Надо будет всё внимательно спланировать.

https://serveradmin.ru/migracziya-ili-konvertacziya-centos-8-v-rocky-linux-8/

#rockylinux #статья

Для одного из веб проектов появилась возможность выделить отдельный гипервизор под регулярное автоматическое тестирование бэкапов - исходники + mysql база. До этого бэкапы просто делались и мониторилось их наличие.

Встала задача воссоздать прод. Так как до этого никому это не нужно было, никакой автоматизации не было. Достаточно было скопировать виртуалку. Но не получалось это сделать по двум причинам. На самом гипервизоре не было достаточно свободного места. Диск виртуалки был очень жирным для этого сервера (300 Гб). Из-за этого её нельзя было остановить и скопировать. Процесс продлился бы несколько часов.

Я не нашел ничего проще и быстрее, чем наживую скопировать диск работающей виртуалки. Процесс длился 1.5 часа. Сайт нормально работал. Я понимал, что может ничего не получиться, но хотелось поэкспериментировать. По факту никаких особых проблем не возникло.

После копирования диска на другой гипервизор, виртуалка ожидаемо не запустилась. Но решилось всё очень просто. Была всего лишь повреждена файловая система xfs. Починил ее простыми командами и всё завелось. Туда же успешно накатил бэкапы.

Более подробно всё описал в статье.

https://serveradmin.ru/metadata-corruption-detected-unmount-and-run-xfs_repair/

Если у кого-то есть идеи, как еще можно было бы выкрутиться, готов выслушать. Была мысль, подцепить внешнее хранилище по nfs и сделать бэкап на него. Но мне кажется, что когда-то давно я проводил такие эксперименты и всё равно на исходном гипервизоре должно быть достаточно свободного места, чтобы proxmox смог сделать бэкап на nfs storage.

#proxmox #статья

Я полностью обновил и переработал свою старую статью по установке и настройке Сервера 1С вместе с базой PostgreSQL на Debian. Постарался собрать в одном месте весь свой опыт по этой теме.

В статье показано:
1️⃣ Установка и настройка сервера 1С и PosgtreSQL.
2️⃣ Привожу пример создания баз данных на этом сервере и подключение к ним.
3️⃣ Бэкап и обслуживание postgresql баз утилитами сервера бд. Рассказываю про свой подход к этому процессу и привожу скрипты автоматизации.
4️⃣ Рассказываю, как тестирую восстановление из дампов и делаю контрольную проверку в виде выгрузки баз в .dt файлы с помощью клиента Linux. Причём последний запускается в консоли без графического окружения. Всё это автоматизируется скриптами.
5️⃣ Рассказываю про свои подходы к мониторингу этих бэкапов и выгрузок, чтобы всегда быть уверенным в том, что у тебя есть гарантированно рабочие бэкапы.

Всё описанное основано на личном опыте настройки и эксплуатации подобных систем. Ни у кого ничего не смотрел, лучших практик не знаю. Придумал всё сам и сделал, как посчитал нужным. Так что не нужно это воспринимать как оптимальное решение.

Статью постарался написать более менее законченной и не слишком большой, так как и такую писал в течении нескольких недель урывками. Не хватает времени на написание полноценных объемных статей. Так что опущены многие моменты настройки postgresql, мониторинга всей системы, а не только бэкапов. Возможно когда-нибудь появятся отдельные статьи по этим темам.

https://serveradmin.ru/ustanovka-i-nastrojka-1s-na-debian-s-postgresql/

#статья #1с #postgresql

​​Вчера на хабре в одной из статей увидел мониторинг, который меня сразу заинтересовал. Называется Monitoror - https://monitoror.com. Привлек он меня в первую очередь простым и лаконичным плиточным дашбордом. Мне он показался идеальным для вывода текстовых метрик. Стал разбираться.

Сам по себе он очень простой и состоит всего лишь из одного бинарника и конфигурационного файла к нему. Отдельным конфигом настраивается web интерфейс. Используется формат json.

Настраивать проверки быстро и просто. Мне так понравился этот мониторинг, что решил немного разобраться в нём и оформил всё в статью, чтобы потом самому не забыть.

Меня привлекла простота парсинга и сбора текстовых данных по http с возможностью их вывести в плитках на дашбодр. Это отличный инструмент для всяких чисел, получаемых из API. На сайте в статье как раз разобрал такой вариант с примером сбора данных из api telegram. Получается быстро и удобно собрать дашборд с нужными данными. Можно обучить даже не специалистов это делать. Там достаточно конфиг менять, monitoror автоматом подхватит изменения.

https://serveradmin.ru/monitoring-monitoror-s-plitochnym-dashboard/

#мониторинг #статья

На днях создавал виртуальную машину с Windows в гипервизоре Proxmox. По ошибке добавил диск не VirtIO SCSI, как рекомендуется для лучшего быстродействия, а IDE. Заметил, когда уже некоторые настройки сделал.

Подумал, что проблем не будет с изменением диска. Подключил iso образ с virtio драйверами, установил их. Погасил виртуальную машину, отцепил диск, поменял Bus/Device с ide на virtio scsi и запустил виртуалку. Она пару раз не загрузилась, сославшись на проблемы с загрузочным диском.

Полез гуглить проблему и нашел подсказку. Перед тем, как менять тип основного диска, стоит подключить к этой виртуальной машине диск любого размера типа virtio scsi и загрузиться в системе, убедиться, что диск виден. После этого завершаем работу виртуалки. Временный диск отключаем, а у основного меняем тип на virtio scsi.

После этих манипуляций система успешно загрузилась на новом типе диска. Для того, чтобы больше не ошибаться, решил перевести и оформить в виде статьи Windows_10_guest_best_practices из официальной wiki проекта proxmox.

https://serveradmin.ru/rekomendaczii-best-practices-po-ustanovke-windows-10-i-11-na-proxmox/

#proxmox #статья

Написал статью про настройку мониторинга Docker с помощью Zabbix и его нового агента. Всё делается штатными средствами с помощью готового шаблона. Вообще ничего колхозить не надо. Все контейнеры определяются автоматически с помощью правил автообнаружения.

В шаблоне присутствуют триггеры:
▪ Нет информации о статусе службы Docker.
▪ Служба Docker не запущена.
▪ Изменилась версия Docker.
▪ В контейнере зафиксирована ошибка в статусе.
▪ Контейнер остановлен с ошибкой в exitcode.

А так же готовые графики:
◽ Количество контейнеров с различным статусом.
◽ Размер дискового пространства, занимаемое различными сущностями (images, layers, conteiners, volumes).
◽ Docker goroutines (не знаю, что это такое).
◽ Количество Images.
◽ Суммарное потребление оперативной памяти докером.
◽ CPU, Memory usage, сетевая статистика отдельно по каждому контейнеру.
Вот только я не понял, как вычисляется метрика по CPU. Она представлена в миллисекундах. Это вычисляемое значение, которое берётся из докеровского json со статами, далее выделяется jsonpath $.cpu_stats.cpu_usage.total_usage для конкретного контейнера, переводится в изменения в секунду и в завершении используется арифметический множитель 1.0E-9. Если кто-то знает, подскажите, что это за метрика. Если я правильно понял, то это та же самая метрика, что используется в Kubernetes для лимитов CPU. 1/1000 от процессоронго ядра.

Всего собирается внушительное количество метрик. Для хоста с двумя запущенными контейнерами у меня получилось 132 метрики после отработки правил автообнаружения.

Сама статья:
https://serveradmin.ru/monitoring-docker-s-pomoshhyu-zabbix-agent-2/

#zabbix #docker #мониторинг #статья

В прошлую пятницу захотелось поэкспериментировать и установить себе систему macOS. Зачем мне это нужно - не знаю. Просто любопытство. Хотелось посмотреть на современную систему от Apple. Я ей немного пользовался несколько лет назад, но вообще не понравилось. Windows в качестве рабочей и личной системы полностью устраивает.

Тем не менее, я установил macOS на виртуальную машину Proxmox. Пришлось немного повозиться и разобраться, так как готовой рабочей инструкции не нашлось. Так как информация на текущий момент получилась уникальной и полезной, решил сразу оформить в статью, чтобы можно было повторить простым копипастом.

В общем, вот статья - https://serveradmin.ru/ustanovka-macos-v-proxmox/, пользуйтесь. Может кто-то найдет практическое применение подобной установки. Поделитесь в комментариях, если видите какую-то практическую пользу от этой системы в VM. Так как нет видеокарты, сам интерфейс очень тормозит и пользоваться некомфортно. Чтобы было нормально, надо пробрасывать в виртуалку видеокарту, но я уже не стал так заморачиваться.

#proxmox #статья #macos

Написал статью по настройке Elastic Enterprise Search. Это отдельная служба, которая работает на базе ELK Stack и может быть установлена и интегрирована в указанную инфраструктуру. Но при этом остается независимым, отдельным компонентом.

Если я не ошибаюсь, то когда-то этот продукт был только в платной версии. Почему-то отложилась информация, но нигде не нашёл подтверждения. На текущий момент денег не просит, ставится свободно. Enterprise Search часто используют для настройки продвинутого поиска на большом сайте.

Так как для подключения Enterprise Search необходимо настроить авторизацию через xpack.security, а так же TLS, вынес эти настройки в отдельные подразделы статьи. Они могут быть полезны сами по себе. Я в простых случаях закрываю доступ к ELK через Firewall, а к Kibana на nginx proxy с помощью basic_auth. Это более простое решение, но понятно, что не такое гибкое, как встроенные средства ELK. Но EES хочет видеть настроенными встроенные инструменты, так что пришлось сделать.

https://serveradmin.ru/ustanovka-elastic-enterprise-search/

#elk #devops #статья

Предлагаю к просмотру обзор программы для анализа и мониторинга сетевого трафика - Noction Flow Analyzer. Она принимает, обрабатывает данные NetFlow, sFlow, IPFIX, NetStream и BGP и визуализирует их.

Я настроил анализ трафика в своей тестовой лаборатории и разобрал основной функционал программы. Знаю, что мониторинг того, что происходит в сети - востребованный функционал. Периодически вижу вопросы на тему того, как лучше и удобнее решать эту задачу. NFA как раз делает это быстро и просто.

Для тех, кто не понимает полностью, о чем идёт речь, поясню. С помощью указанной программы можно с точностью до пакета узнать, кто, куда и что именно отправлял по сети. То есть берём какой-то конкретный ip адрес и смотрим куда и что он отправлял, какую пропускную полосу занимал. Всё это можно агрегировать по разным признакам, визуализировать, настраивать предупреждения о превышении каких-то заданных сетевых метрик.

Noction Flow Analyzer устанавливается локально с помощью deb или rpm пакетов из репозитория разработчиков. Никакой хипстоты, контейнеров, кубернетисов, облаков и saas. Программа платная с ежемесячной подпиской. Есть триал на 30 дней. Под капотом - Yandex ClickHouse. 

https://serveradmin.ru/analiz-setevogo-trafika-v-noction-flow-analyzer/

#gateway #статья #netflow

Проверил и актуализировал свою статью про настройку ELK Stack. Добавил информацию про автоматическую очистку индексов встроенными средствами стэка. А также про авторизацию с помощью паролей средствами  X-Pack Security.

Статья получилась полным и законченным руководством по внедрению системы сбора логов на базе ELK Stack для одиночного инстанса. Без встроенной авторизации она была незавершённой. Исправил это.

На текущий момент всё можно настроить копипастом из статьи. Я проверил все конфиги. Так что если есть желание познакомиться и изучить, имеет смысл сделать это сейчас. Через некоторое время, как обычно, все изменится с выходом очередной новой версии.

https://serveradmin.ru/ustanovka-i-nastroyka-elasticsearch-logstash-kibana-elk-stack/

#elk #статья

​​Я регулярно обновляю статью с мониторингом времени делегирования домена с помощью Zabbix. Всё жду, когда это будет работать из коробки. Но пока никак.

В статье уже накопилась целая куча моих костылей с реализацией проверок доменов с помощью:
- linux утилиты whois и jwhois;
- модуля python-whois
- whois клиента для Node.js
- prometheus domain_exporter

Раньше автообнаружение доменов работало через парсинг текстового файла с помощью zabbix-agent. На днях я добавил еще один способ с помощью бесплатного тарифа сервиса Whois API. Список доменов задаётся через макрос в шаблоне. Там же и парсинг результатов. То есть агент вообще не нужен. Вся логика описана в шаблоне, а проверки идут напрямую с Zabbix Server.

Ссылка на шаблон дана в статье, как и описание работы и скрины айтемов и триггеров. Ранее я уже делал заметку по этому поводу, но до написания статьи только сейчас руки дошли.

https://serveradmin.ru/monitoring-vremeni-delegirovaniya-domena-v-zabbix/

#zabbix #статья