​​В пятницу пол дня настраивал сбор и анализ логов одного магазина на битриксе. Производительность потихоньку начала в потолок сервера упираться. Надо было внимательно посмотреть, что там происходит. Одного мониторинга уже не хватало.

Собрал вот такой типовой дашборд, основанный на своей практике. Тут есть всё, чтобы быстро оценить и проанализировать активность на сервере:

◽ Топ IP по количеству запросов.
◽ Запросы с уникальными ip на временной шкале.
◽ Коды ответов веб сервера.
◽ Топ юзер агентов.
◽ Топ урлов, к которым обращаются.
◽ Упрощенный лог файл.
◽ Ошибки веб сервера на временной шкале.
◽ Тексты ошибок веб сервера.

Всё это построено на базе elasticsearch + kibana и filebeat. Logstash не стал использовать, так как не было необходимости. Для тех, кто никогда не использовал подобные инструменты, поясню, как это работает.

На данном дашборде можно выбрать, к примеру, конкретный IP и увидите весь дашборд с фильтрацией по этому адресу. То есть все его урлы, что он посетил, все коды ответов, которые получил, все ошибки и т.д. И такая фильтрация работает по всем параметрам.

Еще пример. Вы можете выбрать код ошибки 404 и увидите всю информацию по запросам, клиентам, урлам, юзер агентам и т.д., которые получили ошибку 404. Это очень крутой и удобный инструмент. Правда разобраться с ним не так просто. Придётся потрудиться. Он еще и обновляется достаточно часто. Разница между версиями обычно значительная. Приходится каждый раз разбираться.

С помощью данного дашборда сразу же стало ясно, что основную нагрузку даёт бот Яндекса. Скорее всего от маркета. Я изначально предполагал, что какие-то боты парсеры долбят, но нет.

Некоторую информацию по настройке всего этого можно найти у меня на сайте в отдельном разделе.

#elk #devops

Я неоднократно уже упоминал на канале про ELK Stack. Это достаточно громоздкая, тяжелая в плане ресурсов и не очень простая в плане настройки система хранения и анализа логов. Но она очень функциональная и полезная. Эту услугу можно купить как сервис, а не разворачивать и настраивать на своих мощностях. 

Для теста можно взять 14-ти дневный триал и посмотреть, как там всё работает. Если понравится, можно перейти на платный тариф. Самый простой стоит 16$ в месяц. Для начала хватит. Это дешевле стоимости виртуальных машин, которые вам понадобятся, если будете арендовать VPS под них. Для небольшого проекта это однозначно выгоднее, чем устанавливать и поддерживать свой сервер. 

У меня есть статья с пошаговым руководством, как всё запустить и потестировать работу с использованием триала. Для примера я собираю логи веб сервера от сайта на bitrix и отправляю в elastic cloud.

https://serveradmin.ru/bystraya-nastrojka-elastic-stack-v-elastic-cloud-dlya-sbora-logov/

#elk #devops