Предлагаю к просмотру обзор программы для анализа и мониторинга сетевого трафика - Noction Flow Analyzer. Она принимает, обрабатывает данные NetFlow, sFlow, IPFIX, NetStream и BGP и визуализирует их.
Я настроил анализ трафика в своей тестовой лаборатории и разобрал основной функционал программы. Знаю, что мониторинг того, что происходит в сети - востребованный функционал. Периодически вижу вопросы на тему того, как лучше и удобнее решать эту задачу. NFA как раз делает это быстро и просто.
Для тех, кто не понимает полностью, о чем идёт речь, поясню. С помощью указанной программы можно с точностью до пакета узнать, кто, куда и что именно отправлял по сети. То есть берём какой-то конкретный ip адрес и смотрим куда и что он отправлял, какую пропускную полосу занимал. Всё это можно агрегировать по разным признакам, визуализировать, настраивать предупреждения о превышении каких-то заданных сетевых метрик.
Noction Flow Analyzer устанавливается локально с помощью deb или rpm пакетов из репозитория разработчиков. Никакой хипстоты, контейнеров, кубернетисов, облаков и saas. Программа платная с ежемесячной подпиской. Есть триал на 30 дней. Под капотом - Yandex ClickHouse.
https://serveradmin.ru/analiz-setevogo-trafika-v-noction-flow-analyzer/
#gateway #статья #netflow
Я настроил анализ трафика в своей тестовой лаборатории и разобрал основной функционал программы. Знаю, что мониторинг того, что происходит в сети - востребованный функционал. Периодически вижу вопросы на тему того, как лучше и удобнее решать эту задачу. NFA как раз делает это быстро и просто.
Для тех, кто не понимает полностью, о чем идёт речь, поясню. С помощью указанной программы можно с точностью до пакета узнать, кто, куда и что именно отправлял по сети. То есть берём какой-то конкретный ip адрес и смотрим куда и что он отправлял, какую пропускную полосу занимал. Всё это можно агрегировать по разным признакам, визуализировать, настраивать предупреждения о превышении каких-то заданных сетевых метрик.
Noction Flow Analyzer устанавливается локально с помощью deb или rpm пакетов из репозитория разработчиков. Никакой хипстоты, контейнеров, кубернетисов, облаков и saas. Программа платная с ежемесячной подпиской. Есть триал на 30 дней. Под капотом - Yandex ClickHouse.
https://serveradmin.ru/analiz-setevogo-trafika-v-noction-flow-analyzer/
#gateway #статья #netflow
Server Admin
Анализ сетевого трафика в Noction Flow Analyzer | serveradmin.ru
Подробная статья с установкой и настройкой программы для мониторинга и анализа сетевого трафика Noction Flow Analyzer.
Пока у меня остался свежий стенд с ELK Stack, решил попробовать софт для разбора NetFlow потоков в Elasticsearch - Elastiflow. Идея там такая. Ставите куда угодно коллектор, который собирает NetFlow и принимаете трафик. А этот коллектор передаёт всю информацию в Elasticsearch. В комплекте с Elastiflow идёт все необходимое для визуализации данных - шаблоны, дашборды для Kibana.
Последовательность действий для настройки такая:
1️⃣ Устанавливаем Elastiflow, можно в докере. Я так и сделал. Главное не забыть все нужные переменные указать. Основное - разрешить передачу данных в elasticsearch и активировать сбор NetFlow. По дефолту и то, и другое выключено в конфиге, что идёт как пример. Запустить лучше сначала не в режиме демона, чтобы логи смотреть сразу в консоли.
2️⃣ Импортируем объекты Kibana. Шаблоны берём отсюда. Я сначала ошибся и взял шаблоны с репы в github. А там оказывается старая версия, которая больше не развивается. В итоге одни ошибки в веб интерфейсе были.
3️⃣ Направляем NetFlow поток на Elastiflow. Я со своего Mikrotik направил. Подождал пару минут, потом пошел в Kibana и убедился, что полились данные в индекс elastiflow-*
4️⃣ Теперь идём в Dashboard и открываем ElastiFlow: Overview. Это базовый дашборд, где собрана основная информация.
Вот такой простой, бесплатный и функциональный способ сбора и парсинга NetFlow. Я разобрался и все запустил примерно за час. Больше всего времени потратил из-за того, что не те объекты для Kibana взял.
Из минусов - немного сложно разобраться и все запустить тому, кто ELK Stack не знает. Ну и плюс по ресурсам будут высокие требования. Всё это на Java работает, так что железо нужно помощнее.
Недавно был обзор платного Noction Flow Analyzer. Многие спрашивали, как получить то же самое, но бесплатно. Вот бесплатный вариант, но, что ожидаемо, функционал не такой. NFA все же готовый, законченный продукт, а тут только визуализация на базе стороннего решения по хранению и обработке.
Сайт - https://elastiflow.com
Документация - https://docs.elastiflow.com/docs
Kibana Objects - https://docs.elastiflow.com/docs/kibana
#elk #gateway #netflow
Последовательность действий для настройки такая:
1️⃣ Устанавливаем Elastiflow, можно в докере. Я так и сделал. Главное не забыть все нужные переменные указать. Основное - разрешить передачу данных в elasticsearch и активировать сбор NetFlow. По дефолту и то, и другое выключено в конфиге, что идёт как пример. Запустить лучше сначала не в режиме демона, чтобы логи смотреть сразу в консоли.
2️⃣ Импортируем объекты Kibana. Шаблоны берём отсюда. Я сначала ошибся и взял шаблоны с репы в github. А там оказывается старая версия, которая больше не развивается. В итоге одни ошибки в веб интерфейсе были.
3️⃣ Направляем NetFlow поток на Elastiflow. Я со своего Mikrotik направил. Подождал пару минут, потом пошел в Kibana и убедился, что полились данные в индекс elastiflow-*
4️⃣ Теперь идём в Dashboard и открываем ElastiFlow: Overview. Это базовый дашборд, где собрана основная информация.
Вот такой простой, бесплатный и функциональный способ сбора и парсинга NetFlow. Я разобрался и все запустил примерно за час. Больше всего времени потратил из-за того, что не те объекты для Kibana взял.
Из минусов - немного сложно разобраться и все запустить тому, кто ELK Stack не знает. Ну и плюс по ресурсам будут высокие требования. Всё это на Java работает, так что железо нужно помощнее.
Недавно был обзор платного Noction Flow Analyzer. Многие спрашивали, как получить то же самое, но бесплатно. Вот бесплатный вариант, но, что ожидаемо, функционал не такой. NFA все же готовый, законченный продукт, а тут только визуализация на базе стороннего решения по хранению и обработке.
Сайт - https://elastiflow.com
Документация - https://docs.elastiflow.com/docs
Kibana Objects - https://docs.elastiflow.com/docs/kibana
#elk #gateway #netflow
Ntopng - анализатор сетевого трафика, в том числе в режиме реального времени. Также он умеет принимать и анализировать netflow потоки. Это достаточно мощная система, которая имеет в том числе бесплатную версию с открытыми исходниками под лицензией GPLv3.
Основные возможности ntopng:
◽ Веб интерфейс для управления
◽ Визуализация трафика в режиме реального времени
◽ Фильтрация и группировка трафика по различным признакам
◽ Группировка хостов по различным признакам (ГЕО, AS, система и т.д.)
◽ Хранение исторических данных в БД
◽ Формирование предупреждений на основе различных событий
◽ Отправка оповещений по email, telegram, discord и т.д.
Ставится и настраивается ntopng очень просто. Для deb и rpm дистрибутивов есть репозитории. А сама программа поддерживает практически все современные ОС, среди которых Linux, Windows, MacOS, Freebsd. Запустить проще всего в Docker:
После этого идём в веб интерфейс http://192.168.13.157:3000/, учётка admin / admin. Дальше уже разберётесь, там всё интуитивно понятно. Трафик с указанного интерфейса ens18 сразу же начнет анализироваться.
Первый раз пробовал эту программу, раньше даже не слышал о ней. На вид всё прикольно. Никаких заморочек, настраивается и запускается быстро и просто. Веб интерфейс приятный и информативный. Подобного рода программы лично у меня ассоциируются с какими-то заморочками, настройками, разборками с фаерволом и т.д.
Помню, как я всё это настраивал раньше на программных шлюзах на той же Freebsd. Даже софт помню - netams. Сейчас она даже ищется, поэтому прямую ссылку ставлю. А теперь есть докер и волшебные слова - херак, херак и в продакшн. Никаких тебе веб серверов, конфигов и т.д. Просто берешь, запускаешь и идёшь в веб интерфейс.
Сайт - https://www.ntop.org/
Исходники - https://github.com/ntop/ntopng
Dockerhub - https://hub.docker.com/r/ntop/ntopngs
Обзор - https://www.youtube.com/watch?v=sJkLmjaj02E
#gateway #netflow
Основные возможности ntopng:
◽ Веб интерфейс для управления
◽ Визуализация трафика в режиме реального времени
◽ Фильтрация и группировка трафика по различным признакам
◽ Группировка хостов по различным признакам (ГЕО, AS, система и т.д.)
◽ Хранение исторических данных в БД
◽ Формирование предупреждений на основе различных событий
◽ Отправка оповещений по email, telegram, discord и т.д.
Ставится и настраивается ntopng очень просто. Для deb и rpm дистрибутивов есть репозитории. А сама программа поддерживает практически все современные ОС, среди которых Linux, Windows, MacOS, Freebsd. Запустить проще всего в Docker:
# docker run -it -p 3000:3000 \-v $(pwd)/ntopng.license:/etc/ntopng.license:ro \--net=host ntop/ntopng:stable -i ens18После этого идём в веб интерфейс http://192.168.13.157:3000/, учётка admin / admin. Дальше уже разберётесь, там всё интуитивно понятно. Трафик с указанного интерфейса ens18 сразу же начнет анализироваться.
Первый раз пробовал эту программу, раньше даже не слышал о ней. На вид всё прикольно. Никаких заморочек, настраивается и запускается быстро и просто. Веб интерфейс приятный и информативный. Подобного рода программы лично у меня ассоциируются с какими-то заморочками, настройками, разборками с фаерволом и т.д.
Помню, как я всё это настраивал раньше на программных шлюзах на той же Freebsd. Даже софт помню - netams. Сейчас она даже ищется, поэтому прямую ссылку ставлю. А теперь есть докер и волшебные слова - херак, херак и в продакшн. Никаких тебе веб серверов, конфигов и т.д. Просто берешь, запускаешь и идёшь в веб интерфейс.
Сайт - https://www.ntop.org/
Исходники - https://github.com/ntop/ntopng
Dockerhub - https://hub.docker.com/r/ntop/ntopngs
Обзор - https://www.youtube.com/watch?v=sJkLmjaj02E
#gateway #netflow
Технический пост, который уже давно нужно было сделать, но всё руки не доходили. На канале много содержательных заметок по различным темам. Иногда сам через поиск ищу то, о чём писал. Ниже набор наиболее популярных тэгов по которым можно найти что-то полезное (и не очень).
#remote - все, что касается удалённого управления компьютерами
#helpdesk - обзор helpdesk систем
#backup - софт для бэкапа и некоторые мои заметки по теме
#zabbix - всё, что касается системы мониторинга Zabbix
#мониторинг - в этот тэг иногда попадает Zabbix, но помимо него перечислено много различных систем мониторинга
#управление #ITSM - инструменты для управления инфраструктурой
#devops - в основном софт, который так или иначе связан с методологией devops
#kuber - небольшой цикл постов про работу с kubernetes
#chat - мои обзоры на популярные чат платформы, которые можно развернуть у себя
#бесплатно - в основном подборка всяких бесплатностей, немного бесплатных курсов
#сервис - сервисы, которые мне показались интересными и полезными
#security - заметки, так или иначе связанные с безопасностью
#webserver - всё, что касается веб серверов
#gateway - заметки на тему шлюзов
#mailserver - всё, что касается почтовых серверов
#elk - заметки по ELK Stack
#mikrotik - очень много заметок про Mikrotik
#proxmox - заметки о популярном гипервизоре Proxmox
#terminal - всё, что связано с работой в терминале
#bash - заметки с примерами полезных и не очень bash скриптов или каких-то команд. По просмотрам, комментариям, сохранениям самая популярная тематика канала.
#windows - всё, что касается системы Windows
#хостинг - немного информации и хостерах, в том числе о тех, кого использую сам
#vpn - заметки на тему VPN
#perfomance - анализ производительности сервера и профилирование нагрузки
#курсы - под этим тэгом заметки на тему курсов, которые я сам проходил, которые могу порекомендовать, а также некоторые бесплатные курсы
#игра - игры исключительно IT тематики, за редким исключением
#совет - мои советы на различные темы, в основном IT
#подборка - посты с компиляцией нескольких продуктов, объединённых одной тематикой
#отечественное - обзор софта из реестра отечественного ПО
#юмор - большое количество каких-то смешных вещей на тему IT, которые я скрупулезно выбирал, чтобы показать вам самое интересное. В самом начале есть шутки, которые придумывал сам, проводил конкурсы.
#мысли - мои рассуждения на различные темы, не только IT
#разное - этим тэгом маркирую то, что не подошло ни под какие другие, но при этом не хочется, чтобы материал терялся, так как я посчитал его полезным
#дети - информация на тему обучения и вовлечения в IT детей
#развитие_канала - серия постов на тему развития данного telegram канала
Остальные тэги публикую общим списком без комментариев, так как они про конкретный софт, понятный из названия тэга:
#docker #nginx #mysql #postgresql #gitlab #asterisk #openvpn #lxc #postfix #bitrix #икс #debian #hyperv #rsync #wordpress #zfs #grafana #iptables #prometheus #1с #waf #logs #netflow
#remote - все, что касается удалённого управления компьютерами
#helpdesk - обзор helpdesk систем
#backup - софт для бэкапа и некоторые мои заметки по теме
#zabbix - всё, что касается системы мониторинга Zabbix
#мониторинг - в этот тэг иногда попадает Zabbix, но помимо него перечислено много различных систем мониторинга
#управление #ITSM - инструменты для управления инфраструктурой
#devops - в основном софт, который так или иначе связан с методологией devops
#kuber - небольшой цикл постов про работу с kubernetes
#chat - мои обзоры на популярные чат платформы, которые можно развернуть у себя
#бесплатно - в основном подборка всяких бесплатностей, немного бесплатных курсов
#сервис - сервисы, которые мне показались интересными и полезными
#security - заметки, так или иначе связанные с безопасностью
#webserver - всё, что касается веб серверов
#gateway - заметки на тему шлюзов
#mailserver - всё, что касается почтовых серверов
#elk - заметки по ELK Stack
#mikrotik - очень много заметок про Mikrotik
#proxmox - заметки о популярном гипервизоре Proxmox
#terminal - всё, что связано с работой в терминале
#bash - заметки с примерами полезных и не очень bash скриптов или каких-то команд. По просмотрам, комментариям, сохранениям самая популярная тематика канала.
#windows - всё, что касается системы Windows
#хостинг - немного информации и хостерах, в том числе о тех, кого использую сам
#vpn - заметки на тему VPN
#perfomance - анализ производительности сервера и профилирование нагрузки
#курсы - под этим тэгом заметки на тему курсов, которые я сам проходил, которые могу порекомендовать, а также некоторые бесплатные курсы
#игра - игры исключительно IT тематики, за редким исключением
#совет - мои советы на различные темы, в основном IT
#подборка - посты с компиляцией нескольких продуктов, объединённых одной тематикой
#отечественное - обзор софта из реестра отечественного ПО
#юмор - большое количество каких-то смешных вещей на тему IT, которые я скрупулезно выбирал, чтобы показать вам самое интересное. В самом начале есть шутки, которые придумывал сам, проводил конкурсы.
#мысли - мои рассуждения на различные темы, не только IT
#разное - этим тэгом маркирую то, что не подошло ни под какие другие, но при этом не хочется, чтобы материал терялся, так как я посчитал его полезным
#дети - информация на тему обучения и вовлечения в IT детей
#развитие_канала - серия постов на тему развития данного telegram канала
Остальные тэги публикую общим списком без комментариев, так как они про конкретный софт, понятный из названия тэга:
#docker #nginx #mysql #postgresql #gitlab #asterisk #openvpn #lxc #postfix #bitrix #икс #debian #hyperv #rsync #wordpress #zfs #grafana #iptables #prometheus #1с #waf #logs #netflow
Существует не так много бесплатных продуктов по анализу трафика. Это в основном коммерческая ниша - NTA (network traffic analysis) с серьезными и дорогими решениями, интегрированными с системами информационной безопасности.
У меня на канале было пару заметок про бесплатные варианты:
▪ Elastiflow
▪ Ntopng
У этих бесплатных программ довольно скудный функционал. В этом плане приятно удивляет другой Open Source проект - Arkime, про который пойдёт речь далее. Это целостное функциональное решение с управлением через веб интерфейс.
Arkime умеет парсить трафик и складывать его в Elasticsearch. Там его удобно анализировать через веб-интерфейс. Плюс, он имеет интеграцию с Suricata, что позволяет связать из неё события с сессиями из статистики. И нетипичный для бесплатного продукта функционал - возможность работать с различными выборками и сигнатурами. Последнее как раз и делает подобные продукты востребованными в среде безопасников.
Установить Arkime очень просто. Есть готовые rpm/deb пакеты под популярные системы, так что даже с докером связываться не придётся. Достаточно скачать пакет и установить. Проверить, что все службы запущены и отправиться в веб интерфейс для настройки и работы с системой. Единственная проблема, для работы Arkime нужен пакет elasticsearch-7, а доступ к репозиторию с адресов РФ заблокирован. Так что нужно будет вручную это сделать, например, используя mirror.yandex.ru. Я так и поступил.
Ниже полная инструкция без пояснений для установки последней версии Arkime на Ubuntu 22.04.
Указываем имена сетевых интерфейсов, которые будем парсить, от установки elasticsearch отказываемся.
Идём в веб интерфейс http://212.193.52.150:8005 и логинимся под учёткой admin, THEPASSWORD. Если что-то не работает, то смотрите логи в /opt/arkime/logs. У меня всё получилось почти сразу. Немного с зависимостями разобрался, установил elasticsearch. Сначала не заработало, так как забыл инициализировать elasticsearch и добавить туда пользователя. Потом ещё раз внимательно почитал инструкцию и всё получилось.
Не забывайте, что для подобного рода программ нужно производительное железо, которое будет зависеть от объёмов трафика и глубины хранения.
🔥 Программа реально крутая. Мне неизвестно что-то подобное забесплатно. Поставил, развернул очень быстро. Отлично работает, трафик парсится, анализируется. Всё доступно через веб интерфейс. Меня часто спрашивали в комментариях рекомендацию на что-то подобное. Вот она и есть. Весь трафик сервера как на ладони.
⇨ Сайт / Исходники / Инструкция / Загрузка
#gateway #netflow
У меня на канале было пару заметок про бесплатные варианты:
▪ Elastiflow
▪ Ntopng
У этих бесплатных программ довольно скудный функционал. В этом плане приятно удивляет другой Open Source проект - Arkime, про который пойдёт речь далее. Это целостное функциональное решение с управлением через веб интерфейс.
Arkime умеет парсить трафик и складывать его в Elasticsearch. Там его удобно анализировать через веб-интерфейс. Плюс, он имеет интеграцию с Suricata, что позволяет связать из неё события с сессиями из статистики. И нетипичный для бесплатного продукта функционал - возможность работать с различными выборками и сигнатурами. Последнее как раз и делает подобные продукты востребованными в среде безопасников.
Установить Arkime очень просто. Есть готовые rpm/deb пакеты под популярные системы, так что даже с докером связываться не придётся. Достаточно скачать пакет и установить. Проверить, что все службы запущены и отправиться в веб интерфейс для настройки и работы с системой. Единственная проблема, для работы Arkime нужен пакет elasticsearch-7, а доступ к репозиторию с адресов РФ заблокирован. Так что нужно будет вручную это сделать, например, используя mirror.yandex.ru. Я так и поступил.
Ниже полная инструкция без пояснений для установки последней версии Arkime на Ubuntu 22.04.
# echo "deb [trusted=yes] https://mirror.yandex.ru/mirrors/elastic/7/ stable main" \| sudo tee /etc/apt/sources.list.d/elastic-7.x.list# apt update && apt install elasticsearch# systemctl start elasticsearch.service# wget https://s3.amazonaws.com/files.molo.ch/builds/ubuntu-22.04/arkime_4.0.2-1_amd64.deb# dpkg -i arkime_4.0.2-1_amd64.deb# /opt/arkime/bin/ConfigureУказываем имена сетевых интерфейсов, которые будем парсить, от установки elasticsearch отказываемся.
# /opt/arkime/db/db.pl http://localhost:9200 init# /opt/arkime/bin/arkime_add_user.sh admin "Admin User" THEPASSWORD --admin# systemctl start arkimecapture.service# systemctl start arkimeviewer.serviceИдём в веб интерфейс http://212.193.52.150:8005 и логинимся под учёткой admin, THEPASSWORD. Если что-то не работает, то смотрите логи в /opt/arkime/logs. У меня всё получилось почти сразу. Немного с зависимостями разобрался, установил elasticsearch. Сначала не заработало, так как забыл инициализировать elasticsearch и добавить туда пользователя. Потом ещё раз внимательно почитал инструкцию и всё получилось.
Не забывайте, что для подобного рода программ нужно производительное железо, которое будет зависеть от объёмов трафика и глубины хранения.
🔥 Программа реально крутая. Мне неизвестно что-то подобное забесплатно. Поставил, развернул очень быстро. Отлично работает, трафик парсится, анализируется. Всё доступно через веб интерфейс. Меня часто спрашивали в комментариях рекомендацию на что-то подобное. Вот она и есть. Весь трафик сервера как на ладони.
⇨ Сайт / Исходники / Инструкция / Загрузка
#gateway #netflow
Среди бесплатных анализаторов трафика (NTA — network traffic analysis) наиболее известные и функциональные (Elastiflow и Arkime) используют в качестве базы для хранения информации тяжёлый elasticsearch, к репозиторию которого ещё и доступ для РФ закрыт, что создаёт дополнительные трудности.
Есть ещё один бесплатный аналог — Akvorado, который хранит данные в более легковесном хранилище clickhouse.
📌 Он умеет:
◽принимать данные через Netflow, IPFIX, sFlow;
◽насыщать данные по ip адресам geo информацией от сервиса MaxMind;
◽показывать статистику через веб интерфейс.
Посмотреть, как всё это работает, можно в публичном demo. Поиграйтесь там с фильтрами, чтобы понять, какую информацию сможете получить. В принципе, она типовая, так как во всех подобных продуктах используются стандартные потоки, типа Netflow. Развернуть продукт у себя тоже никаких проблем, так как есть готовый docker-compose. Можно сразу оценить, что там под капотом.
Автор — француз Vincent Bernat. По сути, это его личный проект, так что по идее, он не должен стать платным, как это происходит с подобными продуктами. Например, с Ntopng или с тем же Elastiflow. Последний вроде бы полностью бесплатным был, а сейчас уже с кучей ограничений.
⇨ Сайт / Исходники / Demo
#gateway #netflow
Есть ещё один бесплатный аналог — Akvorado, который хранит данные в более легковесном хранилище clickhouse.
📌 Он умеет:
◽принимать данные через Netflow, IPFIX, sFlow;
◽насыщать данные по ip адресам geo информацией от сервиса MaxMind;
◽показывать статистику через веб интерфейс.
Посмотреть, как всё это работает, можно в публичном demo. Поиграйтесь там с фильтрами, чтобы понять, какую информацию сможете получить. В принципе, она типовая, так как во всех подобных продуктах используются стандартные потоки, типа Netflow. Развернуть продукт у себя тоже никаких проблем, так как есть готовый docker-compose. Можно сразу оценить, что там под капотом.
Автор — француз Vincent Bernat. По сути, это его личный проект, так что по идее, он не должен стать платным, как это происходит с подобными продуктами. Например, с Ntopng или с тем же Elastiflow. Последний вроде бы полностью бесплатным был, а сейчас уже с кучей ограничений.
⇨ Сайт / Исходники / Demo
#gateway #netflow
