Решил собрать в одну заметку все известные мне бесплатные способы по учёту трафика в локальной сети. То есть у вас есть какой-то шлюз, локальная сеть за ним (или сеть VPN клиентов) и вы хотите получать статистику по сетевой активности, исходящей из сети. Желательно с какой-то сводной статистикой, с историческими данными и с разбивкой по типам и направлению трафика.

Когда возникает такая задача, то первое, что приходит в голову, взять продукт, позволяющий анализировать протокол NetFlow. Практически все шлюзы поддерживают перенаправление Netflow на какой-то приёмник, где он может быть обработан и упорядочен. Известные мне бесплатные решения по этой теме:

🔹Elastiflow - решение на базе своего коллектора ElastiFlow + ELK Stack для хранения метрик + Grafana для визуализации. Со времени моей заметки изменилась система лицензирования. Теперь надо обязательно получать бесплатную Basic лицензию с некоторыми ограничениями. Они описаны в тарифных планах.

🔹Akvorado - ещё один Netflow collector с хранением данных в Elasticsearch. Неплохое функциональное решение, полностью бесплатное. Написано одним человеком, им же и поддерживается. Можно посмотреть demo. Платной версии нет вообще.

🔹FlowViewer - очень старое легковесное решение для разбора Netfow потоков. Работает на базе сборщика Flow-tools и веб интерфейса на базе Perl + CGI + HTML. Для хранения используется обычный каталог в файловой системе и бинарные файлы. То есть это максимально простое и легковесное решение из всех описанных а заметке.

🔹Ntopng - известное решение по анализу трафика. Используется в некоторых программных шлюзах, например pfsense/opnsense. Бесплатная версия захватывает и анализирует трафик, проходящий непосредственно через шлюз. Для анализа Netflow нужен платный модуль, но есть бесплатный вариант - netflow2ng. Это самописный модуль от энтузиаста, который позволяет собирать NetFlow и передавать в Ntopng.

🔹GoFlow2 - агрегатор данных из NetFlow, который сам по себе не имеет веб интерфейса для визуализации данных. Но он умеет выгружать обработанные данные в различных форматах для использования в готовых стэках: Prometheus+Grafana, Kafka+Clickhouse+Grafana, Logstash+Elastic+Kibana.

Помимо Netflow анализаторов есть другие решения этой задачи:

🔹Arkime - захватывает и анализирует трафик напрямую с сетевых интерфейсов. Насколько я знаю не имеет анализатора Netflow. Данные хранит в Elasticsearch. Для управления используется веб интерфейс, есть интеграция с Suricata. Хорошее и функциональное бесплатное решение. Одно из лучших, что я видел.

🔹Бесплатные софтовые шлюзы, типа pfsense/opnsense/ipfire. В них могут быть интегрированы те или иные бесплатные решения для учёта трафика. В основном это ntopng.

🔹Платные шлюзы с ограничениями функциональности. В основном это относится к количеству наблюдаемых узлов. Известные мне примеры: Ideco NGFW и ИКС.

Если вы знаете и использовали какие-то другие решения для обработки, анализа и хранения информации о трафике, поделитесь своим вариантом.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#netflow #подборка

Вчера в подборке упомянул NetFlow collector GoFlow2, с которым я лично не работал никогда. Решил на него посмотреть. На первый взгляд кажется простым и удобным решением, которое состоит из одного исполняемого файла на Go с параметрами, передаваемыми через ключи запуска.

GoFlow2 может собирать данные из разных источников, объединять их и выгружать в json формате. А дальше данные можно забирать в любую систему обработки логов - Loki, Elasticsearch, Clicklhouse.

Достаточно скачать бинарник и запустить:

# ./goflow2 -transport=file -transport.file=/var/log/goflow/goflow2.log -format=json

Goflow2 запустится и будет слушать следующие порты:

◽️6343 для приёма sFlow
◽️2055 для приёма NetFlow
◽️8080 для передачи метрик о своей работе в формате Prometheus (url - /metrics)

Я для теста взял Mikrotik и в разделе IP ⇨ Traffic Flow ⇨ Targets указал IP адрес машины, где запустил Goflow2. Данные о трафике сразу полились в неё. Поднял рядом Prometheus, добавил job для сбра метрик коллектора:

 - job_name: 'goflow2'
  metrics_path: '/metrics'
  static_configs:
  - targets: ['10.20.1.9:8080']

К сожалению, не нашёл готового дашборда для Grafana. Похоже, его вообще не существует. Из полезных метрик непосредственно Goflow2 - информация о пакетах (goflow2_flow_traffic_packets_total) и байтах (goflow2_flow_traffic_bytes_total) с каждого источника. Можно просто отслеживать всплески и аномалии без детальной разбивки по направлениям и типам соединений. ИИ не смог мне родить рабочий дашборд, сколько его не мучал, только время потерял. В итоге вручную посмотрел на метрики и прикинул, что там может быть полезным. Метрик много, детально во все не вникал.

Дальше можно детально распарсить трафик из файлов, которые формирует goflow2. В репозитории есть пример, как это сделать с помощью ELK Stack. Там поднимается стандартный стек с обработчиком логов в виде Logstash. В compose файле прописаны образы из репозитория docker.elastic.co, к которому доступ из РФ закрыт. Можно просто заменить их на docker hub, то есть вместо docker.elastic.co/elasticsearch/elasticsearch:7.13.0 указать elasticsearch:7.13.0.

Я запустил этот docker-compose.yml и без проблем стартовал весь стек именно на указанных старых версиях. Можно более свежие поставить, но там больше заморочек с безопасностью и аутентификацией. Придётся https настраивать, учётные записи. Для проверки работы коллектора всё это не нужно.

После запуска через:

# docker-compose up

Необходимо зайти в Kibana по IP адресу сервера и порт 5601 и добавить новый индекс в разделе Stack Management ⇨ Index Management. В качестве index pattern укажите logstash-*, а в качестве time filter - @timestamp из выпадающего списка.

Теперь можно идти в Discover, выбирать шаблон индекса logstash-* и смотреть информацию по трафику. Так как источник данных уже в виде json, все поля проиндексированы и вы можете строить выборки по src_addr, dst_addr, dst_port и т.д.

Готового шаблона для Kibana я, к сожалению, тоже не нашёл. Так что это решение только для тех, кто работает с ELK и умеет создавать дашборды. Там нет чего-то сильно сложного, но с полтычка тоже не осилить. Надо уметь с ним работать. Можно настроить geo карту, суммировать трафик по направлениям и выводить лидеров, объединять запросы по TCP или UDP портам и т.д.

Я показал пример с ELK, но ничто не мешает эти же логи отправить, например, в Loki и смотреть их там. Либо в любое другое хранилище. Так как они в формате json, отдельно парсить их не надо.

В целом, GoFlow2 мне понравился. Никаких особых заморочек. Просто запускаешь и всё работает. Другое дело, что это не готовая система для анализа трафика, а просто сборщик. Дальнейшую обработку и визуализацию полученных данных нужно выполнять самостоятельно. Зато можно сделать так, как вам нужно. И это будет полностью бесплатно.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#netflow #elk