🧬 Как мы пересобрали архитектуру сбора flow-статистики
В команде сетевой инфраструктуры и мониторинга Yandex обновили legacy-коллектор, который отвечал за обработку flow-данных. Цель была простой: сделать систему легче, быстрее и удобнее для дальнейшего развития.
В новой схеме коллектор пишет данные напрямую в базу и сразу обогащает их бизнес-метриками через подключаемые модули. В итоге потребление памяти удалось сократить в 6 раз, а нагрузку на CPU — как минимум в 3 раза.
Это хороший пример того, как аккуратная переработка инфраструктурного компонента даёт заметный эффект не только по ресурсам, но и по удобству эксплуатации в продакшене.
#архитектура #мониторинг #flow
В команде сетевой инфраструктуры и мониторинга Yandex обновили legacy-коллектор, который отвечал за обработку flow-данных. Цель была простой: сделать систему легче, быстрее и удобнее для дальнейшего развития.
В новой схеме коллектор пишет данные напрямую в базу и сразу обогащает их бизнес-метриками через подключаемые модули. В итоге потребление памяти удалось сократить в 6 раз, а нагрузку на CPU — как минимум в 3 раза.
Это хороший пример того, как аккуратная переработка инфраструктурного компонента даёт заметный эффект не только по ресурсам, но и по удобству эксплуатации в продакшене.
#архитектура #мониторинг #flow