Useful Tools | Linux | GitOps | DevOps
5.81K subscribers
154 photos
1 video
7 files
682 links
Полезные бесплатные opensource инструменты на все случаи жизни, а иногда и советы.

Понравился проект из поста - поддержи автора звездой!

Автор: @dmitry_malinin
Web: https://gitgate.d3.ru

Сотрудничество: @maxgrue
Обсуждение: @gittalk
Download Telegram
rtop - мониторинг удаленных систем поверх SSH.

Подключается по SSH к удаленной системе и отображает жизненно важные метрики системы (CPU, disk, memory, network). Не требует установки дополнительного ПО в удаленной системе, кроме SSH -сервера и рабочих учетных данных.

Дополнительно: вывод можно легко распарсить в удобоваримый для вашей текущей системы мониторинга формат.

https://github.com/rapidloop/rtop

опубликовано в @gitgate

#moni #ssh #top
👍24🔥10
opnsense-exporter - экспортер Prometheus для OPNSense

Этот экспортер предоставляет метрики OpnSense, экосистеме плагинов и услугах, работающих на брандмауэре. Тем не менее, рекомендуется использовать его с node_exporter. Вы можете объединить метрики от обоих экспортеров как в Grafana, так и в вашей системе оповещения, чтобы создать панель, которая отображает полную картину состояния системы.

В то время как Node_exporter должен быть установлен на самом брандмауэре, этот экспортер может быть установлен на любой машине, которая имеет доступ к сети к API Opnsense.

В комплекте готовые дашборды для Grafana - https://grafana.com/grafana/dashboards/21113-opnsense/

https://github.com/AthennaMind/opnsense-exporter

опубликовано в @gitgate

#moni #exporter #prometheus #opnsense
👍6🔥5
nvidia-fan-control - утилита Linux для мониторинга температуры графического процессора и динамического управления скоростью вращения вентиляторов графического процессора NVIDIA с использованием NVML.

Требования:

- графические процессоры NVIDIA с поддержкой NVML
- драйверы NVIDIA 520 или выше

https://github.com/ZanMax/nvidia-fan-control

опубликовано в @gitgate

#nvidia #cli #utils #moni
👍10🔥6
Useful Tools | Linux | GitOps | DevOps
Совет дня: Наверное все знают как через джампхост пробрасывать SSH сессию. А если надо скопировать по SCP ? scp -o "ProxyJump <JUMP_USER>@<JUMP_HOST>" dataFile.txt <USER>@<HOST>:/tmp Отлично работает и с авторизацией по ключам. опбубликовано в @gitgate…
pgSCV - сборщик prometheus метрик экосистемы PostgreSQL

Возможности:
- поддержка сбора метрик PostgreSQL, Pgbouncer и Patroni.
- поддержка сбора метрик операционной системы (только Linux).
- обнаружение и мониторинг облачных управляемых баз данных: Yandex Managed Service для PostgreSQL
- поддержка обнаружения служб Prometheus. Конечная точка /targets используется для обнаружения всех служб мониторинга
- поддержка регулирования позволяет ограничить вызовы конечных точек /metrics и /metrics?target=xxx для защиты баз данных от потока запросов на мониторинг от нескольких агентов по сбору данных
- можно ограничить параллельный сбор данных мониторинга из базы данных для управления нагрузкой, создаваемой экспортером.
- TLS и аутентификация. Конечные точки /metrics и /metrics?target=xxx могут быть защищены с помощью базовой аутентификации и TLS.
- сбор метрик из нескольких сервисов. pgSCV может собирать метрики из многих экземпляров баз данных.
- pgSCV можно настроить таким образом, чтобы он собирал метрики, определяемые пользователем.
- управление коллекторами. Коллекторы могут быть отключены при необходимости.
- фильтры коллекторов. Коллекторы можно настроить так, чтобы они пропускали сбор метрик на основе значений меток, таких как блочные устройства, сетевые интерфейсы, файловые системы, пользователи, базы данных и т. д.

Содержит готовые дашборды для Grafana

https://github.com/CHERTS/pgscv

Подсказал: Павел Тихонюк - @ptikhonyuk

опбубликовано в @gitgate

#moni #postgres #pgbouncer #patroni
🔥15👍6
Useful Tools | Linux | GitOps | DevOps
xan - инструмент командной строки CLI, который можно использовать для обработки CSV файлов непосредственно из bash. Он позволяет легко просматривать, фильтровать, разбивать на части, объединять, сортировать и объединять CSV файлы, а также предоставляет большой…
mikhmonv3 (MikroTik Hotspot Monitor) - веб-приложение (использующее PHP API MikroTik), помогающее управлять точками доступа MikroTik. Особенно MikroTik, который не поддерживает User Manager. Mikhmon не является радиус-сервером, поэтому ему не обязательно быть активным все время, а активировать по мере необходимости или в случае необходимости.

Для работы Mikhmon требуется веб-сервер + PHP, который можно установить на различные операционные системы. Mikhmon может работать на Windows, Linux, Android и OpenWrt.

Минимальные требования:
- Rourer Board MikroTik Level 4.
- Clock speed CPU 650 MHz
- Router OS v6.3x.x - v7.9

https://github.com/laksa19/mikhmonv3

Web: https://laksa19.github.io/?mikhmon/v3

опубликовано в @gitgate

#mikrotik #api #php #moni
🔥12👍7
Promxy - прокси-сервер Prometheus, который позволяет нескольким узлам Prometheus выглядеть как одна конечная точка API для пользователя.

Это значительно упрощает операции и использование Prometheus в multinode инсталции (когда у вас более одного хоста Prometheus). Promxy предоставляет эту унифицированную конечную точку доступа, не требуя никаких дополнительных модулей, пользовательских сборок или других изменений в вашей инфраструктуре Prometheus.

Сам Prometheus не предоставляет никакой реальной поддержки HA/кластеризации. Таким образом, лучшей практикой является запуск нескольких (например, N) хостов с одинаковой конфигурацией. Аналогично, у Prometheus нет настоящей встроенной федерации запросов, что означает, что в итоге вы получаете N источников в Grafana, что сбивает с толку пользователей Grafana и не поддерживает агрегацию по всем источникам. Promxy обеспечивает настройку HA Prometheus путем «слияния» данных с дублирующихся хостов (так что если в одном из них есть пробел, Promxy заполнит его другим). Кроме того, Promxy предоставляет единый источник данных для всех запросов Promql — это означает, что у Grafana может быть один источник, а у вас могут быть глобально агрегированные запросы Promql.

https://github.com/jacksontj/promxy

PS. Как решение для миграции тоже годится, подробности в коментах.

опубликовано в @gitgate

#moni #prometheus #grafana #api #ha
🔥16👍15
Lokxy - мощный агрегатор журналов для Loki, разработанный для сбора и объединения потоков журналов из нескольких источников в единую, запрашиваемую конечную точку. Он упрощает управление журналами и улучшает видимость в распределенных средах, обеспечивая бесшовную интеграцию с вашей существующей инфраструктурой Loki.

Lokxy решает проблему растущей сложности рабочих процессов наблюдения, особенно в крупномасштабных распределенных средах, где управление журналами в нескольких экземплярах становится проблемой. Вдохновленный философией дизайна Promxy, Lokxy предоставляет похожее решение на основе прокси, но сфокусированное на агрегации журналов для Loki.

Поскольку Loki является мощным инструментом агрегации журналов, Lokxy использует его в качестве бэкэнда, чтобы пользователи могли легко агрегировать и запрашивать журналы из нескольких экземпляров Loki. Этот подход разработан для упрощения запросов, улучшения наблюдаемости и улучшения масштабируемости в средах, где управление журналами в нескольких бэкэндах может стать неэффективным.

Мы черпаем особое вдохновение из Promxy для Prometheus, который объединяет несколько бэкэндов в единый интерфейс для запросов. Lokxy воспроизводит эту мощную концепцию для журналов, гарантируя пользователям единый интерфейс для запросов без необходимости прямого взаимодействия с каждым отдельным экземпляром Loki.

https://github.com/paulojmdias/lokxy

Подсказал: Max Zotov - @sf1nk5

Про Promxy рассказывал чуть раньше: https://t.me/gitgate/801

опубликовано в @gitgate

#moni #logs #loki #proxy #grafana
👍17🔥8
Useful Tools | Linux | GitOps | DevOps
Lokxy - мощный агрегатор журналов для Loki, разработанный для сбора и объединения потоков журналов из нескольких источников в единую, запрашиваемую конечную точку. Он упрощает управление журналами и улучшает видимость в распределенных средах, обеспечивая бесшовную…
Rezolus - экспортер Prometheus для контроля производительности базовых метрик Linux, который обеспечивает подробную информацию о поведении системы с помощью эффективного инструментария с низкими накладными расходами используя eBPF.

Используя eBPF, Rezolus предоставляет инструментарий с высоким разрешением и низкими издержками, который раскрывает подробное поведение системы.

Rezolus собирает полный набор показателей производительности системы в нескольких областях:

- CPU: измерение показателей использования и производительности
- планировщик: проверка выполнения задач и скорости реагирования системы
- блок ввода-вывода: анализ характеристик рабочей нагрузки и производительности
- сеть: анализирует динамику трафика и протоколов
- системные вызовы: изучение шаблонов вызовов и задержек
- уровень контейнеров: количественная оценка динамики производительности на уровне контейнера

https://github.com/iopsystems/rezolus

Готовый дашбоард для Grafana: https://github.com/iopsystems/rezolus/blob/main/dashboard.json

опубликовано в @gitgate

#moni #exportet #prometheus #ebpf
🔥12👍8
chrony_exporter - экспортер prometheus для chrony NTP

В случае, если chrony настроен на то, чтобы не принимать командные сообщения через UDP (cmdport 0), экспортер может использовать командный сокет unix, открытый chrony. В этом случае используйте параметр командной строки --chrony.address=unix:///path/to/chronyd.sock, чтобы настроить путь к командному сокету chrony. В большинстве систем chrony будет прослушивать unix:///run/chrony/chronyd.sock. Для работы экспортер должен работать как root или тот же пользователь, что и chrony. Когда экспортер запущен как root, также необходим флаг collector.chmod-socket.

https://github.com/SuperQ/chrony_exporter

опубликовано в @gitgate

#moni #prometheus #exporter #chrony
👍8🔥5
sensor-exporter - экспортер Prometheus для данных датчиков, таких как температура и скорость вращения вентилятора.

Использует:
- lm-sensors (http://www.lm-sensors.org) для получения метрик, таких как температура CPU/Motherboarf и скорость вращения вентилятора CPU/корпуса.
- hddtemp (http://www.guzu.net/linux/hddtemp.php) для получения температуры жесткого диска из данных SMART. Поскольку hddtemp должен запускаться как root для сбора этих данных, вместо того, чтобы вызывать его напрямую, мы ожидаем, что пользователь запустит его в режиме демона с его флагом -d. Затем мы подключаемся к порту, который он прослушивает, чтобы извлечь данные.

https://github.com/ncabatoff/sensor-exporter

Дашбоард для Grafana: https://grafana.net/dashboards/237

опубликовано в @gitgate

#moni #prometheus #exporter #lmsensors #hddtemp
👍5🔥3
logporter - экспортер Prometheus для получения базовых метрик и количества зарегистрированных сообщений в контейнерах.

Зачем регистрировать количество событий в журналах:
- отобразить количество запросов к приложению, если приложение регистрирует каждый запрос по ключевым словам.
- cравните возросшую нагрузку с количеством зарегистрированных сообщений.
- если приложение не является ресурсоемким, количество зарегистрированных сообщений покажет возросшую нагрузку.
- ускорьте анализ журнала, отобразив, в какой момент времени было получено наибольшее количество сообщений из стандартного потока и потока ошибок.

https://github.com/Lifailon/logporter

Внимание, русский разработчик, автор lazyjournal ! Поддержите звездочкой в репке !

опубликовано в @gitgate

#moni #exporter #prometheus #log
👍14🔥9
Grafana Alloy - компонент OpenTelemetry Collector с открытым исходным кодом. встроенные конвейеры Prometheus и поддержка метрик, журналов, трассировок и профили.

Возможности:
- используйте богатый синтаксис на основе выражений для настройки мощных конвейеров наблюдения.
- это дистрибутив OpenTelemetry Collector, поддерживающий десятки его компонентов, а также новые компоненты, использующие программируемые конвейеры Alloy.
- Big tent: Alloy принимает философию "big tent" Grafana, где Alloy может использоваться с другими поставщиками или базами данных с открытым исходным кодом. Он имеет компоненты для идеальной интеграции с несколькими экосистемами телеметрии:
OpenTelemetry Collector
Prometheus
Grafana Loki
Grafana Pyroscope
- Kubernetes-native: используйте компоненты для взаимодействия с собственными и пользовательскими ресурсами Kubernetes; нет необходимости изучать, как использовать отдельный оператор Kubernetes.
- совместно используемые конвейеры: используйте модули, чтобы делиться своими конвейерами со всем миром.
- автоматическое распределение рабочей нагрузки: настройте экземпляры Alloy для формирования кластера для автоматического распределения рабочей нагрузки.
-поддержка централизованной конфигурации: Alloy поддерживает извлечение своей конфигурации с сервера для централизованного управления конфигурацией.
- утилиты отладки: используйте встроенный пользовательский интерфейс для визуализации и отладки конвейеров.

https://github.com/grafana/alloy

Документация: https://grafana.com/docs/alloy/latest/

опубликовано в @gitgate

#moni #grafana #opentelemetry
🔥10👍7
drinfo - легковесный инструмент командной строки (CLI) для мониторинга использования диска в системах Linux с красивыми цветными индикаторами выполнения.

Возможности:
- обнаружение физических дисков, сетевых (облачных) дисков: список всех физических и сетевых дисков (также облачных дисков)
- цветные индикаторы выполнения: визуальное представление использования диска с помощью градиентных цветов (зеленый → желтый → красный)
- удобочитаемые размеры: отображает размеры в формате Б, КБ, МБ, ГБ, ТБ.
- адаптивность терминала: адаптируется к ширине терминала для оптимального отображения
- подробная информация: показывает точку монтирования, тип файловой системы, путь к устройству и статистику использования.

https://github.com/Lennart1978/drinfo

Подсказал: Ilya - @Zizibob

опубликовано в @gitgate

#moni #disk #df #info #cli
👍19🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
Dtop - предоставляет полную сводку по всем Docker-контейнерам, работающим в вашей системе, которая отображается прямо в терминале.

Получайте мгновенную информацию о состоянии контейнера, использовании ресурсов и ключевых показателях, не выходя из командной строки. Dtop поддерживает SSH, TCP и локальные соединения, а также интегрируется с Dozzle для ведения журналов контейнеров.

Возможности:
- мониторинг в реальном времени - обновления статуса и показателей контейнера в режиме реального времени
- легкий - требует минимальных ресурсов
- гиперссылки - кликабельные ссылки на журналы и статистику контейнеров с помощью Dozzle.

Альтернатива ctop но не умеет проваливаться в шелл контейнера и не показывает детали контейнера и переменные в нем.

https://github.com/amir20/dtop

Подсказал: Alex Kup - @Lifalion

опубликовано в @gitgate

#docker #moni #ctop
🔥20👍8
This media is not supported in your browser
VIEW IN TELEGRAM
Dozzle - небольшое лёгкое приложение с веб-интерфейсом для мониторинга журналов Docker. Оно не хранит файлы журналов. Оно предназначено только для мониторинга журналов контейнера в режиме реального времени.

Возможности:
- интеллектуальный нечеткий поиск названий контейнеров
- поиск в журналах с использованием регулярных выражений
- поиск в журналах с помощью SQL-запросов
- небольшой объем памяти
- разделенный экран для просмотра нескольких журналов
- текущая статистика использования памяти и процессора
- многопользовательская аутентификация с поддержкой прокси-авторизации и SSO
- поддержка режима Swarm
- режим агента для мониторинга нескольких хостов Docker
- темный режим

проект от автора dtop ( https://t.me/gitgate/938 ), отлично работает на пару в связке.

https://github.com/amir20/dozzle

Web: dozzle.dev

опубликовано в @gitgate

#moni @docker @logs @webui
👍15🔥7
Speedtest Tracker - приложение, которое отслеживает производительность и время безотказной работы вашего интернет-подключения. Позволяет разместить сервис локально (selfhosted)

Возможности:
- автоматизированные тесты: запланируйте регулярные тесты скорости, чтобы отслеживать производительность вашего интернет-подключения с течением времени.
- подробные метрики: отслеживайте скорость загрузки и выгрузки, пинг, потерю пакетов и многое другое.
- исторические данные: просматривайте исторические данные и тенденции, чтобы выявлять закономерности и проблемы с вашим интернет-соединением.
- уведомления: получайте уведомления, когда производительность вашего интернет-соединения падает ниже определенного порога.

https://github.com/alexjustesen/speedtest-tracker

опубликовано в @gitgate

#net #moni #speedtest #selfhosted
👍20🔥7
Pinguem - webUI интерфейс на основе Vue и экспортера Prometheus для асинхронной проверки доступности выбранных хостов или подсети с использованием библиотеки node-ping.

Все поля для ввода адресов динамические и сохраняются на стороне клиента (в браузере) после перезагрузки сервера и пользовательской системы. Для опроса всей подсети используйте 0 в 4 октете (например, 192.168.3.0), возможно одновременное указание нескольких подсетей.

Рекомендуется запуск в Docker-контейнере, можно проверять 254, 508 и более хостов каждую секунду без задержек. Пинг останавливается в момент закрытия вкладки браузера, при этом результаты сохраняются в памяти сервера до их выгрузки через интерфейс или API.

https://github.com/Lifailon/pinguem

Готовый дашбоард для Grafana - https://github.com/Lifailon/pinguem/blob/main/grafana-ping-exporter.json

Рубрика "я пиарюсь". Авторский проект Alex Kup - @Lifailon

Просьба поддержать звездой в репку !

опубликовано в @gitgate

#moni #net #speedtest #prometheus
👍14🔥5
ocserv-exporter - экспортер Prometheus, который позволяет получать различную статистику из ocserv. Он просто анализирует вывод утилиты occtl для сбора статистики VPN-сервера и пользователей.

Пример метрик:

$ curl -s http://127.0.0.1:8000/metrics
occtl_status_scrape_error_total 0
occtl_users_scrape_error_total 0
vpn_active_sessions 29
vpn_authentication_failures 32
vpn_average_auth_time_seconds 0
vpn_average_session_time_seconds 9960
vpn_closed_error_sessions 0
vpn_handled_sessions 589
vpn_ips_banned 0
vpn_max_auth_time_seconds 46
vpn_max_session_time_seconds 43200
vpn_rx_bytes 2.4823e+07
vpn_sessions_handled 139
vpn_timed_out_idle_sessions 0
vpn_timed_out_sessions 0
vpn_total_authentication_failures 171
vpn_tx_bytes 2.84913e+08
vpn_user_rx_bytes{device="vpns0",mtu="1434",remote_ip="203.0.113.0",username="j.doe",vpn_ipv4="10.0.0.1",vpn_ipv6=""} 962053
vpn_user_rx_bytes{device="vpns1",mtu="1434",remote_ip="203.0.113.1",username="a.bob",vpn_ipv4="10.0.0.2",vpn_ipv6=""} 532733
vpn_user_tx_bytes{device="vpns0",mtu="1434",remote_ip="203.0.113.0",username="j.doe",vpn_ipv4="10.0.0.1",vpn_ipv6=""} 3.474418e+06
vpn_user_tx_bytes{device="vpns1",mtu="1434",remote_ip="203.0.113.1",username="a.bob",vpn_ipv4="10.0.0.2",vpn_ipv6=""} 200146

https://github.com/criteo/ocserv-exporter

опубликовано в @gitgate

#moni #exporter #prometheus #ocserv #vpn
👍12🔥5
traefik-log-dashboard - панель управления в режиме реального времени для анализа журналов Traefik с геолокацией IP-адресов, анализом кодов состояния и метриками сервиса. Создана на React (Shadcn UI) и Node.js.

Возможности:
- мониторинг журналов в реальном времени: обновления в реальном времени через WebSocket.
- геолокация IP: отслеживание запросов по стране и городу.
- комплексная аналитика:
* скорость запросов и время отклика.
* распределение кодов состояния.
* статистика сервисов и маршрутизаторов.
* мониторинг частоты ошибок.
- современный пользовательский интерфейс: создан с использованием компонентов пользовательского интерфейса Shadcn.
- контейнеризация: простое развертывание с помощью Docker.
- автоматическое обновление: статистика обновляется каждые 5 секунд.
- фильтрация журналов: отфильтровывает неизвестные имена маршрутизаторов/служб и частные IP-адреса.
- пагинация: постраничная таблица журнала для повышения производительности.
- настраиваемое имя внутренней службы: больше нет жестко заданного имени «внутренней» службы.
- поддержка адресов IPv6: правильная обработка адресов IPv6.
- поддержка нескольких путей журналов: одновременный мониторинг нескольких экземпляров Traefik.

https://github.com/hhftechnology/traefik-log-dashboard

опубликовано в @gitgate

#moni #log #traefik #webui
👍15🔥11
logmerger - TUI-интерфейс для просмотра отображения нескольких файлов журналов, объединенных по метке времени.

Альтернатива ранее упоминавшейся утилиты lnav

https://github.com/ptmcg/logmerger

опубликовано в @gitgate

#moni #log
👍16🔥5