Useful Tools | Linux | GitOps | DevOps
5.83K subscribers
155 photos
1 video
7 files
682 links
Полезные бесплатные opensource инструменты на все случаи жизни, а иногда и советы.

Понравился проект из поста - поддержи автора звездой!

Автор: @dmitry_malinin
Web: https://gitgate.d3.ru

Сотрудничество: @maxgrue
Обсуждение: @gittalk
Download Telegram
pgtop - интерактивный вьювер процессов базы данных Postgres, показывающий информацию, связанную с текущей активностью базы данных, такую ​​как состояние и текущий запрос.

Отображаемая информация настраивается с помощью графической настройки, а также может сортироваться и фильтроваться в интерактивном режиме. Задачи, связанные с процессами (например, уничтожение), можно выполнять без ввода их PID.

https://github.com/chagui/pgtop?tab=readme-ov-file

Основана на https://www.postgresql.org/docs/9.4/monitoring-stats.html#PG-STAT-ACTIVITY-VIEW

опубликовано в @gitgate

#postgres #top #cli #tui #rust #pgtop
1👍6🔥6
lazysql - проект во многом вдохновлен Lazygit, который является лучшим TUI клиентом для Git.

Проект схож по идеалогии, но предначачен для SQL.

Возможности:
- кроссплатформенность (macOS, Windows, Linux)
- сочетания клавиш Vim
- может управлять несколькими соединениями (Backspace)
- вкладки
- редактор SQL (CTRL + e)

Поддерживает:
- MySQL
- PostgreSQL
- SQLite

https://github.com/jorgerojas26/lazysql

опубликовано в @gitgate

#tui #cli #mysql #postgres #sqlite
1👍15🔥7
PostgREST предоставляет полностью RESTful API из любой существующей базы данных PostgreSQL.

Производительность:

Три фактора способствуют скорости. Сначала сервер пишется на Haskell с использованием HTTP Warp (он же компилируемый язык с облегченными потоками). Затем он делегирует как можно больше вычислений базе данных, включая

- Сериализация ответов JSON непосредственно в SQL
- Проверка данных
- Авторизация
- Комбинированный подсчет строк и поиск
- Сообщение данных одной командой (возврат *)

Наконец, он эффективно использует базу данных с помощью библиотеки Hasql.

- Сохранение пула соединений с БД
- Использование двоичного протокола PostgreSQL
- Отсутствие состояния для обеспечения возможности горизонтального масштабирования.

https://github.com/PostgREST/postgrest

Документация: https://docs.postgrest.org/en/v12/

опубликовано в @gitgate

#postgres #api #restapi
👍6🔥5
PG_CRON -простой планировщик заданий на основе крона для PostgreSQL (10 или выше), который работает внутри базы данных в качестве расширения.

Он использует тот же синтаксис, что и обычный Cron, но позволяет планировать команды PostgreSQL непосредственно из базы данных. Вы также можете использовать «[1-59] секунды», чтобы запланировать работу на основе интервала.

PG_CRON также позволяет вам использовать '$', чтобы указать в последний день месяца.

PG_CRON может запускать несколько заданий параллельно, но он работает не более одного экземпляра работы за раз. Если второй запуск должен начаться до первого завершения, то второй запуск попадает в очередь и начинается, как только завершится первый.

https://github.com/citusdata/pg_cron

Поделился: Max Zotov - @sf1nk5

опубликовано в @gitgate

#postgres #cron #plugin
👍10🔥8
pg_activity - инструмент командной строки (CLI) для мониторинга активности сервера PostgreSQL похожий на htop

Кстати, включено пакетом в базовые репы многих дистрибутивов линукса.

Запуск:

sudo -u postgres pg_activity -U postgres


https://github.com/dalibo/pg_activity

опубликовано в @gitgate

#moni #postgres #pg #top #sql
🔥26👍11
PgDog - шардирование, пул соединений и балансировщик нагрузки для PostgreSQL. Написанный на Rust, PgDog быстр, надежен и масштабирует базы данных горизонтально, не требуя внесения изменений в код приложения.

Он позволяет разбить PostgreSQL на сегменты и может управлять сотнями баз данных и сотнями тысяч соединений.

https://github.com/pgdogdev/pgdog

Документация: https://docs.pgdog.dev/

опубликовано в  @gitgate

#postgres #ha #sharding #load-balancer
👍15🔥5
Онлайн конфигуратор критически важных параметров производительности PostgreSQL от TantorLabs

https://tantorlabs.ru/pgconfigurator

опубликовано в @gitgate

#postgres #web #online
👍15🔥10
Еще один онлайн конфигуратор параметров PostgreSQL от Cybertec Для версий PostgreSQL от 12 до 17

https://pgconfigurator.cybertec-postgresql.com/

Подсказал: Александр - @dev_02

Разбор полетов - https://elma365.com/ru/help/platform/postgresql-performance-diagnostics.html

Подсказал: Rasta - @chu_k0t

опубликовано в @gitgate

#postgres #web #online
🔥11👍8
openHalo - предоставляет возможность приложениям написанными для MySQL работать с с PostgreSQL, но обеспечивает гораздо лучшую производительность, чем MySQL!

openHalo понимает диалект SQL MySQL и поддерживает тот же протокол связи, поэтому ваши приложения, изначально написанные для MySQL, могут работать с openHalo с меньшим количеством изменений кода. В результате, усилия, необходимые для изменения и перемещения приложений, работающих на MySQL 5.7 или более новой версии, на openHalo сокращаются, что приводит к более быстрым, менее рискованным и более экономичным миграциям.

С openHalo вы можете получить лучшую производительность без дополнительных усилий и сборов! Особенно для сложных SQL-запросов! С помощью openHalo вы можете использовать часто используемые инструменты запросов MySQL, команды и драйверы. В результате вы можете продолжать разработку с помощью знакомых вам инструментов.

https://github.com/HaloTech-Co-Ltd/openHalo

Поделился: @yukon_spb

опубликовано в @gitgate

#mysql #postgresql #postgres #migration
👍13🔥13
Useful Tools | Linux | GitOps | DevOps
Совет дня: Наверное все знают как через джампхост пробрасывать SSH сессию. А если надо скопировать по SCP ? scp -o "ProxyJump <JUMP_USER>@<JUMP_HOST>" dataFile.txt <USER>@<HOST>:/tmp Отлично работает и с авторизацией по ключам. опбубликовано в @gitgate…
pgSCV - сборщик prometheus метрик экосистемы PostgreSQL

Возможности:
- поддержка сбора метрик PostgreSQL, Pgbouncer и Patroni.
- поддержка сбора метрик операционной системы (только Linux).
- обнаружение и мониторинг облачных управляемых баз данных: Yandex Managed Service для PostgreSQL
- поддержка обнаружения служб Prometheus. Конечная точка /targets используется для обнаружения всех служб мониторинга
- поддержка регулирования позволяет ограничить вызовы конечных точек /metrics и /metrics?target=xxx для защиты баз данных от потока запросов на мониторинг от нескольких агентов по сбору данных
- можно ограничить параллельный сбор данных мониторинга из базы данных для управления нагрузкой, создаваемой экспортером.
- TLS и аутентификация. Конечные точки /metrics и /metrics?target=xxx могут быть защищены с помощью базовой аутентификации и TLS.
- сбор метрик из нескольких сервисов. pgSCV может собирать метрики из многих экземпляров баз данных.
- pgSCV можно настроить таким образом, чтобы он собирал метрики, определяемые пользователем.
- управление коллекторами. Коллекторы могут быть отключены при необходимости.
- фильтры коллекторов. Коллекторы можно настроить так, чтобы они пропускали сбор метрик на основе значений меток, таких как блочные устройства, сетевые интерфейсы, файловые системы, пользователи, базы данных и т. д.

Содержит готовые дашборды для Grafana

https://github.com/CHERTS/pgscv

Подсказал: Павел Тихонюк - @ptikhonyuk

опбубликовано в @gitgate

#moni #postgres #pgbouncer #patroni
🔥15👍6
Warpgate - интеллектуальный смарт хост для протоколов SSH, HTTPS, MySQL и PostgreSQL для Linux, которому не нужны специальные клиентские приложения.

Возможности:
- настройте его в своей DMZ, добавьте учетные записи пользователей и легко назначьте их определенным хостам и URL-адресам в сети.
- Warpgate будет записывать каждый сеанс, чтобы вы могли просмотреть его в реальном времени и воспроизвести позже через встроенный веб-интерфейс администратора.
- не является jumphost - вместо этого перенаправляет ваши соединения напрямую к цели.
- cобственная поддержка 2FA и SSO (TOTP и OpenID Connect)
- один двоичный файл без зависимостей.
- написано на 100% безопасном Rust.

https://github.com/warp-tech/warpgate

опубликовано в @gitgate

#security #ssh #http #https #mysql #postgres #access #2fa #sso #totp #openid
👍16🔥10
pgBackRest - надежное решение для резервного копирования и восстановления данных для PostgreSQL, которое легко масштабируется до самых больших баз данных и рабочих нагрузок.

Возможности:
- параллельное резервное копирование и восстановление: Сжатие обычно является узким местом во время операций резервного копирования, поэтому pgBackRest решает эту проблему с помощью параллельной обработки и более эффективных алгоритмов сжатия, таких как lz4 и zstd.
- локальное или удаленное управление: Специальный протокол позволяет pgBackRest выполнять резервное копирование, восстановление и архивацию локально или удалённо по TLS/SSH с минимальной настройкой. Интерфейс для запросов к PostgreSQL также предоставляется на уровне протокола, поэтому удалённый доступ к PostgreSQL не требуется, что повышает безопасность.
- несколько репозиториев: Несколько репозиториев позволяют, например, использовать локальный репозиторий с минимальным сроком хранения для быстрого восстановления и удаленный репозиторий с более длительным сроком хранения для обеспечения избыточности и доступа в масштабах всего предприятия
- ротация резервных копий и истечение срока действия архива
- целостность резервного копирования: Контрольные суммы рассчитываются для каждого файла в резервной копии и перепроверяются во время восстановления или проверки. После завершения копирования файлов резервная копия ожидает, пока все сегменты WAL, необходимые для обеспечения согласованности резервной копии, не поступят в репозиторий.
- восстановление процесса бакапа: Прерванное резервное копирование можно возобновить с того места, где оно было остановлено
- параллельный, асинхронный WAL Push & Get
- поддержка табличных пространств и ссылок
- поддержка хранилищ объектов, совместимых с S3, Azure и GCS
- шифрование: PgBackRest может зашифровать репозиторий, чтобы обеспечить безопасность резервных копий, где бы они ни хранились.

https://github.com/pgbackrest/pgbackrest

опубликовано в @gitgate

#postgres #backup
1👍15🔥5