Очень своевременно.
#postgres #backup

​​Тем временем вышел PostgreSQL 11

#databases #postgres

Шпаргалка по работе с Postgres

По ссылке примеры от простейших взаимодейсивий с таблицами до описания запросов для проверки активности БД и анализа статистики

#databases #postgres

Отличный справочник по конфигурации PostgreSQL
https://postgresqlco.nf/en/doc/param/
#postgres

Про бекап в postgresql
https://habr.com/ru/post/486188/
#postgres #backup

Годный доклад про мониторинг Postgres
https://habr.com/ru/post/486710/
#postgres #monitoring

#postgres #linux
А вот тут вот очень годная статья от Percona про OOM.
В общих чертах разобрали как это работает, как выбирается процесс на убой и как на это можно повлиять (в частности как сделать так что бы ООМ не пришел к постгресу)

#postgres
Тут намечается классный сериал от 2ndquadrant про проблемы постгреса. Первая часть про 32-битные указатели транзакций получилась довольно интересной, ждем обещанного продолжения

#db #postgres #monitoring

#postgres
Перкона выпустила обзор мультимастер решений для постгреса. Тлдр:
1. Все как-то грустно
2. Все closed source
0. А он вообще точно нужен этот мультимастер?

Postgres 13 Observability

https://dataegret.com/2020/10/postgres-13-observability-updates/

#sql #postgres

🐘 Да, 2 года видео, но таки не советы остаются полезны и применимы и сейчас

https://youtube.com/watch?feature=emb_title&v=IFIXpm73qtk

#postgresql #sql #optimization #postgres

​​Подборка статей
Базы данных в Kubernetes

Спасибо авторам, которые продолжают радовать нас новыми статьями про работу с базами данных в Kubernetes, сегодня про Redis 😎

🔹 Эксплуатационный чек-лист для Redis в Kubernetes

Если еще не читали эти статьи - рекомендую!

🔹 Эксплуатация MongoDB в Kubernetes: решения, их плюсы и минусы

🔹 Обзор операторов PostgreSQL для Kubernetes. Часть 1: наш выбор и опыт

🔹 Обзор операторов PostgreSQL для Kubernetes. Часть 2: дополнения и итоговое сравнение

И на десерт запись митапа 🔥🔥🔥 с HighLoad 2020
"Stateful-приложения в 2020 году"

#kubernetes #mongo #redis #postgres

How to compare the performance of different HashiCorp Vault backends

https://blog.flant.com/comparing-hashicorp-vault-backends-performance/

#hashicorp #vault #flant #consul #postgres

pgBackRest – The Best Postgres Backup Tool with a very active community

#backup #postgres #tool

Делаем резервные копии postgres на s3 (minio)

В гисте приложен кусочек плейбука ansible который настраивает резервное копирование через mc клиент. скрипт умеет выгружать в bucket по-отдельности каждую базу из списка, оценивать размер и время совершения последнего копирования каждой базы и отдавать эту информацию в формате prometheus, а также подчищать из s3 устаревшие копии.

https://gist.github.com/bykvaadm/434a4eef5392528c9c0e4788937301bc

#postgres
#docker
#patroni
#ansible
#minio
#prometheus

#postgres #db
Очень полезная статья про тюнинг чекпоинтов в постгресе + бонусом инструкция как рассчитывать размер WAL

PostgreSQL Disaster Recovery with Kubernetes’ Volume Snapshots

https://www.enterprisedb.com/postgresql-disaster-recovery-with-kubernetes-volume-snapshots-using-cloudnativepg

#k8s #kubernetes #postgres #backups

PgCat: Nextgen PostgreSQL Pooler
PostgreSQL pooler with sharding, load balancing and failover support
#rust #postgres
https://github.com/postgresml/pgcat

#postgres #observability #pgwatch

как мы сделали postgres наблюдаемым, не расширяя стек и не убивая прометеус кардинальностью от query_id.

и по традиции демо:
https://pgwatch.dblab.dev
лог/пас (да простит нас мировое ИБ): demo/demo

исходная проблема:
1. стандартный postgres_exporter метрики собирает, даже в разрезе query_id, но глубины не хватает и не хватает точности
2. метрики очень кардинальные за счет айдишника каждой квери в лейбле
3. смотреть в базе pg_activity или pg_stat не вариант - баз больше тысячи

как решили:
1. нашли тогда еще не очень зрелое решение, которое не расширяло наш технологический стек ни на грамм - pgwatch (рекомендуем именно https://gitlab.com/postgres-ai/pgwatch2 не https://github.com/cybertec-postgresql/pgwatch)
2. просто подняли рядом отдельный postgres-инстанс только под метрики
3. туда начали сливать pg_stat_activity, pg_stat_statements и другие системные таблицы
4. взяли дашборды, которые идут в комплекте с pgwatch и чуть-чуть докрутили

что получили:
1. дашборды с drill-down вплоть от кластера до конкретного запроса.
2. графики с планами выполнения (через плагины)
3. видно кривые настройки, autovacuum, недоиндексы из коробки без танцев с бубном
4. все это существенно на пониженной нагрузке в сравнении с экспортером для прометеуса

почему postgres-ai а не cybertec:
1. первое и главное - баги
2. второе не супер важное, в cybertec своя графана в инсталляции и не очень полезный UI (может вам будет полезен)
3. появляется поддержка кастомных метрик, что дает большую гибкость

и подтверждаю слова авторов форка от postgres-ai, действительно:
- Improved dashboards for fast troubleshooting
- Custom metrics and configs
- Support of pg_wait_sampling and pg_stat_kcache
- Used YAML based setup
- Metrics storage DB: PostgreSQL with timescaledb extension (by default)

что дальше:
посматриваем в сторону coroot - умеет вытаскивать медленные запросы через eBPF без агентов и с недавних пор еще и с нормальной поддержкой секретов.
проверим, может ли заменить наше решение