Gitlab написал про PITR для postgresql https://about.gitlab.com/2019/02/13/delayed-replication-for-disaster-recovery-with-postgresql/ #postgresql #backup
GitLab
How we used delayed replication for disaster recovery with PostgreSQL
Replication is no backup. Or is it? Let's take a look at delayed replication and how we used it to recover from accidental label deletion.
Forwarded from Записки админа
🖱 Камрады подсказывают ещё один инструмент для работы со структурой БД. Подходит и для MySQL, и для PostgreSQL, судя по описанию: https://github.com/k0kubun/sqldef
#mysql #postgresql #фидбечат
#mysql #postgresql #фидбечат
Forwarded from Sysadmin Tools 🇺🇦
🐘 Да, 2 года видео, но таки не советы остаются полезны и применимы и сейчас
https://youtube.com/watch?feature=emb_title&v=IFIXpm73qtk
#postgresql #sql #optimization #postgres
https://youtube.com/watch?feature=emb_title&v=IFIXpm73qtk
#postgresql #sql #optimization #postgres
YouTube
PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)
HighLoad++ 2017
Тезисы:
http://www.highload.ru/2017/abstracts/3096.html
PostgreSQL is the world’s most advanced open source database. Indeed! With around 270 configuration parameters in postgresql.conf, plus all the knobs in pg_hba.conf, it is definitely…
Тезисы:
http://www.highload.ru/2017/abstracts/3096.html
PostgreSQL is the world’s most advanced open source database. Indeed! With around 270 configuration parameters in postgresql.conf, plus all the knobs in pg_hba.conf, it is definitely…
Forwarded from Sysadmin Tools 🇺🇦
Воу-воу, что тут подкинул @oleg_log
Postgres Observability https://pgstats.dev/
Всё в анимациях, что бы наглядно и красиво🤘
#postgresql #observability #sql
Postgres Observability https://pgstats.dev/
Всё в анимациях, что бы наглядно и красиво🤘
#postgresql #observability #sql
Forwarded from SWE notes
Лонгрид на тему структуры Btree, которая используется для индексов во многих БД
#structure #btree #postgresql
https://erthalion.info/2020/11/28/evolution-of-btree-index-am/
#structure #btree #postgresql
https://erthalion.info/2020/11/28/evolution-of-btree-index-am/
Forwarded from SWE notes
Интересная статья про работу с древовидными структурами данных в PostgreSQL. Задача такая не редко встречается при работе с различными справочниками.
#postgresql #tree
https://hoverbear.org/blog/postgresql-hierarchical-structures/
#postgresql #tree
https://hoverbear.org/blog/postgresql-hierarchical-structures/
hoverbear.org
Hierarchical Structures in PostgreSQL
Modelling hierarchical/team/categorical/tag data with arbitrary depths.
Forwarded from SWE notes
Хорошая вводная статья о способах построения аналитических аггрегатах в БД и какие особенности MVCC при этом надо учитывать.
#postgresql #analitycs #db
https://m.habr.com/ru/company/tensor/blog/539016
#postgresql #analitycs #db
https://m.habr.com/ru/company/tensor/blog/539016
Хабр
Агрегаты в БД — зачем, как, а стоит ли?
С течением жизни приложения в его БД накапливается все больше данных. Десктопное оно, SaaS или даже мобильное - неважно, в современном мире почти каждый что-то хранит "у себя". Если это какая-то...
Forwarded from Sysadmin Tools 🇺🇦
PostgreSQL Replication with Docker
https://medium.com/swlh/postgresql-replication-with-docker-c6a904becf77
#postgresql #docker #replication #cluster
https://medium.com/swlh/postgresql-replication-with-docker-c6a904becf77
#postgresql #docker #replication #cluster
Medium
PostgreSQL Replication with Docker
There are so many ways to setup replication for a PostgreSQL master, but when it comes to docker, it could waste your time. In this…
Forwarded from Sysadmin Tools 🇺🇦
DBaaS on Kubernetes: Under the Hood
https://www.percona.com/blog/2021/02/08/dbaas-on-kubernetes-under-the-hood/
#k8s #kubernetes #percona #sql #mysql #postgresql #dbaas #docker
https://www.percona.com/blog/2021/02/08/dbaas-on-kubernetes-under-the-hood/
#k8s #kubernetes #percona #sql #mysql #postgresql #dbaas #docker
Forwarded from Записки админа
🖱 Datanymizer - интересная штука для ситуаций, когда нам нужно быстро сделать тестовый набор данных (для разработчиков, например), на основе того, с чем мы работаем в проде. Описываем в yml что и с какими данными нужно делать, и просто создаём дамп с помощью утилиты. На выходе получаем готовый дамп, в котором вся чувствительная информация (если мы описали её ранее), будет заменена.
Подробнее об инструменте, на русском: https://evrone.ru/datanymizer
#фидбечат #postgresql
Подробнее об инструменте, на русском: https://evrone.ru/datanymizer
#фидбечат #postgresql
Forwarded from SWE notes
Наткнулся на продолжение данной статьи, но как по мне то, что описано тут является анти-патерном и так делать не надо...
И для таких задач например в том же Clickhouse есть представления, которые автоматом обновляются при вставке в родительскую таблицу...
И да, как по мне, очень большое заблуждение полагать что вам при анализе данных всегда нужен ACID (практически всегда это не так)
#postgresql #analitycs #clickhouse
https://m.habr.com/ru/company/tensor/blog/539638/
И для таких задач например в том же Clickhouse есть представления, которые автоматом обновляются при вставке в родительскую таблицу...
И да, как по мне, очень большое заблуждение полагать что вам при анализе данных всегда нужен ACID (практически всегда это не так)
#postgresql #analitycs #clickhouse
https://m.habr.com/ru/company/tensor/blog/539638/
Хабр
Агрегаты в БД — эффективная обработка потока «фактов»
Предположим, вам надо обработать на PostgreSQL большое (не, не так... БОЛЬШОЕ) количество записей, чтобы посчитать какие-нибудь агрегаты. В предыдущей статье были разобраны различные варианты,...
Forwarded from CatOps
Basic practices for optimizing read and write performance in PostgreSQL.
A long read about the factors that affect PostgreSQL performance as well as some insights regarding the internals.
#postgresql #db
A long read about the factors that affect PostgreSQL performance as well as some insights regarding the internals.
#postgresql #db
Vettabase
Basic practices for optimizing read and write performance in PostgreSQL - Vettabase
Optimizing read and write performance varies for every Postgres database server in a different environment.
Forwarded from SWE notes
Для тех кто считает что jsonb в postgresql может заменить монгу, очень рекомендую ознакомиться со статьёй ниже об особенностях его работы и хранения
#postgresql #jsonb
https://scalegrid.io/blog/using-jsonb-in-postgresql-how-to-effectively-store-index-json-data-in-postgresql/
#postgresql #jsonb
https://scalegrid.io/blog/using-jsonb-in-postgresql-how-to-effectively-store-index-json-data-in-postgresql/
ScaleGrid
JSONB PostgreSQL: How To Store & Index JSON Data
In this post, we are going to show you tips and techniques on how to effectively store and index JSON data in PostgreSQL. Learn more about JSONB in Postgres.
Forwarded from Sysadmin Tools 🇺🇦
Стали доступны видеозаписи с Percona live 2021
#percona #mysql #postgresql #clickhouse #mongodb #hammerdb #victoriametrics #ebpf #vitess #mariadb
#percona #mysql #postgresql #clickhouse #mongodb #hammerdb #victoriametrics #ebpf #vitess #mariadb
Percona
Percona Live Online 2021
he biggest open source database conference in the world. 196 SPEAKERS, 206 SESSIONS AND THOUSANDS OF ATTENDEES.
Forwarded from Sysadmin Tools 🇺🇦
Адаптивная балансировка нагрузки или как повысить надёжность микросервиса
#redis #mysql #postgresql #net
#redis #mysql #postgresql #net
Хабр
Адаптивная балансировка нагрузки или как повысить надёжность микросервиса
Привет, меня зовут Геннадий, я работаю в Ozon, занимаюсь разработкой backend-сервисов. Избыточностью компонентов, кластеризацией или балансировкой уже никого не удивишь в наши дни. Это очень важные и...
Forwarded from Sysadmin Tools 🇺🇦
Percona Exporters Roadmap
https://percona.community/blog/2021/06/11/exporters-roadmap/
#percona #exporter #prometheus #monitoring #mongodb #mysql #postgresql #clickhouse #rds #proxysql #azure
https://percona.community/blog/2021/06/11/exporters-roadmap/
#percona #exporter #prometheus #monitoring #mongodb #mysql #postgresql #clickhouse #rds #proxysql #azure
percona.community
Exporters Roadmap | Percona Community
Exporters Roadmap Goals Prometheus exports as a part of PMM are a big and valuable component.
According to the goal to involve open source contributors to contribute to PMM and Percona to contribute to open source. As the main focus, it was decided to start…
According to the goal to involve open source contributors to contribute to PMM and Percona to contribute to open source. As the main focus, it was decided to start…
Forwarded from SWE notes
Планировщик задач для postgresql. Возможно кому-то пригодиться...
#postgresql #cron
https://github.com/cybertec-postgresql/pg_timetable
#postgresql #cron
https://github.com/cybertec-postgresql/pg_timetable
GitHub
GitHub - cybertec-postgresql/pg_timetable: pg_timetable: Advanced scheduling for PostgreSQL
pg_timetable: Advanced scheduling for PostgreSQL. Contribute to cybertec-postgresql/pg_timetable development by creating an account on GitHub.
Forwarded from SWE notes
Статья о том как можно делать аналитические запросы с промежуточными агрегациями в postgresql
#postgresql #bi #olap
https://www.cybertec-postgresql.com/en/postgresql-grouping-sets-rollup-cube/
#postgresql #bi #olap
https://www.cybertec-postgresql.com/en/postgresql-grouping-sets-rollup-cube/
CYBERTEC PostgreSQL | Services & Support
PostgreSQL grouping sets: ROLLUP & CUBE
PostgreSQL offers many OLAP-style workload features. One of those features is called “GROUPING SETS”. Let's deep dive into ROLLUP & CUBE:
Forwarded from Админим с Буквой (bykva)
Мониторинг postgres
Зацепил тут взглядом недавно прикольный экспортёр для postgresql/patroni/pgbouncer/os-metrics
в общем не экспортёр, а целый комбаин. Понравился тем что умеет по полочкам разложить какой пользователь сколько проводит временив запросах, какие конкретно запросы вызывают наибольшее время, а какие самые частые, в какую таблицу с какой частотой выполняются селекты-инсерты и многое другое. Попутно написал для этой штуки маленькую ансибловую роль. Попробуйте и обязательно поставьте автору звёздочку на гитхабе =)
ansible role:
https://github.com/bykvaadm/ansible-pgscv
pgscv github repo:
https://github.com/weaponry/pgscv
grafana dashboard
https://grafana.com/grafana/dashboards/14540
wiki
https://github.com/weaponry/pgscv/wiki
habr
https://habr.com/ru/post/559550/
#postgresql #prometheus
Зацепил тут взглядом недавно прикольный экспортёр для postgresql/patroni/pgbouncer/os-metrics
в общем не экспортёр, а целый комбаин. Понравился тем что умеет по полочкам разложить какой пользователь сколько проводит временив запросах, какие конкретно запросы вызывают наибольшее время, а какие самые частые, в какую таблицу с какой частотой выполняются селекты-инсерты и многое другое. Попутно написал для этой штуки маленькую ансибловую роль. Попробуйте и обязательно поставьте автору звёздочку на гитхабе =)
ansible role:
https://github.com/bykvaadm/ansible-pgscv
pgscv github repo:
https://github.com/weaponry/pgscv
grafana dashboard
https://grafana.com/grafana/dashboards/14540
wiki
https://github.com/weaponry/pgscv/wiki
habr
https://habr.com/ru/post/559550/
#postgresql #prometheus
GitHub
GitHub - bykvaadm/ansible-pgscv: role to install pgscv-exporter
role to install pgscv-exporter. Contribute to bykvaadm/ansible-pgscv development by creating an account on GitHub.
Forwarded from Sysadmin Tools 🇺🇦
pg_analytics: Transforming Postgres into a Fast OLAP Database
https://blog.paradedb.com/pages/introducing_analytics
#postgresql #timescale #clickhouse
https://blog.paradedb.com/pages/introducing_analytics
#postgresql #timescale #clickhouse