Может ли чужая транзакция привести к инциденту в вашей таблице?

Запрос на чтение по нашей таблице деградировал с 10 мс до 1.2 с. Эта таблица участвует в критичном бизнес-процессе, и такая задержка для нас — инцидент. В самой таблице не изменилось ничего: те же индексы, тот же объём запросов, те же данные. Проблема была не на нашей стороне. Чужая транзакция висела более 12 часов и нашей таблицы не касалась.

Дело в том, как Postgres хранит данные. UPDATE не меняет строку на месте, а создаёт новую версию и помечает старую мёртвой. Со временем мёртвых версий накапливается много, и их подчищает фоновый процесс autovacuum. Но удалить мёртвую версию он может, только когда она уже точно никому не видна, то есть когда её не может прочитать ни одна живая транзакция.

autovacuum ориентируется на самую старую активную транзакцию во всей базе. Пока она жива, её снапшот теоретически может обратиться к старым версиям строк, поэтому вакуум обязан их сохранить. Не в той таблице, где выполняется транзакция. Во всех сразу.

Поэтому чужая транзакция, пока висела эти 12 часов, запрещала autovacuum чистить мусор по всей базе.

Почему проблема случилась именно у нас.
autovacuum встал для всех таблиц одинаково, но страдают те, которые быстро накапливают мусор. У нас это таблица со статусной моделью: воркер непрерывно гоняет по ней UPDATE (одна запись может обновляться до 10-20 раз в короткий интервал времени). Каждая смена статуса плодит мёртвую версию. Обычно autovacuum успевает. Но когда он встал на 12 часов, мусор копился непрерывно, таблица распухла, и запрос пошёл через гору мёртвых строк.

Как мы это нашли.
По деградации времени выполнения запроса и увеличению количества мёртвых строк в таблице мы поняли, что кто-то мешает autovacuum их удалять.

Мы выполнили следующий запрос для поиска самой старой открытой транзакции.

SELECT pid, state, 
xact_start, now() - xact_start AS duration, query
FROM pg_stat_activity
WHERE state <> 'idle'
ORDER BY xact_start ASC;

Нашли транзакцию и убили её. autovacuum тут же подчистил мусор, мёртвые строки ушли в ноль и запрос вернулся к 10 мс.

Вывод: одна долгая транзакция тормозит очистку мусора во всей базе, и первым ложится не тот, кто её открыл, а самая горячая на обновления таблица.

Зачем нужны версии строк и что такое MVCC — разберу отдельным постом, а может, и видео.

Полезный бенч для тех, кто запускает PostgreSQL в AWS

Коллега с курса, @anivaniuk, прогнал PostgreSQL на разных AWS тачках и собрал результаты в классный интерактивный тул. Удобно, если нужно быстро прикинуть, какой инстанс даст лучшее соотношение цены и производительности.

https://postgres.saneengineer.com/

Писать код и закрывать задачи - нет!
Сидеть на встречках - да!

Хз, как я до этого докатился.

На скрине мой реальный календарь на завтра. И нет, я не ушёл в менеджмент, я всё ещё бэкенд-инженер.

#xBackend_КорпоБудни

Перф....

У нас в компании начался перформанс ревью. Для тех, кто не знает, это такое корпо мероприятие длиной в полтора-два месяца. В это время решают, кому насыпать денег или повысить грейд, а кого просто похлопать по плечу.

Это мой второй перф в этой компании. В прошлый раз меня технично прокатили сказав, что я большой молодец и отлично поработал, но по итогу не дали нихера - ни бабок, ни грейд-апа.

Повторять этот факап я не хочу, поэтому мне нужны ваши лайфхаки по борьбе с корпо бюрократией.

Поделитесь пожалуйста в комментах опытом:
• Как заполнять селф ревью, чтоб прям не докопаться?
• Как правильно подсвечивать свои факапы, чтобы они выглядели как зоны роста, а не провалы?
• Как писать пир ревью, чтобы и коллегам не подгадить и себе в ногу не выстрелить?
• Как защитить результат, если вдруг включится режим "бюджета нет"?

В общем, спасайте работягу)

Барса Флика - ты прекрасна!

Болею за Барсу с 2010 года. За это время было много разных версий этой команды: тики-така Гвардиолы, трио Месси-Суарес-Неймар, была и бесхребетная Барса, которая раз за разом вылетала из плейофф ЛЧ.

Как по мне, нынешняя Барса - это просто идеальная реклама футбола. Каждый матч - фестиваль голов на любой вкус и цвет. И сами забьют, и сопернику дадут забить. Скучно вообще не бывает.

Если хотите просто посмотреть футбик и получить удовольствие, то включайте матчи Барсы. Не пожалеете)