Не обязательно погружаться в PostgreSQL, чтобы построить отказоустойчивую инфраструктуру.

Но в таком случае нужно быть готовым к отсутствию консистентности, сложностям с масштабированием и другим минусам.

Григорий Тарасенко, администратор БД, сделал статью-обзор по всем возможным вариантам организации High Availability: без PostgreSQL, с готовыми решениями системы и наш особый путь ☄️

Делимся статьёй и ссылками на полезные материалы по теме:
1️⃣ Документация PostgreSQL. Репликация.
2️⃣ Документация PostgreSQL. High Availability.
3️⃣ Документация PostgreSQL. Write-Ahead Logging.
4️⃣ Документация PostgreSQL Pro. Трансляция журналов на резервные серверы.
5️⃣ Объяснение принципа работы протокола Raft с визуализацией.
6️⃣ Туториал на Хабре: «Управление высокодоступными PostgreSQL кластерами с помощью Patron».
7️⃣ Статья на Хабре про RTO и RPO.

#DBA_avitotech #habr_avitotech #статья_avitotech

Реплицируем базы без использования слотов репликации и с гарантией доставки WAL-ов. Эффективно, безопасно, без смс и регистрации.

Как и зачем мы строим архивную репликацию в PostgreSQL, читайте в статье Гриши Тарасенко из команды SQL 💻

#dba_avitotech #habr_avitotech #статья_avitotech

Avito Database meetup #1

24 апреля | 18:30 мск | онлайн и в офисе Авито

У нас несколько дата-центров и 150 000 000+ активных объявлений каждый день. Коты, машины, квартиры, носки… И всё с картинками. У нас очень много данных. Пришло время рассказать, как мы с ними работаем. 🕊️

🗂 Начнёт руководитель разработки платформы DBaaS Владимир Алёшин. В его докладе «Платформа DBaaS: зачем и как» — экскурс в историю, наши первые БД, как менялся подход в работе и почему в итоге вы делаем ставку на kubernetes.

🗂 Про особенности работы Kubernetes со stateful приложениями в рамках одноимённого доклада расскажет Игорь Конев, инженер DBaaS.

🗂 Про паттерны управления БД в multi-cluster (multi-dc) kubernetes среде и разные уровни шедулинга — в докладе Никиты Жига, инженера DBaaS.

🗂 Завершит вечер Андрей Лярский, инженер в команде SQL/DBA, рассказом об особенностях адаптации классических СУБД к платформе DBaaS на примере PostgreSQL.

Насыщенно? Да, мы тоже в восторге. Поэтому рекомендуем не тянуть с регистрацией, если хотите услышать всё в нашем уютном офисе на Лесной.

📌 Забронировать место📌

#DBA_avitotech #avitodatabasemeetup

Платформа DBaaS: зачем и как

🚀 Хотите экскурс про то, как мы начинали работать с базами данных? Его проведёт руководитель разработки платформы DBaaS Владимир Алёшин на Avito Database meetup #1.

В докладе Владимира — проблемы и решения, переход на автоматизацию и аргументация в пользу kubernetes. Присоединяйтесь к митапу, чтобы послушать и подискутировать.

#DBA_avitotech #avitodatabasemeetup

Особенности работы Kubernetes со stateful приложениями (БД) ☄️

Игорь Конев, инженер DBaaS, расскажет базу по stateful в kubernetes и объяснит, что и почему мы выбрали для работы с приложениями. Всё это — на Avito Database meetup #1.

💻 Присоединяйтесь 24 апреля в 18:30. Обсудим, что можно улучшить, чтобы работать со stateful было еще удобнее.

#DBA_avitotech #avitodatabasemeetup

«CockroachDB на платформе DBaaS: зачем и как» — 60-минутная готовность

В 19:00 запускаем трансляцию доклада Полины Кудрявцевой. Начнём с того, зачем нам вообще понадобились cloud native базы, почему выбрали CockroachDB и как с ней работаем. Полина расскажет про топологию кластера, гарантии отказоустойчивости, пайплайн создания БД на платформе, агента и ролевую модель. А закончим планами развития CockroachDB.

❗️📚 Важное к докладу

1. CockroachDB: The Definitive Guide — книга об устройстве CockroachDB без низкоуровневых технических деталей. Идеально для первого знакомства с технологией.
2. Official Docs: Distribution Layer — часть официальной документации CRDB по распределению данных по кластеру.

➡️ Смотреть трансляцию ⬅️

#немитап_avitotech #DBA_avitotech

Паттерны управления базами данных в multi-cluster (multi-dc) kubernetes среде

✨ Это доклад разработчика DBaaS Никиты Жига. Его можно будет послушать 24 апреля на Avito Database meetup #1. Никита расскажет, зачем нужен multi-cluster, как управлять всем без единого контроллера и минимизировать простои при обновлениях.

Мест офлайн уже нет, но на трансляции всегда найдётся. Ставьте напоминание в календарь и подписывайтесь на наш YouTube-канал. 📺

#DBA_avitotech #avitodatabasemeetup

Особенности адаптации классических СУБД к платформе DBaaS (на примере PostgreSQL)

🔥 Если бы Avito Database meetup #1 был тортом, этот доклад стал бы его вишенкой.

Андрей Лярский объяснит, почему классические СУБД не работают в kubernetes из коробки и как грамотно провести интеграцию.

📺 Готовьте вопросы и присоединяйтесь к трансляции.
🕒 24 апреля. 18:30 мск.

#DBA_avitotech #avitodatabasemeetup

🐞 Пересмотрели подход к управлению БД и поделились опытом на Avito Database meetup #1. Держите плейлист с митапа.

📎Платформа DBaaS: зачем и как
Хронология развития платформенного управления в компании, проблемы, курс на автоматизацию и решение в Kubernetes.

📎 Stateful-приложения в Kubernetes (DB edition)
База по stateful в Kubernetes, решения, которые используем мы, и перспективы K8s.

📎 Паттерны управления базами данных в multi-cluster (multi-dc) Kubernetes-среде
Преимущества multi-cluster, управление в отсутствии контроллеров, шедулинг и servicediscovery.

📎Особенности адаптации классических СУБД к платформе DBaaS (на примере PostgreSQL)
Коробочные и сторонние решения, PostgreSQL у нас (2000+ баз) и задачи интеграции — НА, бэкапы, мониторинг.

🔵 А ещё фото с митапа собрали в альбом, смотрите в нашей группе VK.

#DBA_avitotech

Добавили поддержку векторного поиска в движок, и успешно пользуемся им с 2021 года. О — опыт!

☄️ Им-то и поделится Михаил Самолкаев, разработчик команды инфраструктуры поиска (Search Infra). Миша расскажет про самые интересные алгоритмы и техники и покажет готовые решения в виде библиотек.

💻 Векторный поиск под капотом — на Database Internals Meetup #4. Увидимся 4 сентября!

#DBA_avitotech #avitoteam

Наша система логов и распределённого трейсинга обрабатывает 15 000 000+ событий в секунду. Она взаимодействует с 2 000+ сервисами. И мы позволяем ей терять данные.

🔍 Хотите узнать больше о её архитектуре и процессе передачи данных? Приходите на доклад Игоря Балюка, нашего ведущего разработчика в команде service mesh.

🎤 «Как мы строим систему распределенного трейсинга, в которой можно терять данные» — 09 сентября в 12:15.

#DBA_avitotech #avitoteam

Avito Database meetup
17 июня | 19:00 мск | в офисе Авито и онлайн

У нас было 30 тысяч баз данных. А ещё 2 тысячи серверов, на которых они лежали.
🕚 Почему в таких условиях важно следить за ресурсами DBaaS?
🕚 С какими вызовами сталкиваются наши инженеры в работе с базами при высоких нагрузках и больших масштабах?
Расскажем на Database meetup 17 июня 🔥

По плану 3 доклада:
1️⃣ Никита Жига расскажет, как мы решили проблему шумного соседа и научились следить за ресурсами в DBaaS;
2️⃣ Антон Головенко разберёт на практике, почему мы отказались от репликации и какие радикальные решения стоили того;
3️⃣ Рома Ананьев покажет, как приручить Redpanda и решить проблему масштабируемости.

📌 17 июня в 19:00 в московском офисе Авито и онлайн. И не забудьте поделиться этой новостью с коллегами!

Регистрация по ссылке!

#dba

Последние места на Database meetup 🔥

На всякий случай, если пропустили — 17 июня будем слушать доклады ребят в московском офисе (опция послушать онлайн тоже есть!). Обсудим контроль ресурсов в DBaaS, отказ от репликации и кейс с Pulsar на Redpanda.

Ещё есть время зарегистрироваться по ссылке.

#dba