Мультивселенная СУБД
402 subscribers
187 photos
2 videos
4 files
426 links
Канал для тех, кто хочет стать супергероем этой мультивселенной
Download Telegram
Forwarded from Книжный куб (Alexander Polomodov)
В офисе: Большое интервью про Postgres с Олегом Бартуновым (Рубрика #Database)

Посмотрел интересное интервью с Олегом Бартуновым, генеральным директором и сооснователем компании Postgres Professional, ведущим разработчиком (Major Contributor) PostgreSQL, членом сообщества PostgreSQL Foundation. Интервью брал Ваня Боталов, автор канала "Деплой". Ребята говорили больше двух часов и обсудили целую пачку тем, среди которых я бы выделил

1. Путь Олега к IT

Олег начинал как астроном, но понял, что астрономия - это наука о данных. В 1990-х годах познакомился с технологией баз данных в университете UCSC, США, где узнал о PostgreSQL. С 1996 года стал активным участником сообщества PostgreSQL, но астрономом быть не перестал:)
2. Создание Postgres Professional
Компания Postgres Professional была основана в 2015 году, хотя еще в 2005 году Олег написал письмо в Министерство экономики о необходимости создания российской базы данных. Тогда он ответа не получил, а лет через 10 решил взять дело в свои руки. В итоге, компания стала крупнейшим российским разработчиком СУБД на базе PostgreSQL.
3. Критика IT-образования в России
Олег критикует университетское образование, которое готовит "пользователей Microsoft и Oracle", а не системных разработчиков. Он подчёркивает важность фундаментального образования и системного мышления, а не только прикладных навыков. Прикольно, что он не только критикует, но и сам работает над улучшением образования, создавая программы обучения и взаимодействуя со студентами.
4. Импортозамещение и технологическая суверенность
После ухода Oracle и Microsoft из России в 2022 году появились новые возможности для роста российских СУБД. Россия показала миру, что можно жить без Oracle и Microsoft. PostgreSQL в России поднялся на передний край благодаря высоким требованиям к производительности.
5. Open Source и международное сообщество
Postgres Professional занимает 2-3 место в мире по вкладу в развитие PostgreSQL. Компания активно участвует в международных конференциях, включая организацию PGConf.Nepal. Бартунов отмечает кризис в open source из-за попыток монетизации - фактически, это приводит к дрифту лицензий части продуктов в зону Шредингера, где софт оказывается в дуально открыто/закрытом состоянии:)
6. Искусственный интеллект и будущее программирования
ИИ рассматривается как новая промышленная революция. Профессия программиста изменится: прикладные разработчики могут исчезнуть, но появятся новые специальности. Важно учить детей критическому мышлению и пониманию технологий.
7. Проблемы изоляции IT
Изоляция мешает развитию, поскольку новые идеи рождаются в общении и конкуренции. Россия отстаёт от Америки в развитии технологий на 2-3 года. Политические факторы приводят к разделению рынков.
8.Государственная политика и развитие IT
Бартунов критикует работу с министерствами, предпочитая прямое сотрудничество с университетами. Государство должно чётко определить стратегию развития IT и создать условия для возвращения специалистов.

Если суммировать тезисы, c большей частью из которых я согласен, то
- Россия должна развивать не только прикладное, но и системное программирование, воспитывая собственных разработчиков СУБД и другого системного ПО.
- Уход западных вендоров создал возможности для роста российских IT-компаний. Postgres Pro стала примером успешного импортозамещения в области СУБД.
- Качественное IT-образование должно начинаться со школы и включать фундаментальные знания, а не только изучение конкретных технологий.
- Участие в международных open source проектах позволяет российским разработчикам оставаться частью глобального сообщества и развивать конкурентоспособные продукты.
- Необходимо готовить новое поколение специалистов, понимающих работу с ИИ и способных адаптироваться к изменениям в профессии.

В общем, мне понравилось это интервью - все четко и по делу:)

#Database #Management #Leadership #Software #Engineering
🔥1
📚В продолжении предыдущего поста про статьи на Хабре...еще троечка )))

1️⃣Книга: «Масштабируемые данные. Высоконагруженные архитектуры, Data Mesh и Data Fabric. 2-е изд.»
Только буквально недавно писал про Data Mesh и вот, книга для тех, кто не в теме, но хочет быть в теме. Поеду в отпуск, куплю, полистаю. Тема очень интересная для общего развития.

2️⃣Семантическое моделирование. Проектирование БД с помощью ER-модели
Если бы эта статья вышла в октября-ноябре или в марте-апреле, то цены бы ей не было! Простая статья про проектирование базы данных для студенческих проектов. Не более того, к сожалению.
Как правильно заметили в комментариях, не хватает современного взгляда. Где современные стандарты моделирования (Linked Data \ Semantic Web)? Как JSON помогает решать проблему связи многие-ко-многих и т.д. Почему-то об этом никто не пишет.

3️⃣Хоронить HDD рано: Seagate выпустила самый вместительный жесткий диск в истории — 40 ТБ
В очередной раз поражает развития современных технологий! Жесткий диск в 40 ТБ! Один! Ужас! Объемы потрясающие и по адекватной цене. И компании на рынке те же, что и были 30 лет назад: Seagate, Western Digital и Toshiba. Тащат индустрию вперед со своими уникальными технологиями! Эхххх, жаль у нас такого нет.
📚 Как-то много разборов статей с Хабра, но ничего не поделать... Особо ничего интересного не происходит.

1️⃣ Что такое OLTP: просто о сложном
В целом, мне понравилась статья или текст (как некоторые его называют). Единственное, что она черезчур объемная. Можно было и покороче и конечно прослеживается ИИ сгенированный текст. Я не против, но стоит лучше скрывать следы.

Для студентов подходит 100%. Как показывают практика многие выпускника до сих путают OLTP, OLAP, HTAP понятия. Странно, но факт.

2️⃣ Firebird Conf 2025
Не получилось у меня побывать на конференции. Много работы. Посмотрю как-нибудь видосы и если будет, что сказать, то напишу.
Что касаемо статьи, то кажется, что сообщество firebird начало расти и мы наконец-то увидим больше внедрений этой СУБД. Возможно 🙂
Скорей всего по требованию гос-тендеров они внедрили сертификацию. Теперь можно сдавать экзамены и получать сертификаты, а не просто, прослушал курс - держи бумажку.

3️⃣ Как заставить вашу базу данных летать, а не ползать. Часть 2 – когда репликации недостаточно и пора использовать шардинг
Вроде бы неплохая статья, но автор видимо совсем не стесняется использовать ИИ. Хоть бы попытался замаскироваться что ли 🙂
Текст в ней полезный и не противоречивый, но довольно поверхностный. Я думаю задай вы вопрос ИИ-агенту напрямую, то получили ничуть не хуже ответ.
2
📚 Beyond Durability: Database Resilience and Entropy Reduction with Write-Ahead Logging at Netflix

Авторы — инженеры Netflix Prudhviraj Karumanchi и Vidhya Arvind — рассказывают о создании сервиса write-ahead log (WAL) для повышения надёжности и долговечности данных, особенно в условиях масштабных инфраструктурных сбоев, распределённых транзакций и "мульти-базовых" состояний.

WAL as Service - интересное решение! Действительно, если у тебя в бизнес-процессах множество распределенных транзакций, то для поддержки нужно уровня надежности WAL как сервис - крутая идея!

WAL обеспечивает следующее:
👉 durability – сохранение изменений;
👉 traceability – отслеживание;
👉 ordering guarantees – строгий порядок;
👉 replay capability – возможность повторного воспроизведения

Netflix внедрил собственный сервис WAL как универсальный слой между клиентами и базами данных. Это позволило повысить надёжность, сохранить порядок транзакций, устранить потери в "многобазовых" сценариях и сделало систему масштабируемой и расширяемой.
Немного об опыте работы с ИИ-ассистентом.

Во время проработки выпускной квалификационной работы со студентами мы задали вопрос ИИ: "Каким цветом изображается проводка на поэтажном плане помещения?"

ИИ дал очень качественный ответ со ссылкой на ГОСТ Р 21.1703-2000 и т.п. Не придраться. Казалось бы, всё супер! Однако, один из студентов заметил, а точно ли ГОСТ верный? Прошло уже 25 лет. Может есть еще какие-то правила?

Написали следующий вопрос: "ГОСТ Р 21.1703-2000. Есть ли более новый ГОСТ?"

ИИ как ни в чем не бывало пишет, что да, ГОСТ Р 21.1703-2000 устарел и теперь всё немного по другому...

Мораль: нельзя слепо доверять ИИ. Всегда сомневайтесь в его ответе и задавайте уточняющие вопросы.

С пятницей!

#mems
📚 Новый OLTP: Postgres с раздельными вычислениями и хранилищем

Я как-то писал о том, что Databricks купил компанию Nexon и вот результат покупки - новая РСУБД Lakebase, которая входит в платформу Databricks Data Intelligence.

По сути Lakebase - это модульная СУБД в которой, как утверждают авторы, разделен compute engine от storage. Система во время выполнения запроса может регулировать свою вычислительную мощность.

Написано, что Lakebase это OLTP, но судя по описанию, это больше похоже на HTAP СУБД, которая прекрасно переваривает любую нагрузку.

Подожду отзывы пользователей и тогда будет понятно насколько это крутое решение.
🎥 AI, PostgreSQL vs MySQL, Cloud Native database, один день из жизни DBA - Вадим Бобцов

Забавное интервью о роли DBA в жизни компании.

Перечислю факты, которые меня зацепили:
👉 Вадим из Белоруссии переехал на Кипр
👉 DBA могут позволить себе далеко не все компании. Всё-таки это профессия для компаний среднего или выше сегмента.
👉 Есть ощущение, что у развивающихся стартапов есть запрос на консалтинговые услуги DBA. Быть DBA фрилансеров вполне себе норм.
👉 На DBA не учат в ВУЗах. Этому учат на курсах.
👉 Вадим попал в Wargaming исключительно благодаря тому, что ВУЗ сотрудничал с этой компанией.
👉 Wargaming проводил доп.обучение студентов и предлагал стажировки.

Итого: стажировка - это шикарная возможность попасть в интересующую вас компанию на ранних этапах. Компании берут в приоритете тех, кто проходил их обучающий контент.
С "улицы" устроиться всегда сложнее.
Когда-то до популярности ИИ это был прекрасный мем. Сейчас он всё менее и менее актуальный...

С пятницей!
#mems
2😱2
Ох, уж эта вечная борьба...

С пятницей!
#mems
Всем приветики-пистолетики! 🔫

Я чуть-чуть бездельничаю и ничего не пишу в канал. Может быть позже напишу о своей прокрастинации и как именно я отдыхаю 📺👀. А пока поделюсь с вами планами на осень.

1️⃣ 23 сентября - Data Internals X — профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных

Буду выступать в качестве автора и ведущего сессии: "Круглый стол – открытый микрофон «Как вырастить специалиста по базам данных?»"

Поговорим о том о сём и об образовании конечно! Будет интересно! 😜

2️⃣ 6 октября - PGConf.Academy 2025 — практическая конференция для преподавателей информационных технологий от Postgres Professional

Выступаю с докладом: "Эволюция дисциплины «Системы Баз Данных» в МФТИ на кафедре БИТ" 🧐

Дисциплине уже 6 лет и есть чем поделиться с сообществом.

Осень ожидается очень насыщенной! ☄️ Я подумываю выступить на еще одной конференции в ноябре... но пока собираюсь с мыслями 🤪

p.s. подтверждение от программного комитета конференций я уже получил.
🔥6👍1
При устройстве на новую работу вам могут назначить наставника. Ранее за это не особо любили доплачивать, но сейчас почти во всех компаниях платят какие-то деньги. Даже должностные инструкции поменяли под это.

По идее такой человек более мотивирован помогать новичкам

С пятницей!
#mems
1
Есть такая теорема – BAC (Backup, Availability, Consistency), по аналогии с CAP.
Она звучит так: при резервном копировании всей системы микросервисов нельзя одновременно обеспечить и доступность, и согласованность.

Чтобы раскрыть суть, стоит посмотреть на бэкапы с позиции архитектурных компромиссов:
︎ Бэкапить сервисы по отдельности – но тогда при восстановлении данные могут быть несогласованными (например, один сервис сохранил событие, а другой нет)
︎ Согласованный бэкап – все сервисы бэкапятся одновременно, но в это время система становится недоступной для изменений
︎ Не делать резервных копий – сохраняются доступность и согласованность, но без бэкапов

И даже в такой, казалось бы, банальной вещи, как бэкапы для микросервисов все немного усложняется, в итоге:
︎ Приходится выбирать, где важнее согласованность, а где доступность (и обосновывать это)
︎ Выбирать стратегии под конкретные сервисы, например, где нужна строгая согласованность (вроде платежей) - кооринированные бэкапы, а где согласованность не так критична, вроде ленты новостей, условных лайков или статитики просмотров, – индивидуальные бэкапи + реплей событий.

Поделитесь в комментариях, как бэкапите решения на MSA, с какими проблемами сталкиваетесь, как решаете

Почитать подробнее тут: https://design.inf.usi.ch/sites/default/files/biblio/bac-theorem.pdf
С пятницей!

#mems
😁3
🌡️Я тут болею чуть ли не с 1-ого сентября, и поэтому почти нет времени заняться каналом, но пора выходить из изоляции. 🍄

23 сентября прошла конференция Data Internal X.

Я и еще ряд друзей посидели за круглым столом и пообсуждали "Как вырастить специалиста по базам данных?".

Выводов можно сделать массу, но я хотел бы поделиться такими:
👉 если вы хотите стать разработчиком для мира СУБД, математика и алгоритмы должны быть вашими лучшими друзьями
👉 если вы четко понимаете, в какой ИТ-компании хотите работать, то надо учиться на кафедре, где эта компания представлена. Или участвовать во всех их активностях. Пример: Tarantool Lab.
👉 ИТ-компаниям не так важен проект студента, как сам студент. Компаниям проще пригласить вас на работу, чем инвестировать в проект.
🔥3
🧨 Через 1 неделю (как много всего в октябре) стартует второй запуск моего авторского курса по Redis/Valkey на платформе DevHands!

Сильно перерабатывать курс не пришлось — он и в первом запуске был хорош 😉. Но теперь он стал по-настоящему «вылизанным»: прошёл боевое крещение, оброс полезными деталями и готов радовать — а то и удивлять — новых слушателей!💪

Кто не записался, записывайтесь!
🔥2
📚 Так как мой канал посвящен СУБД, то грех в 100500 раз не написать о том, что вышел PostgreSQL 18 версии!

Ежегодное чудо произошло! 😱 Давайте это обсудим и обновим все тесты...

Как раз в сторону последних, пост с хабра: PostgreSQL 18: новый асинхронный I/O ускоряет запросы до 3-х раз. Что происходит?

Самое интересное в комментариях... 🙂

Учёный изнасиловал журналиста.
Benchmarking has demonstrated performance gains of up to 3x in certain scenarios.
новый асинхронный I/O ускоряет запросы в 3 раза
2
📚 Что для OLTP хорошо, то для OLAP — смерть: ликбез и выбор серверов

Мне статья понравилась! Конечно, в комментариях традиционно начали "хаять" автора, но подход всё равно классный.

Я как раз в своем курсе по базам данных хочу добавить лекцию о подборе оборудования для каждого вида нагрузки. Автор не расписал все профили нагрузки, поэтому и получил ряд негатива. Как первая попытка подобрать нужное железо под выбранную СУБД - всё сделано хорошо. Обязательно возьму некоторые выводы для разработки лекции.

Сейчас я оброс достаточным количество знакомств, чтобы можно было дополнительно провалидировать материал сразу у вендера. Надеюсь, товарищи из Скала-Р в этом помогут.
Карта развития инженера 🚀, вопросы-ответы // Key-Value базы данных

Завтра, в пятницу 3 октября в 18:00 MSK devhands проведет очередной стрим, “Карта развития инженера, вопросы-ответы”.

По развитию всегда много вопросов, мы проводим такие встречи регулярно, выбираем какую-то одну большую тему, собираем ваши вопросы, и разбираем тему и вопросы с экспертом.

В этот раз будет тема key/value хранилища, и на неё я позвал нашего преподавателя на курсе Redis/Valkey Константина Ратвина.

Костя, наверное, самый опытный преподаватель из всех наших экспертов, преподает на физтехе (МФТИ) СУБД на кафедрах БИТ (СберТех) и Блокчейн (ChainLab). Обсудим с Костей:
- что бекендеру нужно изучать в контексте K/V
- почему это не менее “горячая” и важная тема, чем реляционные базы данных
- с чего стоит начать изучение, как мог бы выглядеть “чеклист” или пилотный проект
- почему Redis/Valkey занимают списке K/V особое значение (db engines стабильно ставит Redis в семерку наиболее популярных баз данных)
- как подходят к изучению СУБД в МФТИ и как взаимодействуют с нанимающими компаниями
- ну и конечно любые ваши вопросы по теме развития инженерных навыков (в чате Zoom, но лучше присылать их заранее в клубном чате devhands и в комментариях к этому посту)

Встреча состоится в Zoom, она свободна и для сообщества Devhands Club и для всех остальных, но обязательно нужно быть авторизованным в Zoom.

Topic: Devhands Open Sessions: Карта развития инженера, вопросы-ответы // Key-Value базы данных.
Time: Октябрь 3, 2025 18:00 MSK
Ссылка на Zoom
Добавить в календарь (ics)

🤩R&D-центр Devhands.io

Приходите, приводите друзей и коллег!

Ждем ваших вопросов, присылайте их в клубный чат devhands или в комментарии к этому посту.

🔥- приду!
👍🏻- удачи, я в другой раз
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3