Redis перестанет быть Open Source
https://www.linux.org.ru/news/opensource/17558891 ?

Что нового в MySQL с 8.0 до 8.4
https://dev.mysql.com/doc/refman/8.4/en/mysql-nutshell.html
И оказывается у  MySQL релизнулся LTS восьмерки
https://dev.mysql.com/doc/relnotes/mysql/8.4/en/news-8-4-0.html

Новая книжка от PostgresPro!
https://postgrespro.ru/education/books/dbguide

Выложили все лекции из нашего продвинутого курса по СУБД из ШАД:

1. Современные и графовые СУБД (13.02.2024)
Лекция: https://disk.yandex.ru/i/O5ioXU6b_8YXtA
Семинар: https://disk.yandex.ru/i/TXHXRhEkevSEXg

2. Транзакция в распределенных СУБД & Обзор домашнего задания. Протокол паксос (27.02.2024)
Лекция: https://disk.yandex.ru/i/LasmL4lpMFYbYg
Семинар: https://disk.yandex.ru/i/Zja_e4cxD6_gIg

3. Query Compilers. JIT (05.03.2024)
Лекция: https://disk.yandex.ru/i/QN33G7JowTSOaw
Семинар: https://disk.yandex.ru/i/ynfMwbzez36G5g

5. Протокол tapir. Поколонночные базы данных (12.03.2024)
Лекция: https://disk.yandex.ru/i/vXHtsMfMfyqPFQ

6. Оптимизация SQL-запросов (19.03.2024)
Лекция: https://disk.yandex.ru/i/6L21N7aVisKkrA

7. Оптимизация SQL запросов, часть 2 (26.03.2024)
Лекция: https://disk.yandex.ru/i/dHyuQ-sVRio3Aw

8. Многопоточные операторы SQL (02.04.2024)
Лекция: https://disk.yandex.ru/i/zk0BRG-OqibCNg
Семинар (запись прошлого года): https://disk.yandex.ru/i/sTyzNvNdzRm8-Q

9. Протокол Raft & MPP аналитика (09.04.2024)
Лекция (Протокол Raft): https://disk.yandex.ru/i/3YTiavRj2IcDoA
Лекция (MPP аналитика): https://disk.yandex.ru/i/kkB_ck0emWbCjQ

10. Main memory базы данных (16.04.2024)
Лекция: https://disk.yandex.ru/i/SvBqT8_ZTjvHXA

11. Разработка Postgres (23.04.2024)
Лекция: https://disk.yandex.ru/i/tERU5moyX7j7gQ

12. Обзор индустриальных СУБД: Cassandra, ScyllaDB, Tarantool, Picodata (Часть 1). Обзор ClickHouse. (14.05.2024)
Лекция (Обзор индустриальных СУБД): https://disk.yandex.ru/i/pv_Ks-QrICtIkg
Лекция (Обзор ClickHouse): https://disk.yandex.ru/i/h4PDp5QhfRGVXg

13. YDB. Распределённая масштабируемая отказоустойчивая СУБД с открытым исходным кодом от Яндекс & Динамические таблицы YTsaurus (21.05.2024)
Лекция (YDB): https://disk.yandex.ru/i/5-Ej1jknvEb1OA
Лекция (Динамические таблицы YTsaurus): https://disk.yandex.ru/i/cM7g4Day0U2Gcw

14. Обзор индустриальных СУБД: Cassandra, ScyllaDB, Tarantool, Picodata (Часть 2) (28.05.2024)
Лекция: https://disk.yandex.ru/i/gkK8JvUiiAe8Hw

ВКонтакте в качестве основной реляционной СУБД использует  meowdb - это такой очеь и очень упрощенный MySQL.
В процессе работы удалось найти баг в движке СУБД, разработчик баг подтвердил. Приятно 😊 #вконтакте #vk

Хардкорный доклад Андрея Бородина.
Из интересного - https://umbra-db.com "делает из запросов экзешники".
https://www.youtube.com/watch?v=6jcpxhR8TTs

Релизнулся #mysql 9 https://dev.mysql.com/doc/relnotes/mysql/9.0/en/news-9-0-0.html

Ого, что нашел. Как давно это было. Жалко, что монга так и не прижилась на проектах. #mongodb

Ultimate Guide to Improving MySQL Query Performance
https://www.percona.com/blog/improving-mysql-query-performance/

A Short Summary of the Last Decades of Data Management • Hannes Mühleisen • GOTO 2024 (Рубрика #Data)

Интересное выступление от Hannes Mühleisen на тему истории развития систем управления данными и куда они будут развиваться дальше. Сам Hannes является ученым по CS, а также создателем DuckDB и кофаундером DuckDB Lab.

Вот основные моменты выступления
- Автор начинает с отсылкам к глубокой истории, когда глинянные таблички использовались для учета в хозяйстве и это было раньше, чем появилась абстрактная письменность
- Дальше автор сразу переходит к роли IBM, чья история стартанула еще с переписи населения в США в 19 веке, а в начале 20 века после объединения нескольких компаний получилась IBM:) И взлет IBM именно как компьютерного гиганта начался с мейнфреймов, которые использовались для космонавтики в США
-- IBM придумала иерархическую систему для менеджмента данных и она использовалась в этих мейнфреймах
-- Дальше Edgar Frank "Ted" Codd придумал основы реляционной модели данных, в научной статье "A Relational Model of Data for Large Shared Data Banks"
-- В 1973 году IBM сделала свою IBM System R, в которой была пилотная реализация реляционной модели
- Но в 1979 Oracle обошла IBM на повороте с промышленной реляционной базой Oracle
- В 1983 году IBM тоже включилась в гонку со своей IBM DB/2
- А уже в 1996 году в рамках академического проекта была создана PostgreSQL. Ее создал Michael Stonebraker из Berkley
- Для тех, кто интересуется генеалогией различных СУБД может быть интересна карта RDBMS Genealogy

Где-то в 80-е годы стало понятно, что одна база не покрывает всех сценариев и появилась развилка вида
- Transactional - в этом сценарии пользователи работают с транзакциями. Данные здесь эффективно хранить построчно (row-based), так как обычно нужна большая часть записи для чтения и обновления
- Analytical - в этом сценарии пользователи анализируют данные, здесь уже не особо нужны транзакции. Данные здесь эффективно хранить поколоночно (column-based), так как для расчета показателей часто нужны значения из конкретных колонок, при хранении их по колонкам их проще сжимать при хранении, а также считывать для рассчетов
Для того, чтобы показать различия между СУБД автор приводит метафору пикапа и машинки формулы 1.
- Пикап - надежная рабочая лошадка, которая всегда должна работать и ей являются транзакционные базы
- Машинка формулы - это аналитические базы, которые должны быть быстрыми, но могут работать не всегда, так как они обычно не блокируют всю работу компании.

Дальше автор рассказывает про движение No SQL!
- 2006 год - Map/Reduce от Google для параллельной обработки задач на ненадежном оборудовании, из этого подхода вырос Hadoop. Изначально там не было SQL, но в 2010 году появился Hive, который вернул SQL поверх map/reduce, так как без SQL было слишком сложно писать запросы
- 2009 год - Schemaless от MongoDB. Тут концепция была в том, чтобы была не schema on write, что контролировалось базой, а schema on read, что должен был проверять app developer. В 2017 году в MongoDB появилась schema validation
- 2008 год - нет ACID транзакций и вместо этого tunable consistency в Cassandra. В 2023 году в Cassandra появились транзакции
- 2014 год - нет внутреннего storage в Apache Spark. В 2024 году появился внутренний storage

Все изменения были из-за того, что трио
- Таблицы
- SQL
- ACID
слишком удобно для разработки приложений и именно туда будет двигаться работа с данными. Автор вспоминает про Postgres и SQLite, а также про newSQL как подход, что комбинирует это трио с масштабированием как в NoSQL. А дальше он говорит, что реляционные базы съедят почти все сценарии и показывает как это сделать с key/value, document, time series, vectors, graphs, data frames. Но, например, уже full text search не очень укладывается в реляционную модель.

Напоследок автор говорит о том, что big data мертва, так как теперь у нас есть возможность собрать очень мощную машинку, на которой запустить обработку того, что раньше крутилось в распределенной системе. И это, возможно, будет сильно эффективнее.

#Data #Architecture #Management #History

Из поста выше https://duckdb.org/ - Аналитическая БД (похожа на ClickHouse), в одном файле как SQLite.
Стоит посмотреть.

Интересная историческая справка о PostgreSQL
https://youtu.be/3qIX5it7haU?si=gTI38Y86nq3Rj_MI

Проблемы, которые могут возникнуть с SQLite в продакшине
https://blog.pecar.me/sqlite-prod #sqlite
Использовали SQLite на больших проектах? Поделитесь кратко )

Поймал себя на мысли, что не знаю книг по СУБД для начинающих и не могу ничего толкового посоветовать своим менти.

Многие читали кабанчика и давали фидбэк в стиле "ничего не понятно, но ОЧЕНЬ интересно".

Я начал искать книгу, которая была бы практичнее и приземлённее. И нашёл😇

Комаров В. И.Путеводитель по базам данных. — М.: ДМК Пресс, 2024. — 520 с.

Книга покрывает широкий список тем:
- Классификация, виды СУБД
- Структуры данных
- Архитектура и алгоритмы
- Распределенная среда, проблемы и компромиссы.
- Сбои, эксплуатация, восстановление

А ещё она бесплатная!

Честно говоря, я не встречал книги которая бы в себя вместила настолько широкий набор тем за менее чем 500 страниц. Можно читать по порядку а можно выборочно главы которые вызывают интерес.

Особенно рекомендую прочитать если готовитесь к System Design Interview.

Хотите попрактиковаться в #rust? Тогда отличная статья: Build your own SQLite, Part 1: Listing tables

И в rust прокачаться, и как базы устроены разобраться

https://blog.sylver.dev/build-your-own-sqlite-part-1-listing-tables