📚 Что для OLTP хорошо, то для OLAP — смерть: ликбез и выбор серверов

Мне статья понравилась! Конечно, в комментариях традиционно начали "хаять" автора, но подход всё равно классный.

Я как раз в своем курсе по базам данных хочу добавить лекцию о подборе оборудования для каждого вида нагрузки. Автор не расписал все профили нагрузки, поэтому и получил ряд негатива. Как первая попытка подобрать нужное железо под выбранную СУБД - всё сделано хорошо. Обязательно возьму некоторые выводы для разработки лекции.

Сейчас я оброс достаточным количество знакомств, чтобы можно было дополнительно провалидировать материал сразу у вендера. Надеюсь, товарищи из Скала-Р в этом помогут.

С пятницей!

#mems

🏖В летние месяцы и часть сентября мир СУБД не стоял на месте и в нём происходили разного рода события, о которых я не говорил в канале, но думаю всё-таки стоит кое-о-чем написать.

Событие, которе мне запомнилось больше всего - закрытие проект FerretDB 🔐

FerretDB - реализации MongoDB на базе СУБД PostgreSQL

Я писал об этом проекте в феврале 2025.

Причина закрытия в том, что на компанию подала в суд Mongo Inc по поводу авторских прав и т.п. Руководство FerretDB не захотели сражаться в суде с Mongo и просто прикрыли проект.

Цитата:

Ни сил, ни желания, (ни денег) заниматься этим с такими «партнёрами» больше нет.

Я думаю, что отбиться от претензий юристов Mongo было возможно, но нанимать своих юристов и затевать долгие судебные процессы не захотели. Товарищи просто слились. Как было сказано, денег нет💸.

Еще один современный кейс, как можно на раннем этапе задушить конкурента. Подайте на него в суд... 👻

Старт конференции 🤠

🎉 28 августа 2025 года прошла первая конференция Keysapce для пользователей Valkey.
Инженеры разных категорий рассказали об их опыте использования Valkey, а так же сами разработчики поделились своими планами.

Весь видеоконтент доступен на youtube

Прослушав все доклады, я выделю самые интересные тезисы чуть ниже — а пока поделюсь общим впечатлением.

Конференция в Амстердаме, по сути, была организована не столько ради содержательной программы, сколько ради живого общения: собрать всех мейнтейнеров в одном месте, дать им возможность пообщаться, сблизиться — и, конечно, хорошо провести время после докладов.

Сами выступления оказались довольно проходными, без ярких открытий. Всё мероприятие больше напоминает масштабный тимбилдинг, чем научную или техническую конференцию. Но, возможно, именно в этом и заключается его главная ценность.

Что меня зацепило в докладах:
1️⃣Главные фичи valkey 9
👉 Возможность использовать несколько баз данных в кластере
👉 Улучшен решардинг
👉 TTL для полей хэш-элементов

2️⃣Идею подсмотрел на одном из докладов.
Представим двух пользователей интернет-магазина. По их истории покупок легко определить интересы: первый — заядлый геймер, второй — увлечённый спортсмен. Оба решают купить наушники. Система персонализации, естественно, показывает каждому свою подборку: одному — модели с мощным звуком и микрофоном для стримов, другому — лёгкие, влагозащитные и удобные для тренировок.

Но вдруг — неожиданный поворот: оба выбирают один и тот же товар.

И тут вступает в игру следующий уровень персонализации: описание этого наушника генерируется автоматически — и для каждого пользователя оно своё. Геймеру система рассказывает о низкой задержке и объёмном звуке в играх, а спортсмену — о надёжной посадке и устойчивости к поту.

Результат? Один и тот же товар — два совершенно разных описания.

Очень приятно 🤤

📚 DuckDB 1.4 LTS с шифрованием базы данных, MERGE и записью Iceberg

Новость в целом старенькая, даже не такая важная, но хочу об этом писать. На конференциях и разных сообществах эта СУБД звучит всё чаще. Даже в сообщество PostgreSQL постоянно слышу о связке с DuckDB. Это все явно предпосылки к бурному развитию продукта, либо к его покупке и закрытию )) Не будем о грустном...

Оказывается у "утки" есть свой GUI, что тоже даёт ей много доп.очков для сообщества.

Я подумываю поглубже познакомиться с этой СУБД и может даже написать 2-3 занятия (семинара) по этой СУБД и интеграцию её с РСУБД (PostgreSQL). Мне кажется это довольно интересная ниша для "карманной" аналитики.

Стартовый мой курс по Redis/Valkey

Как всё прошло вы уже поняли...

С пятницей!

#mems

📚8 атак на СУБД. Что делать?

Такое крутое название у статьи 💥 Я подумал, что мне про SQL инъекции расскажут или про эксплойты какие-то или про ACID RAIN как вариант... Но... не срослось ☹️

Ребята банально перечисли 8 кейсов внутренних угроз безопасности. От банального несанкционированного скачивания/изменениях данных до попытки правок журнала аудита.

Скучно!!! 🥱🥱🥱

Снимали шляпу перед ребятами из "Гарда" 🎩. Окучивать наш госсектор они умеют великолепно 💰! Надо будет попытаться найти людей из Гарда на конференциях и пообщаться с ними. У меня такое впечатление, что они просто сидят на "золотой жиле" и с минимальными трудозатратами зарабатывают космические деньги 💶💵💱.

📚 Полистаем журнальчик Database Trends and Applications Magazine: June/July 2025 Issue

➡️ Survey: AI Preparation Hinges on Data Preparation

Традиционная статья о том, как внедряется ИИ в компании и с какими трудностями сталкиваются предприятия. В целом, ничего нового. Однако мой глаз привлекла фраза в конце статьи:

Будущее — за агентной архитектурой:
ИИ-агенты уже используются третью компаний. Истинная трансформация — не просто чат-боты, а создание сетей ИИ-агентов, способных управлять целыми бизнес-процессами.

Получается ИИ уже не просто помощник человека, а важный элемент бизнес-процесса, который принимает решения. Интересно, а ответственность за это ИИ-решения кто будет брать на себя?

➡️ DBTA 100 2025: The Companies That Matter Most in Data

По данным Infragistics, ключевые проблемы в разработке ПО в 2025 году — безопасность, надёжность AI-генерируемого кода и защита данных. Это отражает растущую озабоченность цифровым доверием в эпоху массового внедрения ИИ.

Ключевые тренды в данных и аналитике (по Gartner):
👉 Управление метаданными
👉 Мультимодальный data fabric
👉 Синтетические данные (для приватности и заполнения пробелов в данных)
👉 Agentic analytics и AI-агенты

Мультиоблачная стратегия становится нормой

➡️ Keeping Up with the DBAs: What’s Ahead in 2025

Разберу эту статью в отдельном посте позже...

➡️ Pipe Dreams for the AI-Driven Enterprise: The Data Operating Fabric, Real-Time Data Streams, and AI Agents

Появился новый архитектурный паттерн - Data Operating Fabric

Это интеллектуальная унифицированная платформа, которая управляет и координирует экосистемы данных в реальном времени. Современные бизнес-требования диктуют переход к event-driven архитектурам и непрерывным потокам данных в реальном времени — особенно для поддержки ИИ-агентов.

Во главу углу ставится мгновенная реакция на события. Иными словами время получения ответа на событие прием данных, обработка данных и анализ данных стремится к 0. Думаю, что будет появляется больше и больше систем online-OLAP. Поглядим...

➡️ The Future of Work Is Accessible: What Apple’s WWDC 2025 Accessibility Features Mean for an Aging Digital Workforce

Вступление

Люди всё чаще будут работать до 80–90 лет, а некоторые — даже дольше. Это требует, чтобы технологии поддерживали пожилых и людей с возрастными ограничениями (по зрению, слуху, моторике, когнитивным функциям).

Вроде статья от июля месяца, а по спине пробежали хеллоинские мурашки. Вы только вдумайтесь, работать до 90 лет! На компанию! Ужаснее судьбы не придумаешь. Корпорации делают всё, чтобы человек работал на них вечно! Никакой пенсии, отдыха и прочее.
Меня страшит такая перспектива. Всё-таки в старости я планирую провести на вилле у моря 🏖🏝.
А какие ваши планы? 🗒

📚Хочу отдельно расписать тезисы Keeping Up with the DBAs: What’s Ahead in 2025 из июнь/ильского номера Database Trends and Applications Magazine.

Начало уже интригует

Традиционные обязанности DBA (обслуживание, патчинг, проектирование БД) уходят на второй план. В 2025 году DBA превращается в стратегического партнёра бизнеса, фокусируясь на управлении данными в контексте ИИ, облака и автоматизации.

Далее еще лучше

Современный DBA теперь выступает как:
👉 Cloud data manager — управляет данными в облаке и мультиоблаке
👉 Data automation developer — внедряет автоматизацию (Terraform, Kubernetes, AI-тюнинг)
👉 Insight platform manager — обеспечивает платформы для аналитики и ИИ
👉 Data security steward — отвечает за безопасность и соответствие нормам (GDPR, HIPAA)

Как итог первой половины статьи

Несмотря на технологические прорывы, данные остаются «грязными», разрозненными и неструктурированными. DBA играет критическую роль в создании надёжной основы для enterprise-приложений на базе генеративного ИИ.

Вроде как DBA и так это делают.

1️⃣Если БД в облаке, то DBA должен уметь ей управлять на уровне, которое облако позволяет. Это логично.

2️⃣DBA должны уметь писать скрипты для терраформа и кубика? Спорно конечно, но это от компании зависит. Мне кажется это не критичные умения.

3️⃣DBA должен разбираться в аналитических платформах? Если DBA специализируется в этом, то наверное да. Понятное дело, что знаний одного PostgreSQL сейчас мало и нужно изучать другие БД. Особенно аналитические (OLAP).

4️⃣Если говорить про безопасность и стандарты, то DBA всегда мучают эти специалисты, т.к. DBA это люди с наивысшим доступом к данным. Ничего нового.

Едем дальше

Возможности роста и влияния:

DBA может стать:
👉 Архитектором облачных баз данных
👉 Лидером в области управления данными и безопасности
👉 Ключевым участником DevOps и DataOps
👉 Стратегическим советником по бизнес-решениям

Эксперты призывают DBA:
👉 Активно осваивать облака и мультиоблачные среды
👉 Инвестировать в навыки автоматизации и ИИ
👉 Изучать DevOps и DataOps
👉 Развивать компетенции в управлении данными, безопасности и governance. Переходить от роли техника к роли бизнес-партнёра

Я это всё читаю и мне кажется, а не много ли хотят эксперты? 😠 DBA и так довольного дорогой специалист с множеством знаний, но почему то товарищам экспертам этого мало. Надо еще людей нагружать. Как DevOps'еров, которые тоже должны знать всё.

Мое мнение, что очень много решают софты. Умение коммуницировать с людьми и делегировать задачи. Да, можно самому развернуть ClickHouse и настроить его под себя. Но зачем, когда есть другие DBA, которые это делали до тебя 100500 раз? Делегируйте, не усложняйте себе жизнь. Вот, уволится коллега, тогда и будите разбираться самостоятельно... 😨

p.s. Буквально недавно коллега жаловался, что на собеседовании потенциальные DBA сыпятся на вопросе по индексам. Им дается простейший SQL запрос и их просят написать индекс к нему.
Запрос

SELECT fileld1, field3 FROM table
WHERE fileld3 =1 AND fileld2 =2;

Казалось бы, что тут сложного? Но...многие не отвечают на него.

Немного про безопасность...

С пятницей!

#mems

Снимаю шляпу перед нашими маркетологами! 🎩Сделать аналог Grafana и назвать его Графиня выше всяких похвал!

📚KuzuDB говорит «до свидания» и благодарит за все коммиты, сообщество marooning

Очередная opensource СУБД для аналитики закрылась. Проект перенесен в архив. 🗄

Проект с трёхлетней историей. 36 релизов. 3.5к звездочек. Есть компания, которая развивает проект... но итог печальный.

"Я чувствую себя глупо из-за того, что теперь поддерживаю Кузу на работе"

Я хотел поднять тему того, как выбрать opensource инструмент для своих проектов? Чтобы не оказаться в такой же ситуации как пользователи KuzuDB...

У меня лично нет четкого чек-листа. У вас есть❔

🎥 Почему текстовый поиск устарел | Векторные базы, эмбеддинги, RAG | Podlodka Podcast #445
Очень классный подкаст с Андреем Васнецовым – основателем Qdrant.

Если вы увлекаетесь поисковыми технологиями, то очень советую послушать. Андрей рассказывает крайне захватывающе. 1.5 часа видео пролетели незаметно.

Выделить главные тезисы сложновато, если что, то ИИ вам в помощь.
Вот несколько фраз, которые особенно запомнились:

👉 Текстовый и векторный поиск устроены принципиально по-разному и решают разные задачи.
👉 Самое дорогое в векторном поиске — сам вектор. Почти все оптимизации направлены на снижение стоимости его создания.
👉 Каждое обновление LLM требует пересчёта векторов.
👉 Если вы всерьёз хотите заниматься разработкой векторных СУБД, понадобятся глубокие знания: от ядра ОС до инструкций CPU и GPU.

🎉🎉🎉 Релиз открытого проекта хранилища данных «in-memory data store» Valkey 9.0.0

Случилось долгожданное событие! Правда его прогнозировали на 30 сентября, но 21 октября тоже пойдёт.

Ждем серию статей про новые возможности Valkey и еще больше статей с замером производительности! Обещают х3 производительность по сравнению с Redis 7.2. Это серьезная заявка!

Здорово, что разработчики так же заботятся об эффективности использования памяти.

В общем, это грандиозное событие! Я обязательно включу новинки релиза в свой курс по Redis/Valkey!

Третий запуск будет еще интереснее! Гарантирую 💯

С пятницей!

#mems

🗣 Думаю стоит немного рассказать о впечатлениях от конференции PGConf.Academy 2025. Какие доклады мне понравились, а какие нет.

Начну немного издалека ☄️

Я участвовал в конференции Data Internal Х в качестве ведущего круглого стола на тему «Как вырастить специалиста по базам данных». При подготовке мы с коллегами сначала условились выделить всего две категории специалистов:
👉Разработчик СУБД
👉Пользователь СУБД

Сейчас понимаю, что этого явно недостаточно. Более адекватная классификация, на мой взгляд, выглядит так:

1️⃣Разработчик СУБД
2️⃣DBA / DevOps-инженер
3️⃣Проектировщик БД / Архитектор данных (DataOps)
4️⃣Аналитик (BI-специалист)

Можно, конечно, выделить и подкатегории - но пока мир мне видится именно в этих четырёх ипостасях. С разработчиками, аналитиками и DBA всё более-менее понятно. А вот с проектировщиками - интереснее.

Здесь с двух ног врывается система послешкольного образования: университеты и колледжи по сути сосредоточены именно на подготовке проектировщиков БД 🚧. Но уровень проектирования, который там дают, на мой взгляд, не поднимается выше среднего.

В лучшем случае ВУЗы (ССУЗы) берут учебные материалы у PostgresPro и дают их студентам. Сами материалы хорошие, но их поддержка и обновление явно не в приоритете, что естественно.

Вот банальный пример: только в 2025 году PostgresPro наконец обновили свою демонстрационную базу🛩. Добавили несколько таблиц, немного новых типов данных и чуть осовременили структуру. При этом все технические возможности для таких изменений были ещё пять лет назад. Когда это дойдёт до реальных учебных программ? Догадываться не приходится.

Я пытаюсь развенчать миф о том, что академическое образование отстаёт от бизнес-реалий на 10 лет… но пока не получается.
Иногда складывается ощущение, что разрыв уже 20 лет 😕.

Ладно, сопли в сторону - перейдём к докладам 👨‍🏫.

❇️«Учебная база данных “Авиаперевозки”. Взгляд со стороны преподавателя»
Отличный доклад 👍. Качество демобазы резко подскочило - но это даже не главное. Главное - PostgresPro поделились генератором данных для этой БД. Это огромный подарок для учебных проектов: теперь у будущих проектировщиков появился мощный инструмент для наполнения базы и возможность кастомизировать генератор под свой проект.

❇️«Разрабатываете СУБД? Хотите об этом поговорить?»
Название заманчивое, но содержание — скромное.
Михаил рассказал, что в их университете проводится научная конференция с треком по СУБД, и объяснил, как правильно подавать заявку. Вот и всё 🙂.

❇️«Моделирование данных и лакуны в нём»
Сложный, но важный доклад ⚠️. По сути — призыв к критическому мышлению:

всё, что написано в книгах, статьях и учебниках, может содержать ошибки.

Главное — уметь их находить. А для этого нужны начитанность, насмотренность и опыт.

❇️«Новые технологии vs старые проблемы: разработка курсов в одиночку»
Очень хотелось услышать реальную «боль» 😖🤕 спикера, но… не проняло 🤷‍♂️.
Девушке дали задачу переработать и создать новые курсы для учебного центра. Сначала она растерялась, но потом на помощь пришли ИИ-агенты 🪬 — и всё получилось в срок. Победа! 🏆
К сожалению, доклад остался на уровне «всё хорошо, ИИ меня спас» — без глубины и рефлексии.

Три доклада от представителей ССУЗов:
1️⃣«Структура и содержание курсового проекта по базам данных. Обмен опытом»
2️⃣«Аналитика средствами SQL в рамках компетенции “Специалист по анализу данных (BI-аналитик)”»
3️⃣«Опыт преподавания дисциплины “Основы проектирования баз данных” с использованием СУБД PostgreSQL»
Самое поразительное — в колледжах на изучение баз данных выделяют целых три семестра 😱! Плюс курсовой проект по проектированию БД, который может перерасти в дипломную работу ♾️.
Это колоссальное количество времени — за такой срок можно изучить СУБД «вдоль и поперёк» 💪.

Но… есть нюансы.

Все три семестра студенты работают только с PostgreSQL или MySQL и проектируют исключительно реляционные БД. Другие типы СУБД — запрещены 🚫.

И это, пожалуй, самое грустное.

Остальные доклады посетить не успел.
Как только появятся записи - обязательно посмотрю. Если найду что-то стоящее, обязательно поделюсь.

📚Greengage DB: новый open-source монстр MPP-аналитики. Конец эпохи Greenplum?

Проект анонсировали и запустили еще год назад. Все ожидали, что это будет мировая замена Greenplum, но из-за разногласий в сообществе и конфликта с Яндексом проект остался лишь под крылом Аренадаты. Каких-то других именитых контребьютеров я не нашел.

В целом, проект молодой и возможно ему не хватает популяризации.
В другой стороны проекты на Greenplum внедрялись на десятилетия, поэтому острой необходимости куда-то мигрировать нет.

Есть ощущение, что сообщество замерло в ожидании возвращения оригинальной GreenPlum в opensouce. Как это уже было...

📚 🚀 Свежевышедшая книжка Потоковые базы данных под издательством "Питер".

Спылу с жару! Только-только вышла в тираж. Буду читать на ноябрьских праздниках 🤓

Ждите мой отзыв на книжу 🕵‍♀