📚 Database Trends and Applications Magazine: October/November 2025 Issue

❗️Тема номера: Облачная аналитика и трансформация ваших данных

➡️ SURVEY: HOW AI IS INCREASINGLY BEING INTEGRATED INTO DATA ARCHITECTURE

Традиционная аналитическая статья о статусе внедрения ИИ.

👉63.7% респондентов имеют либо детальное (22.8%), либо концептуальное (40.9%) понимание GenAI.
👉36.7% считают GenAI ценным для автоматизации и повышения эффективности.

Традиционные СУБД (Oracle, SQL Server и др.) всё ещё лидируют (54.8%),
Но быстро растёт значение:
Real-time streaming data — 49.4%
Cloud SaaS-платформы — 44.4%
Внешние API-фиды — 38.6%
Социальные данные — 28.2%
При этом интерес к документам/полуструктурированным данным упал с 55% до 39%, что говорит о смещении фокуса на динамические, интегрируемые источники.

У меня в компании тоже есть масса проектов с ИИ. Я был бы рад ИИ, который изучил всю документацию + материалы по форматам + релиз ноутсы к каждому релизу. Тогда большинство вопросов от заказчиков решалось в разы быстрее.

➡️ TRANSFORMING YOUR DATA AND ANALYTICS IN THE CLOUD

В статье говорится о нарастающей срочности перехода на облачные сервисы для хранения и аналитики данных. Современные аналитические и AI-приложения генерируют огромные объёмы данных, и любимые традиционные on-prem инфраструктуры всё чаще не справляются с нагрузкой.

Словил какое-то дежавю 👀. Опять нас всех спасёт облако. В этот раз автор сразу сказал, что облака могут не всем. Если у вас задача мониторинга событий, свехсекретная работа, "религия" (цели компании) не позволяет полностью перейти в облако, то всегда есть гибридный вариант. Перейти в облако "чуть-чуть" 😶‍🌫️.

Я к такому отношусь скептически, но почему-то очень хочется в таком проекте побывать. Интересно какого это обращаться в техподдержку облачного провайдера.

➡️ UNIFIED ANALYTICS AS THE CATALYST FOR DATA-DRIVEN, REAL-TIME ENTERPRISE SUCCESS

Статья посвящена концепции единых (unified) аналитических систем как ключевому драйверу для построения быстрых, гибких и действительно data-driven организаций.

Как сформулировал Стефан Кастеллани (CrateDB):

«Unified analytics — это способность работать со всеми данными, из любых источников, в любом формате, и извлекать из них согласованные, управляемые insight’ы в реальном времени».

Очередная попытка сказать компаниям о том, что разные команды - это плохо. Нужна общая платформа данных, которой будут пользоваться все. Идея хорошая, но дорогая. Введение такой унификации может сказаться на эффективности команд.

➡️ AI AND DATA GOVERNANCE: THE POWER DUO RESHAPING BUSINESS INTELLIGENCE

Авторы утверждают, что сочетание AI и грамотного управления данными (data governance) — это ключ к надёжной, масштабируемой, «умной» аналитике и бизнес-интеллекту (BI)

👉 AI способен автоматически находить ошибки или аномалии в данных, выявлять дубли, пропущенные значения, несоответствия — повышая качество и консистентность данных.
👉 Возможно автоматическое отслеживание lineage данных — то есть откуда данные пришли, какие трансформации они прошли, куда передаются.
👉 AI может помогать с классификацией и выявлением чувствительных/конфиденциальных данных, обеспечивать контроль доступа, соответствие политик, автоматическое обнаружение нарушений ещё до проблем.

➡️ AI AND DATA GOVERNANCE: THE POWER DUO RESHAPING BUSINESS INTELLIGENCE

В статье говорится, что многие компании, которые стремятся внедрять AI, «застревают» на уровне прототипов. Далее бюджет заканчивается 😜 💸

➡️NAVIGATING THE DATA SECURITY MINEFIELD

Роль администратора БД (DBA) теперь воспринимается не просто как “наладчик” баз, а как «страж данных». Тот, кто отвечает за защиту и сохранность критичных корпоративных данных.

Основные рекомендации по защите данных

👉Шифрование (encryption) — базовая линия обороны
👉Принцип наименьших привилегий (least privilege) — пользователи, процессы и приложения должны иметь только те доступы, которые необходимы для их задач.
👉Аудит и мониторинг (auditing & monitoring)
👉Регулярное обновление/патчинг (patch management)

Смотря на эту картинку, я думаю, она носит позитивный или негативный характер? Пока не решил. Смотрю...

С пятницей!

#mems

📚Решился всё-таки полистать книжку Data Engineering Design Patterns Recipes for Solving the Most Common Data Engineering Problems

Меня очень привлекла обложка, но и название тоже не плохое

❇️ Общее впечатение

Эту книгу правильнее рассматривать как структурированный справочник или каталог проверенных решений для повседневных и не очень задач инженера данных.

У меня сложилось впечателение, что автор так видит сценарий взаимодействия с книгой:
👉 Вы сталкиваетесь на практике с проблемой (скажем, "как эффективно обрабатывать потоковые данные с гарантией доставки?" или "как организовать историчность данных в витрине?").
👉 Затем вы открываете оглавление или индекс этой книги, находите соответствующий паттерн (например, "Change Data Capture" или "Slowly Changing Dimensions")
👉 Изучаете готовый "рецепт": диаграммы, плюсы/минусы, варианты реализации

Мне кажется эта книга шикарный материал для обучения ИИ-асситената. Просто добавляешь файл с книгой и затем на ломанном русском описываешь свою проблему. Затем ИИ согласно этой книге генерирует ответ с вариантами решения (с названием паттернов), которые тебе подойдут.

Мне кажется, что сейчас архитектурный консалтинг может уйти в небытие. Достаточно скомить ИИ популярные, модные современные архитектурные решения и под свои требования получить готовый вариант. Наверняка такие пилотные проекты используются в крупных компаниях.

❇️ Итого
Книга хорошая, качайте, листайте, скармливайте ее ИИ и изучайте проблемы и их типовые решения вместе.

📚 Redis/Valkey. Community Erosion Post License Change: Quantifying the Power of Open Source

Очень интересная статья о конкуренции между Redis и Valkey.

Проект Valkey уже существует более полутора лет и продолжает уверенно развиваться. Redis, несмотря на потерю около трети своих контрибьюторов, также не сдал позиций: удалось привлечь новых разработчиков, а «ветераны» проекта даже увеличили активность. Народ стал делать больше комитов, чем годом ранее.

Пока они остаются близкими по функциональности, поскольку главный фокус - производительность. Однако постепенно намечаются различия в стратегиях развития.

На мой взгляд, Redis делает ставку на универсальность. Он стремится поддерживать максимально широкий спектр сценариев использования, начиная от классических задач по кешированию данных до современных workload’ов, включая ИИ-проекты. В версии 8.4 активно развиваются векторные операции, операция поиска и улучшение механизм ребалансировки кластера (Atomic Slot Migration).

Valkey, напротив, делает упор на надёжность, отказоустойчивость и кластерные возможности. Релиз 9.0 — яркое тому подтверждение: появилась поддержка многобазовости в кластере и улучшен механизм ребалансировки кластера (Atomic Slot Migration).

Даже прочитав список фич последних релизов видно, что они тесно пересекаются (Atomic Slot Migration). Кто у кого списывает, думайте сами.

Конкуренция явно идёт на пользу обоим проектам — и экосистеме в целом.
Посмотрим, какие сюрпризы приготовит нам 2026 год! 🚀

📚 Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems 2nd Edition

Самая ожидаемая книга 2026 года! 🌲

Товарищи из нашего издательства "Питер" обещали сделать перевод в максимально короткий срок! Надеюсь, не обманут 🫤

Настала пора генерировать СВОЙ контент! Моя статья на Хабре! Просьба всем лайкнуть 😉

Eventually Consistent СУБД — всё?

Костя Ратвин написал прекрасную ретроспективную статью о взлете и падении eventually consistent СУБД, а Костя Осипов её откомментировал.

https://habr.com/ru/articles/980082/

🎦 Российские системы управления базами данных: выбор и миграция. Запись эфира от 21 ноября 2025. В прошлом году тоже был подобный сбор. Я говорил о нем тут.

Позвали представителей: PostgresPro, Енисей, Тарантул, YDB, Квантум-Гибрид (форк PostgreSQL), Jatoba. Итого 6 СУБД.

Очень много рассуждений по безопасности. Всё банального и ничего особо интересного. Даже выделить нечего. В прошлом году было поинтереснее что ли.

❇️ Краткие тезисы:

❗Уже в 222 СУБД в реестре отечественного ПО, хотя норм СУБД штук 20.

❗2026 - может стать годом аналитических проектов и решений. Множество RnD активностей идет в этом направлении

❗Драйвер роста рынка СУБД - Регулятор.

❗Если вам нужна миграция на отечественную СУБД, но у вас нет денег, то в 2026 году вряд ли эти деньги появятся. Стоимость проекта миграции буде только расти.

❗Прогноз на 2026 год
👉 Безопасная разработка (требование Регулятора)
👉 Развитие ИИ инструментов
👉 Больше проектор по миграции ERP систем

❗Немного апатии от коллег:
👉 Должна произойти консолидация рынка СУБД (3 года). Кто-то кого-то должен купить.
👉 Налоги повышаются, поэтому если в 2026 будет рост рынка, то уже хорошо.

p.s. за последние 15 лет впервые услышал слово "налодонник"

Хорош работать! Катить в прод ваши поделки уже поздно! Дайте себе и людям отдохнуть...

С Пятницей!

#mems

Сегодня экспериментальный выпуск с двумя гостями. Говорим про то как изменилась индустрия за 20 лет, про ключевые технологии, хайп и найм https://youtu.be/M27vJh6buSA?si=ajm69StdBOZvAx18

Альтернативные ссылки: Аудио | vk

📚 Немецкий стартап SereneDB получает 2,1 миллиона долларов инвестиций в первом раунде

Раунд возглавили фонды Entourage и High-Tech Gründerfonds

SereneDB разрабатывает распределенную базу данных для поиска в режиме реального времени.

Меня всегда привлекают новости об инвестициях в проекты по СУБД. Про этот продукт я ничего не знаю, но решил глянуть фаундеров, а там три наших соотечественника: Александр Маландин🇷🇺, Андрей Абрамов🇷🇺 и Валерий Миронов 🇷🇺. Ха-ха...немецкий стартап, ну-ну 🤨😉

SereneDB возглавляет генеральный директор Александр Маландин, химик-технолог, ставший евангелистом в сфере информационных технологий, с большим опытом работы в сфере корпоративных хранилищ, серверов и баз данных в компаниях EMC и Dell, а также в ArangoDB.

К нему присоединился технический директор Андрей Абрамов, специалист с 15-летним стажем по информационно-поисковым системам, который создал альтернативу Lucene на C++ и стал первым, кто успешно интегрировал её с базой данных. Он признанный провидец в области проектирования баз данных с поддержкой поиска.

Главный инженер-программист Валерий Миронов, разработчик-самоучка, который бросил колледж, чтобы сосредоточиться на программировании, является энтузиастом открытого исходного кода и автором YACLib.

Посмотрим, во что выльется этот продукт. Релиз запланирован на февраль 2026.

Примечательно, что все основатели есть в чате разработчиков СУБД в телеге. Выйти с ними на контакт не проблема .

Буду следить за этим проектом.

📚Pinecone масштабирует свою векторную базу данных для поддержки более ресурсоёмких задач

Я в последнее время редко публикую новости про векторные СУБД, но тут решил прервать молчание.

Векторные СУБД продолжают развиваться и на фоне популярности ИИ и аналитических систем становятся всё более продвинутыми.
На этом поле битвы не обязательно чтобы СУБД была открытой или имела on-prem инсталяцию. Облачное решение, а-ля, Managed Pinecone прекрасно себя чувствует и внедряет новые технологии.

К сожалению, я не знаю кто именно пользуется этой СУБД и какой сегмент рынка охватывает, но если где-то и всплывает Pinecone, то обязательно с какой-то новой фичей 🎉 или с привлечением очередных денежных траншей в компанию 💸.

Молодцы ребята! 💪

Да, компания Американская, со штаб-квартирой в Нью-Йорке. Российский корней нет. Хотя директор по инжинирингу очень подозрительный 👀

31 декабря начнем с бюджета (поздравление чуть позже)
И так, внимание: "Топ-10 российских разработчиков СУБД за год увеличили объем выручки на 35%"

Собственно, сам рейтинг
1. Postgres Professional
2. Arenadata
3. Yandex B2B Tech
4. VK Tech
5. Тантор Лабс

Было очевидно, что PostgresPro круче всех! Я думаю такое лидерство сохранится. Буквально вчера новость: https://www.cnews.ru/news/top/2025-12-22_rosatom_pochti_za_milliard

Необычно видеть Яндекс среди лидеров. Решил чуть погуглить, а какие продукты предлагает Yandex B2B Tech? Если кратко, то это доработанные опенсорс СУБД в облаке, т.е. вырос спрос на облачные решения. Это тренд последних лет. Думаю он будет только расти.

Тантор не ожидал увидеть в ТОП-5. Я не знаю клиентов этой компании. Надо себя заставить посетить конференцию от Тантора в 2026 году.

Не понятно почему СберТеха с Панголином нет в списке. Мне казалось, что СБТ нормально так денег поднимает с этой СУБД. Может быть отчетность не публичная, не знаю.

В целом, рынок СУБД растёт. Денег там всё больше и больше!
Буду в 2026 году стараться по максимум, чтобы кусок этого пирога и мне достался! 😜

С Наступающим! 🎄

В цело

С Наступающими праздниками! Все бегом под Ёлку раскрывать подарки! 🌲 🍊

Можете поделиться своим подарками в комментариях

Чем бы заняться на праздниках? Хммм

Просто напоминаю, что сегодня пятница! Еще 10 дней отдыхать!

#mems

🎦 9 декабря уже прошлого года прошла конференция ISPRAS Open. Предлагаю ознакомиться с треком по БД: Database Internals Meetup #10: Пять докладов на конференции ISPRAS Open

❇️Программа

13:00-14:00 Расширяя пределы PostgreSQL: архитектура и интеграция OrioleDB. Александр Коротков, Head of PostgreSQL group, Supabase, Константин Осипов, Управляющий директор по исследованиям и разработке Группы Arenadata

14:00 — 15:00 Проблема медленного JIT решена? Тимур Сафин, Директор лаборатории DBLab, LRI

15:00 — 16:00 Кофе/ланч брейк

16:00 — 17:00 Разработка нативного акселератора SQL-запросов на Rust для Trino. Владимир Озеров, Генеральный директор, CedrusData

17:00 — 18:00 Линейная алгебра как основа для языка запросов к графам. Семен Григорьев, Доцент кафедры системного программирвоания СПбГУ

18:00 — 19:00 Проблемы субтранзакций и мультитранзакций в Postgres. Андрей Бородин, Руководитель разработки СУБД с открытым кодом, Яндекс

Докладов много и что-то выделить не просто. Всё интересно 😉

❇️Приведу несколько цитат:

❗️ Что нужно сделать, чтобы довести технологию до промышленного уровня? Достаточно того, чтобы технология начала применяться. Чем больше пользователей - тем более зрелой становится технология.

❗️ OrioleDB - это движок для PostgreSQL, который всё делает не так как в классическом PostgreSQL. И это не просто так.

❗️ Темп изменений, который происходит в PostgreSQL довольно высок. Однако современных вызовов настолько много, что этого темпа не достаточно.

📚 Шикарная статья The Cambridge Report on Database Research! 🧨

Кому лень читать вот ИИ расшифровка статьи

❇️ Общая цель документа

Работа под названием The Cambridge Report on Database Research подводит итоги развития области баз данных за последние ~5 лет и формулирует ключевые исследовательские вызовы и направления на ближайшее будущее. Отчет подготовлен по итогам встречи ведущих ученых и практиков в Кембридже (октябрь 2023 года) и продолжает традицию аналогичных «отчетов сообщества» (Laguna Beach, Asilomar, Claremont, Beckman, Seattle и др.).

❇️Основные содержательные блоки

1. Что произошло в СУБД за последние годы:
👉 переход индустрии к cloud-native СУБД с разделением хранения и вычислений;
👉 активное использование нового железа (NVMe, GPU, FPGA, CXL, persistent memory);
👉 рост роли ML и AI внутри СУБД (оптимизация запросов, cardinality estimation, autotuning);
👉 укрепление open-source экосистем (PostgreSQL, Spark, Flink, DuckDB);
👉 сближение СУБД и data science-инструментов.

2. Генеративный ИИ и LLM — переломный фактор:
👉 LLM как интерфейс к данным (text-to-SQL, NL-интерфейсы);
👉 ограничения LLM для «классических» задач СУБД (оптимизация, исполнение);
👉 необходимость data systems for LLMs: хранение эмбеддингов, RAG, evals, пайплайны, provenance;
👉 роль СУБД в снижении галлюцинаций, валидации результатов и управлении данными для ИИ.
👉 Ключевая мысль: LLM не заменяют СУБД, а радикально повышают их значимость.

3. Будущие исследовательские вызовы
👉 модульные и компонуемые архитектуры СУБД;
👉 федерация данных и соблюдение регуляторных требований (data residency);
👉 автоматическое управление инфраструктурой в облаке;
👉 «зелёные» и энергоэффективные СУБД;
👉 responsible data management, governance, provenance, fairness;
👉 интеграция СУБД с data science и human-in-the-loop системами.

p.s. от товарищей из АСМ есть видео и текстовый обзор этой статьи. Пока только первой её части

Заявка на доклад конференции PG.Conf.Russia 2026 подана.

Конференция пройдёт 23–24 марта 2026, а значит осталось около 60 дней на доработку доклада.

Ой, январь обещает быть тяжелым.

Даже добавить нечего 🍰🥧🍨🫖

С пятницей!

#mems

📚 С небольшим опозданием, Энди Павло опубликовал свой ежегодный отчет о прошедших событиях в мире СУБД. Концовка статьи получилась очень "ламповой"💡. Остается какое-то светлое чувство в сердце 🏮, а так же небольшая обидка на то, что мирок РФ в области СУБД и мир США почти не пересекаются. Таков наш путь... 🌌

Товарищи сделали свой подробный разбор этой статьи, поэтому не думаю, что стоит повторяться.

Всем советую почитать оригинал. А ниже я отмечу некоторые фразы, которые затронули лично меня

Hydra and PostgresML went bust in 2025 (see Deaths section), so they're out of the game

Что тут сказать, проекты с интеграцией ML фишек в СУБД провалились. Это было от части предсказуемо. Интересно как дипломники 2026/27 годов будет выкручиваться, т.к. множество работ именно по связанным с этими СУБД тематикам 😊

If 2023 was the year every DBMS added a vector index, then 2025 was the year that every DBMS added support for Anthropic's Model Context Protocol (MCP)

Это для меня некое открытие 🤯. Я совершенно упустил этот тренд. Разработчики СУБД предоставили API для LLM в свои продукты. Интересная идея. Как заметил Энди это потенциальная угроза безопасности, поэтому подход КликХауса, который дал доступ только на чтение, выглядит весьма надежным.

HeavyDB → Nvidia
The death of Voltron and sort-of acquihire of HeavyDB seem to continue the trend of the inviability of GPU-accelerated databases.

Количество проектов с интеграцией DBMS+GPU сокращаются на конец 2025 года, но само направление перспективное. Сам Энди ожидает в 2026 году новых стартапов на этом поприще. Я тоже считаю, что идейка это неплохая. Просто время не то. Майнинговый бум всё испортил, а сейчас еще и дефицит чипов памяти, который опять скажется на рентабельности подобных подходов. Короче, ждем... ⏰

📚За новогодние праздники ничего интересного на Хабре по базам данных не было. Разве что можно отметить маркетинговую статью от PostgresPro: Каким будет энтерпрайз-СУБД в эпоху ИИ.

В целом, там каких-то откровений нет. В комментариях к статье народ уже высказался предельно ясно и понятно.

За последние 2 недели всё чаще попадаются статьи, комментарии людей, которые хейтят ИИ. Вот мол, спросил у ИИ одно, а получил какую-то фигню, а не ответ. Ай-яй-яй, плохой ИИ 🤬. Отменяем 🙅‍♂️Всё в том же духе.

Я использую ИИ в своей преподавательской и исследовательской деятельности довольно часто. ИИ прекрасно умеет набрасывать информацию по любой теме. Да, она может быть неактуальной или местами неверной, но это не важно. Гораздо проще "посеять" готовую информацию, чем потратить часы на поиск чего-то в гугле или книгах🥵.

Достаточно соблюдать правила безопасности и всё будет хорошо 😉

Можно и фейерверками не небо расстрелять, а себя 🎉💥➡️🍑 .
Таких видосов во всяких "тиктоках", VK клипах тьма.
Берегите себя ✋🤚