Итог всех конференций в этом и думаю в следующем году тоже

С пятницей!

#mems

🎦 Еще одна конференция от сентября Data Internals X.

Только 24 ноября наконец-то выложили видео.

❗️Кстати, я там выступал в самом конце на круглом столе. Думаю в 2026 доступ всем откроют бесплатно❗️

Тяжело обозревать доклады доступ к которым закрыт и открывается только "за донат". Надеюсь, что многие выступления выложат с общий доступ на платформе VKvideo. Да, на любимом ютубчике видео с конференции официально не будет.

Список докладов

❇️ Общее впечатление
Очень крутая конференция в плане контента 💪! Все выступления классные и интересные. Очень советую по возможности глянуть или хотя бы презентации полистать 👀. К сожалению, в этот день у меня на работе возник факап по проекту и пришлось почти всю конфу заниматься устранением последствий 😢. Реально не повезло 😭 Если бы за день до конфы не было бы препати для докладчиков 🍻, я бы так и ни с кем не познакомился .

Отмечу доклады, которые лично для меня, показались интересными.

👉 Citus изнутри: как устроен шардинг.
Преза

Автор доклада подробно разобрал расширение Citus для PostgreSQL. Жаль, что у мероприятия жесткий тайминг в 30 минут. По факту там надо рассказывать часа 3 не меньше. Думаю, если людям интересен Citus, то в нём нет ничего страшного. Надо просто ставить и изучать. Это уже нормально взрослое, а главное, опенсорсное масштабированию OLTP нагрузки.

👉 Data Quality как distributed-система: паттерны отказоустойчивости для данных
Преза
Очень крутой докладчик 🤟. Голос поставлен великолепно. Слушать его было очень приятно. Доклад реально сложный. Насыщен множеством профессиональных терминов, но от этого только интереснее. Я проникся. Несколько тезисов

1️⃣Качество данных — не роскошь, а необходимость
2️⃣DQ — это не про идеал, а про минимизацию потерь и доверие бизнеса
3️⃣Внедряйте гибридные подходы, считайте убытки, автоматизируйте рутину

👉 DuckDB для работы с графами: форматы хранения графа в S3, расширение GraphAr и опыт разработки
Преза

Автор доклада (и его команда) из R&D Т-Банка сделали свое расширение к DuckDB по интеграции возможностей библиотеки GraphAr, чтобы DuckDB успешно работал с графовыми данными.
Расширение можно глянуть тут
Отличная работа! Респект! 👋

👉 Как подготовить платформу данных к миграции уже сейчас?
Преза

Очень грустный доклад 😢. Раньше был вендор SAS, который предоставлял весь спектр инструментария для отчетов, аналитики и прочее.

SAS ушел и пришлось искать альтернативы. Вместо группы из 5-ти связанных продуктов с единым интерфейсом пришлось изучать и внедрять чуть ли не 10 новых инструментов от разных вендоров 🤯. Эххх...как же раньше было просто 😞... Далее автор рассказывает о некоторых граблях на которые наткнулись при миграции, ну и всё.

👉 Ревью без боли: DataOps-подход к управлению изменениями в DWH
Преза
Меня привлекло название доклада ✋. По сути автор рассказал, что раньше все тестировали ручками, но потов внедрили автотесты, анализаторы кода, интеграционные тесты и прочие механизмы сверки - в итоге всё стало лучше, быстрее и мощнее. Конец.

Очередное подтверждение того, что еще есть куча компаний-разработчиков, где культура нормального тестирования не внедрена. У многих до сих пор полно ручного тестирования ✍️.

В новостной рассылке от Яндекса предложили мне пойти бесплатный "Курс от Яндекс Образования для тех, кто начинает преподавать".

Мне стало интересно, какие требования к преподавателям у Яндекса и чему они хотят научить за 8 часов🤨

❇️ Общее впечатление
Это второй курс на платформе Яндекс.Практикум, который я прохожу бесплатно. Формат подачи материала очень специфический. Как бы через диалог и прокликивания окошек. Чем-то это мне напоминает курс по информационной безопасности, который проходят все госслужащие и банковские работники. Ты просто прокликиваешь весь курс, чтобы побыстрее дойти до финального теста. Затем пройти тест и забыть обо всём. Я такой флешбэк словил.

Если говорить про материал, то да, местами он довольно полезный. Я какие-то важные мысли подчеркнул.
Прикольные задания после каждого модуля. Это самая интересная часть курса.

❇️Что не понравилось
В курсе очень много ИИ пропаганды. Любой вопрос должен быть обсужден с ИИ. ИИ помогает тебе сформулировать тему, составить практические задания и даже смоделировать процесс обучения с гипотетической аудитории и получить фидбек. Яндекс толкает читателя/слушателя в ИИ объятия. ИИ преподносится как универсальный тренажер для всего. Немного пугает такой посыл. Может я уже устарел и поэтому тяжело принять новое... не знаю.

В целом, если вы хотите проверить себя на готовность стать преподавателем, то этот курс неплохая тренировка. Возможно ИИ вас отговорит становиться преподавателем 😉

📚 Database Trends and Applications Magazine: October/November 2025 Issue

❗️Тема номера: Облачная аналитика и трансформация ваших данных

➡️ SURVEY: HOW AI IS INCREASINGLY BEING INTEGRATED INTO DATA ARCHITECTURE

Традиционная аналитическая статья о статусе внедрения ИИ.

👉63.7% респондентов имеют либо детальное (22.8%), либо концептуальное (40.9%) понимание GenAI.
👉36.7% считают GenAI ценным для автоматизации и повышения эффективности.

Традиционные СУБД (Oracle, SQL Server и др.) всё ещё лидируют (54.8%),
Но быстро растёт значение:
Real-time streaming data — 49.4%
Cloud SaaS-платформы — 44.4%
Внешние API-фиды — 38.6%
Социальные данные — 28.2%
При этом интерес к документам/полуструктурированным данным упал с 55% до 39%, что говорит о смещении фокуса на динамические, интегрируемые источники.

У меня в компании тоже есть масса проектов с ИИ. Я был бы рад ИИ, который изучил всю документацию + материалы по форматам + релиз ноутсы к каждому релизу. Тогда большинство вопросов от заказчиков решалось в разы быстрее.

➡️ TRANSFORMING YOUR DATA AND ANALYTICS IN THE CLOUD

В статье говорится о нарастающей срочности перехода на облачные сервисы для хранения и аналитики данных. Современные аналитические и AI-приложения генерируют огромные объёмы данных, и любимые традиционные on-prem инфраструктуры всё чаще не справляются с нагрузкой.

Словил какое-то дежавю 👀. Опять нас всех спасёт облако. В этот раз автор сразу сказал, что облака могут не всем. Если у вас задача мониторинга событий, свехсекретная работа, "религия" (цели компании) не позволяет полностью перейти в облако, то всегда есть гибридный вариант. Перейти в облако "чуть-чуть" 😶‍🌫️.

Я к такому отношусь скептически, но почему-то очень хочется в таком проекте побывать. Интересно какого это обращаться в техподдержку облачного провайдера.

➡️ UNIFIED ANALYTICS AS THE CATALYST FOR DATA-DRIVEN, REAL-TIME ENTERPRISE SUCCESS

Статья посвящена концепции единых (unified) аналитических систем как ключевому драйверу для построения быстрых, гибких и действительно data-driven организаций.

Как сформулировал Стефан Кастеллани (CrateDB):

«Unified analytics — это способность работать со всеми данными, из любых источников, в любом формате, и извлекать из них согласованные, управляемые insight’ы в реальном времени».

Очередная попытка сказать компаниям о том, что разные команды - это плохо. Нужна общая платформа данных, которой будут пользоваться все. Идея хорошая, но дорогая. Введение такой унификации может сказаться на эффективности команд.

➡️ AI AND DATA GOVERNANCE: THE POWER DUO RESHAPING BUSINESS INTELLIGENCE

Авторы утверждают, что сочетание AI и грамотного управления данными (data governance) — это ключ к надёжной, масштабируемой, «умной» аналитике и бизнес-интеллекту (BI)

👉 AI способен автоматически находить ошибки или аномалии в данных, выявлять дубли, пропущенные значения, несоответствия — повышая качество и консистентность данных.
👉 Возможно автоматическое отслеживание lineage данных — то есть откуда данные пришли, какие трансформации они прошли, куда передаются.
👉 AI может помогать с классификацией и выявлением чувствительных/конфиденциальных данных, обеспечивать контроль доступа, соответствие политик, автоматическое обнаружение нарушений ещё до проблем.

➡️ AI AND DATA GOVERNANCE: THE POWER DUO RESHAPING BUSINESS INTELLIGENCE

В статье говорится, что многие компании, которые стремятся внедрять AI, «застревают» на уровне прототипов. Далее бюджет заканчивается 😜 💸

➡️NAVIGATING THE DATA SECURITY MINEFIELD

Роль администратора БД (DBA) теперь воспринимается не просто как “наладчик” баз, а как «страж данных». Тот, кто отвечает за защиту и сохранность критичных корпоративных данных.

Основные рекомендации по защите данных

👉Шифрование (encryption) — базовая линия обороны
👉Принцип наименьших привилегий (least privilege) — пользователи, процессы и приложения должны иметь только те доступы, которые необходимы для их задач.
👉Аудит и мониторинг (auditing & monitoring)
👉Регулярное обновление/патчинг (patch management)

Смотря на эту картинку, я думаю, она носит позитивный или негативный характер? Пока не решил. Смотрю...

С пятницей!

#mems

📚Решился всё-таки полистать книжку Data Engineering Design Patterns Recipes for Solving the Most Common Data Engineering Problems

Меня очень привлекла обложка, но и название тоже не плохое

❇️ Общее впечатение

Эту книгу правильнее рассматривать как структурированный справочник или каталог проверенных решений для повседневных и не очень задач инженера данных.

У меня сложилось впечателение, что автор так видит сценарий взаимодействия с книгой:
👉 Вы сталкиваетесь на практике с проблемой (скажем, "как эффективно обрабатывать потоковые данные с гарантией доставки?" или "как организовать историчность данных в витрине?").
👉 Затем вы открываете оглавление или индекс этой книги, находите соответствующий паттерн (например, "Change Data Capture" или "Slowly Changing Dimensions")
👉 Изучаете готовый "рецепт": диаграммы, плюсы/минусы, варианты реализации

Мне кажется эта книга шикарный материал для обучения ИИ-асситената. Просто добавляешь файл с книгой и затем на ломанном русском описываешь свою проблему. Затем ИИ согласно этой книге генерирует ответ с вариантами решения (с названием паттернов), которые тебе подойдут.

Мне кажется, что сейчас архитектурный консалтинг может уйти в небытие. Достаточно скомить ИИ популярные, модные современные архитектурные решения и под свои требования получить готовый вариант. Наверняка такие пилотные проекты используются в крупных компаниях.

❇️ Итого
Книга хорошая, качайте, листайте, скармливайте ее ИИ и изучайте проблемы и их типовые решения вместе.

📚 Redis/Valkey. Community Erosion Post License Change: Quantifying the Power of Open Source

Очень интересная статья о конкуренции между Redis и Valkey.

Проект Valkey уже существует более полутора лет и продолжает уверенно развиваться. Redis, несмотря на потерю около трети своих контрибьюторов, также не сдал позиций: удалось привлечь новых разработчиков, а «ветераны» проекта даже увеличили активность. Народ стал делать больше комитов, чем годом ранее.

Пока они остаются близкими по функциональности, поскольку главный фокус - производительность. Однако постепенно намечаются различия в стратегиях развития.

На мой взгляд, Redis делает ставку на универсальность. Он стремится поддерживать максимально широкий спектр сценариев использования, начиная от классических задач по кешированию данных до современных workload’ов, включая ИИ-проекты. В версии 8.4 активно развиваются векторные операции, операция поиска и улучшение механизм ребалансировки кластера (Atomic Slot Migration).

Valkey, напротив, делает упор на надёжность, отказоустойчивость и кластерные возможности. Релиз 9.0 — яркое тому подтверждение: появилась поддержка многобазовости в кластере и улучшен механизм ребалансировки кластера (Atomic Slot Migration).

Даже прочитав список фич последних релизов видно, что они тесно пересекаются (Atomic Slot Migration). Кто у кого списывает, думайте сами.

Конкуренция явно идёт на пользу обоим проектам — и экосистеме в целом.
Посмотрим, какие сюрпризы приготовит нам 2026 год! 🚀

📚 Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems 2nd Edition

Самая ожидаемая книга 2026 года! 🌲

Товарищи из нашего издательства "Питер" обещали сделать перевод в максимально короткий срок! Надеюсь, не обманут 🫤

Настала пора генерировать СВОЙ контент! Моя статья на Хабре! Просьба всем лайкнуть 😉

Eventually Consistent СУБД — всё?

Костя Ратвин написал прекрасную ретроспективную статью о взлете и падении eventually consistent СУБД, а Костя Осипов её откомментировал.

https://habr.com/ru/articles/980082/

🎦 Российские системы управления базами данных: выбор и миграция. Запись эфира от 21 ноября 2025. В прошлом году тоже был подобный сбор. Я говорил о нем тут.

Позвали представителей: PostgresPro, Енисей, Тарантул, YDB, Квантум-Гибрид (форк PostgreSQL), Jatoba. Итого 6 СУБД.

Очень много рассуждений по безопасности. Всё банального и ничего особо интересного. Даже выделить нечего. В прошлом году было поинтереснее что ли.

❇️ Краткие тезисы:

❗Уже в 222 СУБД в реестре отечественного ПО, хотя норм СУБД штук 20.

❗2026 - может стать годом аналитических проектов и решений. Множество RnD активностей идет в этом направлении

❗Драйвер роста рынка СУБД - Регулятор.

❗Если вам нужна миграция на отечественную СУБД, но у вас нет денег, то в 2026 году вряд ли эти деньги появятся. Стоимость проекта миграции буде только расти.

❗Прогноз на 2026 год
👉 Безопасная разработка (требование Регулятора)
👉 Развитие ИИ инструментов
👉 Больше проектор по миграции ERP систем

❗Немного апатии от коллег:
👉 Должна произойти консолидация рынка СУБД (3 года). Кто-то кого-то должен купить.
👉 Налоги повышаются, поэтому если в 2026 будет рост рынка, то уже хорошо.

p.s. за последние 15 лет впервые услышал слово "налодонник"

Хорош работать! Катить в прод ваши поделки уже поздно! Дайте себе и людям отдохнуть...

С Пятницей!

#mems

Сегодня экспериментальный выпуск с двумя гостями. Говорим про то как изменилась индустрия за 20 лет, про ключевые технологии, хайп и найм https://youtu.be/M27vJh6buSA?si=ajm69StdBOZvAx18

Альтернативные ссылки: Аудио | vk

📚 Немецкий стартап SereneDB получает 2,1 миллиона долларов инвестиций в первом раунде

Раунд возглавили фонды Entourage и High-Tech Gründerfonds

SereneDB разрабатывает распределенную базу данных для поиска в режиме реального времени.

Меня всегда привлекают новости об инвестициях в проекты по СУБД. Про этот продукт я ничего не знаю, но решил глянуть фаундеров, а там три наших соотечественника: Александр Маландин🇷🇺, Андрей Абрамов🇷🇺 и Валерий Миронов 🇷🇺. Ха-ха...немецкий стартап, ну-ну 🤨😉

SereneDB возглавляет генеральный директор Александр Маландин, химик-технолог, ставший евангелистом в сфере информационных технологий, с большим опытом работы в сфере корпоративных хранилищ, серверов и баз данных в компаниях EMC и Dell, а также в ArangoDB.

К нему присоединился технический директор Андрей Абрамов, специалист с 15-летним стажем по информационно-поисковым системам, который создал альтернативу Lucene на C++ и стал первым, кто успешно интегрировал её с базой данных. Он признанный провидец в области проектирования баз данных с поддержкой поиска.

Главный инженер-программист Валерий Миронов, разработчик-самоучка, который бросил колледж, чтобы сосредоточиться на программировании, является энтузиастом открытого исходного кода и автором YACLib.

Посмотрим, во что выльется этот продукт. Релиз запланирован на февраль 2026.

Примечательно, что все основатели есть в чате разработчиков СУБД в телеге. Выйти с ними на контакт не проблема .

Буду следить за этим проектом.

📚Pinecone масштабирует свою векторную базу данных для поддержки более ресурсоёмких задач

Я в последнее время редко публикую новости про векторные СУБД, но тут решил прервать молчание.

Векторные СУБД продолжают развиваться и на фоне популярности ИИ и аналитических систем становятся всё более продвинутыми.
На этом поле битвы не обязательно чтобы СУБД была открытой или имела on-prem инсталяцию. Облачное решение, а-ля, Managed Pinecone прекрасно себя чувствует и внедряет новые технологии.

К сожалению, я не знаю кто именно пользуется этой СУБД и какой сегмент рынка охватывает, но если где-то и всплывает Pinecone, то обязательно с какой-то новой фичей 🎉 или с привлечением очередных денежных траншей в компанию 💸.

Молодцы ребята! 💪

Да, компания Американская, со штаб-квартирой в Нью-Йорке. Российский корней нет. Хотя директор по инжинирингу очень подозрительный 👀

31 декабря начнем с бюджета (поздравление чуть позже)
И так, внимание: "Топ-10 российских разработчиков СУБД за год увеличили объем выручки на 35%"

Собственно, сам рейтинг
1. Postgres Professional
2. Arenadata
3. Yandex B2B Tech
4. VK Tech
5. Тантор Лабс

Было очевидно, что PostgresPro круче всех! Я думаю такое лидерство сохранится. Буквально вчера новость: https://www.cnews.ru/news/top/2025-12-22_rosatom_pochti_za_milliard

Необычно видеть Яндекс среди лидеров. Решил чуть погуглить, а какие продукты предлагает Yandex B2B Tech? Если кратко, то это доработанные опенсорс СУБД в облаке, т.е. вырос спрос на облачные решения. Это тренд последних лет. Думаю он будет только расти.

Тантор не ожидал увидеть в ТОП-5. Я не знаю клиентов этой компании. Надо себя заставить посетить конференцию от Тантора в 2026 году.

Не понятно почему СберТеха с Панголином нет в списке. Мне казалось, что СБТ нормально так денег поднимает с этой СУБД. Может быть отчетность не публичная, не знаю.

В целом, рынок СУБД растёт. Денег там всё больше и больше!
Буду в 2026 году стараться по максимум, чтобы кусок этого пирога и мне достался! 😜

С Наступающим! 🎄

В цело

С Наступающими праздниками! Все бегом под Ёлку раскрывать подарки! 🌲 🍊

Можете поделиться своим подарками в комментариях

Чем бы заняться на праздниках? Хммм

Просто напоминаю, что сегодня пятница! Еще 10 дней отдыхать!

#mems

🎦 9 декабря уже прошлого года прошла конференция ISPRAS Open. Предлагаю ознакомиться с треком по БД: Database Internals Meetup #10: Пять докладов на конференции ISPRAS Open

❇️Программа

13:00-14:00 Расширяя пределы PostgreSQL: архитектура и интеграция OrioleDB. Александр Коротков, Head of PostgreSQL group, Supabase, Константин Осипов, Управляющий директор по исследованиям и разработке Группы Arenadata

14:00 — 15:00 Проблема медленного JIT решена? Тимур Сафин, Директор лаборатории DBLab, LRI

15:00 — 16:00 Кофе/ланч брейк

16:00 — 17:00 Разработка нативного акселератора SQL-запросов на Rust для Trino. Владимир Озеров, Генеральный директор, CedrusData

17:00 — 18:00 Линейная алгебра как основа для языка запросов к графам. Семен Григорьев, Доцент кафедры системного программирвоания СПбГУ

18:00 — 19:00 Проблемы субтранзакций и мультитранзакций в Postgres. Андрей Бородин, Руководитель разработки СУБД с открытым кодом, Яндекс

Докладов много и что-то выделить не просто. Всё интересно 😉

❇️Приведу несколько цитат:

❗️ Что нужно сделать, чтобы довести технологию до промышленного уровня? Достаточно того, чтобы технология начала применяться. Чем больше пользователей - тем более зрелой становится технология.

❗️ OrioleDB - это движок для PostgreSQL, который всё делает не так как в классическом PostgreSQL. И это не просто так.

❗️ Темп изменений, который происходит в PostgreSQL довольно высок. Однако современных вызовов настолько много, что этого темпа не достаточно.

📚 Шикарная статья The Cambridge Report on Database Research! 🧨

Кому лень читать вот ИИ расшифровка статьи

❇️ Общая цель документа

Работа под названием The Cambridge Report on Database Research подводит итоги развития области баз данных за последние ~5 лет и формулирует ключевые исследовательские вызовы и направления на ближайшее будущее. Отчет подготовлен по итогам встречи ведущих ученых и практиков в Кембридже (октябрь 2023 года) и продолжает традицию аналогичных «отчетов сообщества» (Laguna Beach, Asilomar, Claremont, Beckman, Seattle и др.).

❇️Основные содержательные блоки

1. Что произошло в СУБД за последние годы:
👉 переход индустрии к cloud-native СУБД с разделением хранения и вычислений;
👉 активное использование нового железа (NVMe, GPU, FPGA, CXL, persistent memory);
👉 рост роли ML и AI внутри СУБД (оптимизация запросов, cardinality estimation, autotuning);
👉 укрепление open-source экосистем (PostgreSQL, Spark, Flink, DuckDB);
👉 сближение СУБД и data science-инструментов.

2. Генеративный ИИ и LLM — переломный фактор:
👉 LLM как интерфейс к данным (text-to-SQL, NL-интерфейсы);
👉 ограничения LLM для «классических» задач СУБД (оптимизация, исполнение);
👉 необходимость data systems for LLMs: хранение эмбеддингов, RAG, evals, пайплайны, provenance;
👉 роль СУБД в снижении галлюцинаций, валидации результатов и управлении данными для ИИ.
👉 Ключевая мысль: LLM не заменяют СУБД, а радикально повышают их значимость.

3. Будущие исследовательские вызовы
👉 модульные и компонуемые архитектуры СУБД;
👉 федерация данных и соблюдение регуляторных требований (data residency);
👉 автоматическое управление инфраструктурой в облаке;
👉 «зелёные» и энергоэффективные СУБД;
👉 responsible data management, governance, provenance, fairness;
👉 интеграция СУБД с data science и human-in-the-loop системами.

p.s. от товарищей из АСМ есть видео и текстовый обзор этой статьи. Пока только первой её части

Заявка на доклад конференции PG.Conf.Russia 2026 подана.

Конференция пройдёт 23–24 марта 2026, а значит осталось около 60 дней на доработку доклада.

Ой, январь обещает быть тяжелым.