📚 Пап, а это HTAP? — Ну такое, это две разные СУБД в длинном плаще

После статьи Тантора про HTAP внутри PostgreSQL у меня осталось двойственное ощущение.

С одной стороны, тезис статьи довольно простой: связка "PostgreSQL для OLTP + ClickHouse/DuckDB/Parquet через CDC для OLAP" - это НЕ HTAP. Это две разные системы, соединённые трубой передачи данных.

*️⃣Да, это может быть практично.
*️⃣Да, это может работать быстро.
*️⃣Да, это может быть нормальной промышленной архитектурой.
❗️Но это не единый контур.

В строгом смысле HTAP должен давать:
✅ общий логический набор данных;
✅ единую транзакционную видимость;
✅ минимум data movement между OLTP и OLAP;
✅ согласованную SQL-семантику;
✅ изоляцию аналитической нагрузки от транзакционной.

HTAP преподносится как способ убрать сложность: меньше ETL, меньше CDC, меньше рассинхронизации. На практике сложность не исчезает, а переезжает внутрь одной большой СУБД. А это очень рискованная затея...

OLTP - критичный контур. Если он лежит, бизнес теряет деньги (не проходят платежи, не создаются заказы и т.п.)

OLAP тоже важен, но обычно менее критичен. Его можно перегрузить, перестроить или даже временно отключить.

Поэтому разделение OLTP и OLAP - это не только про разные нагрузки. Это про разделение рисков.

Главный вопрос к HTAP должен быть примерно такой:

Как она гарантирует, что аналитика не убьёт OLTP?

Иерархия получается такая

OLTP
  ↓
HTAP / operational analytics
  ↓
OLAP / DWH / Data Lake / BI / ML

HTAP СУБД будут полезны в следующих проектах:
➕ выявление мошенничества (антифрод)
➕ скоринг
➕ управление текущими остатками
➕ Телеком

📚 Дочитал на днях Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems или в простонародье, Кабанчик 2.0.

Из минусов, стало заметно меньше иллюстраций 🧑‍🎨. Большинство схем посвящены взаимодействию компонентов во времени - кто кому отправил сообщение, кто кого реплицировал, кто кого выбрал лидером. Скукота 😒.

Стоит ли сравнивать первое и второе издания, не знаю. Первое я читал лет 5 назад и помню уже довольно смутно, поэтому полноценного сравнения не получится ☹️.

К книге...📖 Забавно, что главная мысль книги, которая не покидала меня на протяжении всего чтения, указана в самом начале:

Не существует универсальной "лучшей" системы данных. Любая технология представляет собой набор компромиссов между надёжностью, масштабируемостью, согласованностью, производительностью, стоимостью сопровождения и другими требованиями

Собственно, вокруг этих компромиссов и строится вся книга.

Где-то в 2023 году мне активно доказывали, что любую современную ИТ-архитектуру можно построить вообще без реляционной СУБД. И, честно говоря, аргументы были весьма убедительными.

Но после чтения книги и наблюдения за развитием экосистемы PostgreSQL у меня возникла противоположная мысль:

А что если современную архитектуру можно построить практически целиком из PostgreSQL и его расширений?

Сегодня PostgreSQL умеет быть не только реляционной СУБД. Полнотекстовый поиск, JSON-документы, векторные индексы, геоданные, временные ряды, очереди сообщений, аналитика - список расширений уже выглядит как каталог отдельных продуктов 🛍.

По сути, плагины серьёзно изменили границы применимости PostgreSQL.☀️

При этом Клепман последовательно показывает другую тенденцию. Одна из ключевых идей последних глав книги заключается в том, что функции, которые раньше были сосредоточены внутри одной СУБД, всё чаще распределяются между специализированными системами: Kafka, Flink, Spark, Elasticsearch, Redis, объектными хранилищами, аналитическими платформами и так далее.

То есть автор скорее выступает за подход:

правильный инструмент для правильной задачи,

а не за попытку решить всё одним продуктом.
И вот тут у меня возник внутренний спор с книгой.

С одной стороны, аргументы Клепмана выглядят очень убедительно. Но всё-же очень хочется однажды спроектировать какой-нибудь видеохостинг или онлайн-магазин целиком на базе PostgreSQL, просто настроив разные экземпляры под разные роли.

Возможно, я живу в иллюзии, что PostgreSQL способен заменить половину современного инфраструктурного стека. А возможно, многие идеи книги выросли из опыта компаний масштаба Netflix, Uber, LinkedIn или Amazon, где объёмы данных и нагрузки принципиально отличаются от того, с чем сталкивается большинство команд в РФ.

Не исключаю, что для огромного числа проектов связки вида:

PostgreSQL + расширения

действительно хватает на долгие годы без необходимости тащить в инфраструктуру десяток дополнительных продуктов.

В любом случае книга отличная 💪. Для меня это по-прежнему одна из лучших книг по архитектуре систем хранения и обработки данных.

❗️Бестселлер❗️ 100 000 проданных экземпляров первого издания 🤩🥳 Это вам, ни это 🤪

Теперь остаётся дождаться русского перевода второго издания. Читать 700+ страниц про распределённые системы на английском оказалось отдельным испытанием 🦈🏖️

📚Introducing Valkey Admin 1.0: Visual Cluster Management for Valkey

GUI Valkey Admin за три месяца прошёл путь: от февральского preview-инструмента до майского релиза 1.0. Довольно быстрый скачок, на мой взгляд. Это в очередной раз говорит нам о том, что комьюните Valkey довольно активное!

Если в первой статье это был скорее визуальный desktop-GUI для оператора Valkey, то в майском анонсе продукт выглядит уже как зачаток полноценного эксплуатационного слоя: desktop-приложение, Docker-образ, Kubernetes deployment, поддержка ElastiCache-сценариев, hot key detection, command logs, key browser и кластерная топология.

Самое интересное здесь это общий вектор развития ↗️. Valkey постепенно строит вокруг себя не только сервер и модули, но и экосистему инструментов для production-эксплуатации: диагностика, визуализация, работа с ключами, анализ горячих участков, понимание того, на каком узле кластера возникла проблема.

При этом Valkey Admin пока не выглядит как замена Prometheus/Grafana или полноценная enterprise-консоль. Скорее это официальный операторский инструмент, который закрывает разрыв между valkey-cli и тяжёлым observability-стеком.

Valkey начинает оформляться не просто как форк Redis, а как самостоятельная платформа с собственным эксплуатационным контуром. Конкурент RedisInsignt во всей красе с важным отличием в политике лицензирования.

Обязательно включу Valkey Admin в новый запуск курса по Redis/Valkey на платформе DevHands.

На днях смотрел небольшой обзор наших политических блогеров и меня сильно зацепила следующая гениальная идея некоторых западных стран.

🔥Идея: для иностранных граждан обучение в ВУЗах по некоторым направлениям совершенно бесплатно! И бакалавриат и магистратура! Всё бесплатно 👀. Дополнительно, таким студентам еще выплачивается повышенная стипендия и даются льготы на жилье 🤑.

Круто, согласитесь! 💪

Однако после обучения если такой студент желает остаться в стране, то это обучение будет считаться ПЛАТНЫМ 😨! И на уже бывшего студента автоматически вешается кредитный долг😱! Дальше он работает и выплачивает его 👮‍♀️.

А если человек уезжает обратно, то он максимально лоялен стране, которая его "приютила" на все 6 лет обучения и "дула в попку" 🌬! Дальше сами можете додумать...

Гениально! Win-Win с любой стороны!

В общем, к чему это всё. Меня периодически спрашивают про зарубежное образование и хвастаются мне о том, что они там на халяву учатся в той же Германии, Австрии или даже в США. Мол, круто?! Конечно круто 💪. Однако, везде есть свои нюансы 😈.

⚠️Обязательно читайте договора на обучении!⚠️
Нет ли там пункта о том, что что-то бесплатное сейчас при некоторых условиях становится платным 👮‍♀️ Как следствие, огромным финансовым бременем...💸

📚 Dell и Kioxia разработали первый сервер на 9,8 ПБ

Dell и Kioxia представили сервер сверхвысокой плотности хранения: Dell PowerEdge R7725xd с флеш-памятью до 9,8 ПБ в форм-факторе 2U

Dell PowerEdge R7725xd может комплектоваться 40 NVMe SSD Kioxia LC9 в форм-факторе E3.L, каждый объёмом до 245,76 ТБ. В сумме получается почти 9,8 ПБ флеш-хранилища в одном 2U-сервере. Платформа рассчитана на Enterprise-сегмент: AMD EPYC 9005 Turin, до 3 ТБ DDR5, PCIe 5.0, сетевые адаптеры до 400 Гбит/с, управление через Dell iDRAC

Ацкий треш 😱! Двух юнитовый сервер с 9.8 петабайтным хранилищем 🤯 ! Это один сервер! 1️⃣

Зачем нужны эти распределенные системы? Кластера балансировки нагрузки и т.п.? Можно спокойно масштабироваться вертикально и горя не знать! 😎

Западный рынок поражает своими инновациями для Бизнеса. Эпоха горизонтального масштабирования ради производительности - мертво 🪦. HA-кластеры наше будущее! 🚀 NLB можно на свалку истории отправлять 🚮

Я конечно чуть передергиваю 😅, но тренд на лицо.

📚 WD представила HDD с постквантовой криптографией ML-DSA-87 на уровне прошивки

Предыдущий пост и текущая новость подтолкнули меня к идеи посмотреть, какими функциями обладают современные диски?

Когда мы говорим о дисках для СУБД, обычно вспоминаем объём, IOPS, latency и ресурс записи. Но для DBA важны и другие параметры: MTBF (время наработки на отказ), корректность записи, восстановление после сбоев и доверие к данным.

👉 Одна из ключевых функций современных дисков - PLP, защита от потери питания. Если питание пропало в момент записи, накопитель должен корректно сохранить данные из volatile cache и не нарушить ожидания СУБД от fsync. Особенно это важно для WAL/redo log.

👉 Вторая особенность - аппаратное шифрование и self-encrypting drives. Для DBA это вопрос хранения персональных данных, требований ИБ, безопасного вывода дисков из эксплуатации и быстрого crypto erase: уничтожили ключ и сказали всем данным, пока 🕊!

👉 Отдельный тренд - защита прошивки накопителя. У диска есть собственный контроллер, firmware и цепочка доверия. Поэтому появляются Secure Boot, подписанные обновления прошивки, защита от rollback и даже постквантовые подписи firmware.

👉 Есть и менее заметные функции: thermal throttling, энергоэффективность, QoS и resource isolation. Для базы данных важны не только пиковые IOPS, а стабильное поведение под нагрузкой. Перегрев SSD или нестабильная p99 latency могут проявиться как задержки commit, долгие checkpoint и «странные тормоза» запросов. Если честно я даже примерно не понимаю как это технология работает. Надо читать матчасть 🥸

Для меня стало откровением, что все функции по шифрованию данных и даже постквантовому шифрованию отдали дискам напрямую 🤨. Один встроенный AES-256 чего стоит. С одной стороны - это очень удобно и производительно 👍. С другой, появляется чувство, что тебе опять нужно доверять какому-то "черному ящику" 😨. Насколько хорошо реализовано это шифрование? Есть ли возможности у производителя взломать зашифрованный диск таким образом? 🤔

Короче, перенос функции шифрования на диски не снимает с меня чувство тревоги за мои данные🫤. Я уверен на 99.99%, что при желании производитель или прошаренные хакеры легко меня взломают 😱. Я опять чересчур паникую. Self-Encrypting Drives (SED) - хороший нижний слой защиты, особенно для списания оборудования, физической кражи диска и crypto erase. Но это не замена полноценной модели безопасности данных.

Диск стал умнее. Но чем умнее диск, тем важнее понимать, кому именно мы доверяем свои данные.