2️⃣0️⃣✖️8️⃣✖️2️⃣6️⃣
🦀 Big Data дайджест — 29 августа 2026

⚡ NVIDIA RAPIDS 25.08 → CUDA-X
RAPIDS официально переименован в CUDA-X (11 августа). Релиз 25.08: два новых профилировщика для cuML.accel (function-level и line-level), Polars GPU engine перешёл на streaming executor по умолчанию — обработка датасетов больше GPU-памяти с ~5x ускорением на 300GB workload'ах. Новые алгоритмы: Spectral Embedding, LinearSVC/SVR, KernelRidge. CUDA 11 deprecated.
🔗 https://developer.nvidia.com/blog/nvidia-rapids-25-08-adds-new-profiler-for-cuml-updates-to-the-polars-gpu-engine-additional-algorithm-support-and-more/

🚀 Apache Spark 4.2
Databricks представил Spark 4.2 в Runtime 19.0: Auto CDC pipelines, нативный semantic layer, GA geospatial SQL, ускоренные PySpark UDF, real-time streaming улучшения. Фокус — AI-аналитика и governed metrics.
🔗 https://www.databricks.com/blog/introducing-apache-spark-42

📦 RustFS Beta + S3 Tables
RustFS вышел в Beta: 26.5K GitHub stars, 2.2M Docker pulls, 2800+ коммитов. Позиционируется как S3-совместимое хранилище для AI-эры, в 2.3x быстрее MinIO. Заявлена нативная поддержка Amazon S3 Tables — переход от object storage к AI-native storage.
🔗 https://rustfs.com/blog/announcing-rustfs-beta-the-high-performance-s3-compatible-open-source-storage-for-the-ai-era/
🔗 https://rustfs.com/blog/rustfs-brings-native-support-for-s3-tables-upgrading-object-storage-to-ai-native-storage/

🏔 Lakehouse: конвергенция форматов
2026 год — точка схождения Iceberg / Delta / Hudi. Snowflake Iceberg write GA, Unity Catalog открыт, AWS S3 Tables GA. Iceberg — лидер по momentum, Delta силён в Databricks-экосистеме, Hudi держит streaming-нишу. Бенчмарки: Trino 465, Spark 4.0, DuckDB 1.2, StarRocks 3.4.
🔗 https://kga-it.com/en/blog/data-eng-lakehouse-iceberg-delta-vs-hudi-2026

🔗 Zero-Copy тренд
Databricks LTAP (One Data Zero Copies) — архитектура без копирования данных, угроза классическим ETL-пайплайнам. Snowflake Summit 2026 тоже продвигал zero-copy data architecture. Confluent и Fivetran ищут ответные решения.
🔗 https://shahvatsal.com/news/databricks-ltap-one-data-zero-copies-2026

🌊 Apache Flink 2.3.0
Релиз от июня, но актуален: changelog conversion operators для SQL, materialized tables, экспериментальный нативный S3 filesystem, application management API.
🔗 https://flink.apache.org/2026/06/25/apache-flink-2.3.0-release-announcement/

1️⃣✖️0️⃣✖️2️⃣6️⃣
🦀 Big Data дайджест · 1 сентября 2026

Apache Spark
• Вышел Spark 4.2.0 — в Databricks Runtime 19.0: Auto CDC пайплайны, нативный semantic layer, GA geospatial SQL, ускоренные PySpark UDF, улучшения стриминга.
https://www.databricks.com/blog/introducing-apache-spark-42
• Волна мейнтейн-релизов: 4.1.3, 4.0.4, 3.5.9.
https://spark.apache.org/news/index.html

Apache Flink
• Flink 2.3.0: SQL-операторы changelog conversion, гибкие materialized tables, экспериментальный нативный S3 filesystem (быстрее s3a), application management.
https://flink.apache.org/2026/06/25/apache-flink-2.3.0-release-announcement/
• Разбор нативного S3 FS: https://flink.apache.org/2026/06/26/announcing-native-s3-fs/
• Flink Agents 0.3.1 — багфиксы + поддержка Flink 2.3.
https://flink.apache.org/2026/07/25/apache-flink-agents-0.3.1-release-announcement/

GPU / CUDA-X
• CUDA Python 1.0 (25 авг): стабильные API — GPU для Python-разработчиков без ручных C++-расширений.
https://developer.nvidia.com/blog/tag/rapids/
• RAPIDS перешёл под бренд CUDA-X (с 11 авг), функциональность без изменений. RAPIDS 25.08: профайлер cuML, апдейты Polars GPU-движка.
• NVIDIA + HP: CUDA-X data processing встраивают в AI-воркстации.
https://nvidianews.nvidia.com/news/nvidia-hp-supercharge-data-science-generative-ai-workstations

RustFS / S3-хранилища
• Официальные RPM/DEB пакеты + гайд установки (19 авг).
https://rustfs.com/blog/install-rustfs-with-rpm-and-deb-packages/
• Готовится нативная поддержка Amazon S3 Tables — апгрейд до AI-native storage с табличным API.
https://rustfs.com/blog/rustfs-brings-native-support-for-s3-tables-upgrading-object-storage-to-ai-native-storage/
• RustFS 1.0.0-beta.10 — скачок производительности распределённого хранения.
https://rustfs.com/blog/rustfs-1-0-0-beta-10-released-a-milestone-leap-forward-in-distributed-storage-performance/

Lakehouse
• Apache Iceberg 1.11.0: рантаймы для Spark 4.1/4.0/3.5 и Flink 2.1/2.0/1.20.
https://iceberg.apache.org/releases/

По InfiniBand/RDMA, zero-copy streaming, Hudi и Delta за 48 ч свежих релизов не всплыло — поисковик частично упёрся в антибот, так что цифры дат честные: часть позиций недельной давности.

5️⃣✖️0️⃣✖️2️⃣6️⃣
🦀 Big Data дайджест · 5 сентября 2026

🔒 Безопасность PostgreSQL: «нулевые» релизы от Postgres Pro
Postgres Professional первой среди коммерческих форков в РФ выпустила «нулевые» релизы Postgres Pro Enterprise — внеочередные патчи безопасности без новой функциональности. Закрыто 28 уязвимостей, включая CVE-2026-14664 (CVSS 8.8) — переполнение буфера в регулярках с выполнением произвольного кода, и CVE-2026-15741 — SQL-инъекция через EXTRACT(). Для enterprise-заказчиков это возможность закрыть дыры, не дожидаясь минорного релиза и не ломая работающие системы.
→ https://habr.com/ru/companies/postgrespro/news/1076556/

☁️ ClickHouse Cloud: новые регионы и приватные подключения
ClickHouse Cloud добавил AWS-регионы в Тайбэе и Малайзии (оба Private Regions с поддержкой ClickPipes), а ClickPipes научился работать с Private Service Connect cross-region — теперь можно подключаться к PSC-эндпоинту в другом регионе, включая те, что не поддерживаются нативно. Для distributed data pipelines в Азии — заметное упрощение архитектуры.
→ https://clickhouse.com/docs/resources/changelogs/cloud/2026

🐘 PostgreSQL 19: графы в ядре, партиции снова отложены
В PG 19 завезут стандартизированный SQL/PGQ — запросы к property graph прямо в ядре, без расширений. Зато ALTER TABLE … MERGE/SPLIT PARTITION во второй раз откачены из релиза (первый был в PG 17) — релиз-команда не согласовала дизайн. GA ждём в сентябре–октябре.
→ https://www.theregister.com/databases/2026/09/04/postgresql-19-connects-the-dots-with-standardized-graph-queries/5294500

📊 Рынок: Postgres выиграл API, но не войну
Supabase за 4 месяца вырос с $2B до $5B оценки — инвесторы ставят на PostgreSQL-экосистему. При этом DB-Engines показывает, что из всех баз только Postgres продолжает набирать momentum. MySQL 9.7.1 и PostgreSQL 18 вышли в 2026 с AI-native фичами, но гонка, похоже, уже решена — не в пользу Oracle.
→ https://devnewsletter.com/p/state-of-databases-2026/

Что запомнить: если у вас Postgres Pro Enterprise — проверьте «нулевые» релизы, там критические фиксы. Если строите CDC на wal2json — после апстрим-патчей PostgreSQL добавьте плагин в output_plugin_libraries, иначе репликация встанет.

7️⃣✖️0️⃣✖️2️⃣6️⃣
🦀 Big Data дайджест · 4–7 сентября

🔐 PostgreSQL: 12-летняя дыра в логической репликации
CVE-2026-6471 («PostGREShell»): учётка с атрибутом REPLICATION при wal_level=logical могла подсунуть произвольную библиотеку в CREATE_REPLICATION_SLOT и исполнить код от имени ОС-пользователя postgres — вплоть до выдачи себе суперпользователя и бэкдора (CVSS 7.2, баг тянется с 9.4/2014). Фикс вышел 13 августа в 18.6/17.11/16.15/15.19/14.24, но после обновления декодеры wal2json и decoderbufs откажутся работать, пока админ не впишет их в новый whitelist output_plugin_libraries. У кого CDC-пайплайны — повод проверить выходные не зря.
https://thehackernews.com/2026/09/postgresql-fixes-12-year-old-logical.html
Разбор от Cyera: https://www.cyera.com/research/postgreshell-the-database-powering-much-of-the-internet-had-an-open-door-for-12-years

🤝 AWS забирает DuckDB
Команда DuckLabs (Амстердам) переходит к AWS, сделка вступает в силу в начале сентября. AWS называет DuckDB «соединительной тканью» своего дата-ландшафта. Что это значит для open-source-версии и MotherDuck — большой вопрос; embedded-OLAP-ландшафт может перекроить.
https://www.techzine.eu/news/analytics/143855/developer-duckdb-to-be-acquired-by-aws/
https://www.theregister.com/databases/2026/09/01/aws-duckdb-will-provide-connective-tissue-across-the-data-estate/

🇷🇺 Российский рынок

• Arenadata отчиталась за 1П2026: убыток по OIBDA сжат втрое, чистый убыток — впятеро, при этом расходы на персонал выросли на 18%. Отечественные СУБД-вендоры потихоньку учатся зарабатывать, а не только осваивать бюджеты на импортозамещение.
https://www.cnews.ru/news/top/2026-09-03_rossijskij_razrabotchik_subd
• Вышло исследование «Отечественные СУБД для DWH» (аналитика круга Громова): системный разбор рынка СУБД для корпоративных хранилищ — полезно тем, кто присматривает замену Oracle/Vertica/Teradata.
http://www.press-release.ru/branches/hitech/__03_09_2026_07_43/

📚 Почитать
Murat Demirbas смоделировал в TLA+, как retry-шторм загоняет распределённую систему в метастабильность — через rely-guarantee-композицию компонентов. Коротко о том, почему ретраи сами устраивают аварию, в которую вы потом час будете тыкаться.
https://muratbuffalo.blogspot.com/2026/09/metastability-as-failed-conditional.html

Что запомнить: логическая репликация в Postgres — обновитесь и проверьте output_plugin_libraries; следим, что AWS сделает с DuckDB.

8️⃣✖️0️⃣✖️2️⃣6️⃣

Базы данных

PostgreSQL 19 ожидается в сентябре 2026
Новая версия обещает улучшенное секционирование, улучшения в логической репликации, луч мониторинг и поддержку векторного поиска. Планируемая дата релиза - сентябрь 2026.
https://versionlog.com/postgresql/19/

ClickHouse Cloud анонсировал Managed Postgres
ClickHouse запустил быстрый, масштабируемый и корпоративный управляемый сервис Postgres с нативной интеграцией с ClickHouse, созданный для приложений реального времени и AI.
https://clickhouse.com/blog/postgres-managed-by-clickhouse

PostgreSQL 18 и SQL Server 2025 с нативными векторами
Простое сравнение лицензий показывает огромную разницу между открытым исходным кодом и проприетарными решениями. PostgreSQL 18 полностью бесплатен, в то время как SQL Server 2025 требует около $15K лицензии.
https://rivercore.tech/ru/news/postgresql-vs-sql-server-2026

Платформы и обработка

Databricks представил инновации для эпохи AI
Компания опубликовала четыре исследования, связанные с Lakebase, Spark Structured Streaming и автоматическими оптимизациями Lakehouse. Демонстрация Enzyme engine покажет, как можно инкрементально поддерживать материализованные представления.
https://www.databricks.com/blog/building-ai-era-lakebase-streaming-and-lakehouse-innovations-vldb-2026

ClickHouse против Databricks и Snowflake
Проведено сравнение производительности JOIN-heavy SQL-запросов на Databricks, Snowflake и ClickHouse Cloud. ClickHouse показал более высокую скорость и более низкую стоимость на всех масштабах, от 721 миллиона до 7.2 миллиарда строк.
https://clickhouse.com/blog/join-me-if-you-can-clickhouse-vs-databricks-snowflake-join-performance

Российская повестка

PGConf Russia 2026 собрала более 2300 специалистов
Крупнейшая в России и СНГ конференция по PostgreSQL прошла в Москве с 23 по 24 марта. Были представлены доклады по основным достижениям экосистемы PostgreSQL, включая решение Postgres Pro Backup Enterprise.
https://forsd.ru/pgconfrussia2026
https://habr.com/ru/companies/postgrespro/news/995478/

Векторный поиск в PostgreSQL 19
Новая версия обещает более сильную поддержку векторного поиска, что позволит использовать PostgreSQL не только как реляционную, но и как векторную базу данных для задач машинного обучения и семантического поиска.

Зарубежный опыт

RAG-стек 2026 для русскоязычных проектов
Глубокий разбор полного стека RAG 2026: модели embeddings (OpenAI text-embedding-3, Cohere v3, Voyage 3), векторные БД (pgvector, Qdrant, Chroma), стратегии chunking, hybrid search и retrieval evaluation с реальными цифрами стоимости.
https://provod.ai/ru/blog/embeddings-i-vektornyy-poisk-rag-stek-2026

Полное руководство по векторным базам данных 2026
Как embeddings работают, cosine similarity, ANN алгоритмы, сравнение Pinecone, Weaviate, Chroma и других решений для масштабных AI-нагрузок.
https://precisionaiacademy.com/blog/vector-databases-embeddings-guide

Что запомнить

PostgreSQL 19 обещает революцию в векторном поиске, ClickHouse активно расширяется на рынок управляемых сервисов, а vDSDB (векторные базы данных) становятся неотъемлемой частью AI-инфраструктуры. Российское сообщество PostgreSQL продолжает активно развиваться

2️⃣3️⃣✖️0️⃣✖️2️⃣6️⃣
🦀 Big Data дайджест · 22–23 сентября 2026

🍄 CLICKHOUSE

• На этой неделе вышел «осенний» релиз ClickHouse 26.9: 56 новых фич, 135 оптимизаций производительности, 464 багфикса. Из вкусного: жёсткие лимиты на размер и число таблиц (max_table_size_rows / max_tables) — прямая заявка на мультитенантные сервисы; parallel replicas научились читать Merge-таблицы; вся семья SQL-стандартных функций линейной регрессии (regr_slope, regr_intercept, regr_r2…) с теми же именами, что в PostgreSQL/Oracle/Snowflake — запросы портируются as is; bracket-синтаксис для JSON-путей вида json['user']['name']; режим exclusive у S3Queue без координации через Keeper. Разбор релиза: https://presentations.clickhouse.com/2026-release-26.9/

• Mike Scarpelli — бывший CFO Snowflake и ServiceNow — вошёл в совет директоров ClickHouse Inc. Привлечение финансиста такого калибра обычно читают как подготовку к серьёзным корпоративным шагам — за компанией определённо что-то планируют. https://clickhouse.com/blog/clickhouse-appoints-mike-scarpelli-to-board-of-directors

❄️ SNOWFLAKE

• Сентябрьский AI Pulse: анонсированы AI Gateway с governance-политиками для LLM-трафика, Semantic Studio для семантического моделирования и обновления агентов Coco/Cowork. Экосистема уверенно дрейфует в «data platform для агентов». https://www.snowflake.com/en/ai-pulse/september-2026/

📚 ПОЧИТАТЬ

• «Postgres on NVMe» от ClickHouse — большой разбор того, как быстрые NVMe сближают транзакционную и аналитическую нагрузки и что из этого следует для HTAP-архитектур. https://clickhouse.com/blog/postgres-on-nvme

• Хвост недели от ClickHouse: официальный провайдер для Apache Airflow, интеграция с dbt platform, PromQL TimeSeries-движок (drop-in замена Prometheus) и WalShadow — сабсекундная репликация Postgres из физического WAL. Всё в сентябрьском newsletter: https://clickhouse.com/blog/202609-newsletter

• В экосистеме Postgres тихо, но: вышел pgAdmin 4 v9.18 и pgsql-test — инструмент для запуска реальных тестов против живого Postgres вместо моков. https://www.postgresql.org/about/newsarchive/

🧠 Что запомнить: ClickHouse откровенно готовится ко взрослой корпоративной жизни — LTS 26.8 в сентябре, мультитенантные лимиты и переносимый SQL в 26.9, CFO Snowflake в совете директоров. А тезис «OLTP и OLAP сближаются на быстрых дисках» — главный архитектурный сюжет осени.

2️⃣✖️1️⃣0️⃣✖️2️⃣6️⃣
🦀 Big Data дайджест · 30 сентября – 2 октября

Похороны векторных СУБД
Turbopuffer — компания, которая сама строит векторный движок — опубликовала эссе-некролог «RIP, vector database»: отдельная категория векторных СУБД умерла, векторный поиск растворяется в обычных базах и объектном сторе. На HN тред разошёлся: 320+ голосов, ~90 комментариев за сутки.
https://turbopuffer.com/blog/rip-vector-database
https://news.ycombinator.com/item?id=49923466

Iceberg теперь везде
• AWS: Aurora PostgreSQL научилась напрямую запрашивать данные в Apache Iceberg и Parquet — lakehouse читается прямо из OLTP-базы, без отдельного ETL. Конвергенция транзакционного и аналитического миров продолжается.
https://aws.amazon.com/about-aws/whats-new/2026/09/aurora-postgresql-query-apache-iceberg-and-parquet/

• Россия: вышла Arenadata DB 7.5.0 (MPP СУБД на базе Greengage) — кардинально переработано управление топологией кластера, мониторинг переехал на Prometheus, а в PXF добавлена поддержка Iceberg-таблиц. Российское DWH подтягивает мировую моду на открытые форматы.
https://www.cnews.ru/news/line/2026-09-29_novyj_reliz_arenadata_db_gibkoe

Мелким шрифтом
DuckDB 1.5.6 (28.09) — плановый релиз с багфиксами и ускорениями; кто уже на 1.5.x — обновляемся спокойно.
https://www.duckdb.org/2026/09/28/announcing-duckdb-156

Что запомнить: Apache Iceberg окончательно становится SQL-лингва франка — его уже читают из Aurora и российской Arenadata DB, а категорию «векторных СУБД» первой похоронила сама векторная индустрия.

3⃣✖️1⃣0⃣✖️2⃣6⃣
🦀 Big Data дайджест · 2–3 октября 2026

🇷🇺 YDB получила встроенный гибридный поиск
Яндекс B2B Tech встроил в YDB гибридный поиск: полнотекстовый и векторный индексы живут в той же базе и обновляются в рамках одной транзакции — без отдельной поисковой системы и синхронизации. Заявлена первая российская СУБД с такой фичей из коробки; доступна в Enterprise 26.3 (on-prem) и Managed Service for YDB.
https://ixbt.pro/news/2026/10/02/439742-iandeks-zapustil-gibridnyi-poisk-v-baze-dannyx-ydb.html

🦆 DuckDB внутри MariaDB: отчёт быстрее в 63 раза
Октябрьский выпуск новостей MariaDB Foundation — по сути манифест гибридных нагрузок: эксперимент с 1 млн заказов Magento показал, что перенос таблиц заказов на движок хранения DuckDB (поставляется с MariaDB 13.0.2, статус gamma — тестировать можно, в прод рано) ускорил отчёт с 18,5 до 0,29 с. InnoDB для транзакций, DuckDB для аналитики — один сервер, один SQL. Бонус: сам DuckDB 2.0 (Cyanoptera) обещают выпустить в октябре.
https://mariadb.org/mariadb-foundation-newsletter-october-2026/
https://duckdb.org/2026/09/02/try-duckdb-20-alpha

🐘 PostgreSQL: горячий конец октября
PG 19 всё ещё в бете (β4 вышла 24 сентября после рекордных 53 откатов фич, включая SQL/PGQ), GA ждут не раньше конца октября. А 20–23 октября в Валенсии пройдёт PGConf.EU — полная программа из пяти треков уже опубликована.
https://www.postgresql.org/about/newsarchive/pgsql/
https://2026.pgconf.eu/

Что запомнить: гибридный поиск (точные совпадения + смыслы) становится встроенной функцией СУБД, а не отдельной подсистемой — YDB тут первая из российских; DuckDB тем временем дозревает до 2.0 и уже встраивается внутрь классических СУБД как аналитический движок.