Всем привет. Мы рады представить релиз CedrusData 458-12. Последние два месяца мы были сосредотоены на новом функционале каталога: ролевая модель доступа к объектам Iceberg, запуск maintenance операций Iceberg по расписанию, web-интерфейс CedrusData Catalog

Iceberg:
- ❗️Добавлена ролевая модель доступа к объектам Iceberg. Пользователи CedrusData Catalog теперь могут задавать права доступа, которые будут универсально применены ко всем движкам, работающим с данными Iceberg. Решение позволяет избавиться от необходимости использования сторонних решений для управления доступом
- ❗️Добавлена поддержка запуска maintenance операций по расписанию. Теперь вы можете задать cron выражение, после чего CedrusData Catalog начнет периодически обслуживать объекты Iceberg без необходимости использования внешних оркестраторов
- ❗️CedrusData Catalog получил новый современный web-интерфейс

SQL Server:
- Добавлена поддержка pushdown типа данных UNIQUEIDENTIFIER

Release notes:
- CedrusData: https://docs.cedrusdata.ru/458-12/release/release-458-12.html
- CedrusData Catalog: https://docs.cedrusdata.ru/catalog/458-12/release/release-458-12.html

Новый митап по Lakehouse уже в работе!

Ищем тех, кто готов рассказать про свой опыт использования Trino и Iceberg. Напишите о своем кейсе здесь.

Кстати, поддержать развитие канала и чата могут подписчики с Telegram Premium, отдав свой голос за нас.
Ждем вашей поддержки 🙏

Будем рады встретиться на конференции Smart Data уже в это воскресенье!

Владимир Озеров расскажет о перспективах развития Apache Iceberg:

🔹Планы развития (v3, безопасность, материализованные представления, scan planning, статистики и т. п.).
🔹Изменение роли REST-каталогов в экосистеме Iceberg.
🔹Вызовы и конкурентный ландшафт (near-real time сценарии, конкуренция с Paimon/Delta/DuckLake и т. п.).
🔹Состояние сообщества и его влияние на скорость развития и долгосрочные перспективы Apache Iceberg.

А пока делимся записью его прошлого выступления

Вы нас просили — мы сделали: настоящий бенчмарк lakehouse-движков!

Шесть конкурсантов:
клан Presto (CedrusData, Presto, Trino) против клана Impala (Doris, Impala, StarRocks).
DuckDB в качестве арбитра.

🏆Победит сильнейший, остальные отправятся на свалку истории! Правда, будет только один SQL-запрос, один узел и много database internals.

Обсудили тренд на Native Execution в Data Engineering инструментах и, в частности, потенциал C++ библиотеки Velox для ускорения Presto, Spark и других аналитических систем. Рассмотрели основные и наиболее зрелые на текущий момент интеграции этой библиотеки с существующими популярными OLAP-/ ML-системами.

Каждая компания сегодня живёт в зоопарке технологий: данные хранятся в десятках источников (от PostgreSQL до S3), а запросы приходится собирать из кусочков SQL, Python и R. Между ними — стена несовместимых диалектов, потерянных оптимизаций и бесконечных конекторов. Substrait предлагает элегантное решение — единый универсальный язык описания запросов, понятный и аналитическим DSL, и движкам исполнения.
Substrait превращает SQL-строки в переносимые планы, избавляя от боли диалектов и давая возможность свободно комбинировать системы — от DuckDB и Velox до Spark и DataFusion. Это шаг к экосистеме, где любой frontend может говорить с любым backend без потери смысла и производительности.

Всем привет
9 декабря состоится десятый митап сообщества разработчиков СУБД Database Internals

В рамках мероприятия мы представим доклад, посвященный разработке акселератора запросов Trino на основе Rust, Apache Arrow и DataFusion.

Митап пройдет в рамках ежегодной конференции ИСП РАН на площадке кластера «Ломоносов». Также доступен онлайн формат.

Для участия необходимо зарегистрироваться на официальном сайте ИСП РАН до 6 декабря.

В 16:00 начинаем доклад про переписывание ядра Trino на Rust.

Ссылки на трансляции доступны на странице Database Internals Meetup #10: https://databaseinternals.timepad.ru/event/3698395/

План на сегодня: гирлянды, мандарины и… миграция DWH 🍾

Пока мир делится итогами, мы нашли идеальный материал для последнего рабочего дня этого года. Статья Дмитрия Реймана из Авито «Есть ли жизнь после Vertica или миграция DWH в Lakehouse»

Мы переписали ядро Trino с Java на Rust!

В новой статье рассказываем, почему выбрали Rust и DataFusion в качестве основы решения, с какими сложностями столкнулись и какие очевидные (и неочевидные) преимущества получили в результате.

CedrusData 458-22

Ядро
— Доработан алгоритм планирования JOIN DPHyp — сложные запросы выполняются быстрее
— Экспорт метрик JVM — для мониторинга и точной диагностики

SQL Web UI
— Добавлена возможность параллельного выполнения нескольких запросов в разных вкладках
— Добавлен Zen-режим
— Добавлен таймаут неактивной сессий
— Увеличена отзывчивость редактора при работе с большим количество объектов

Коннекторы
— Добавлен новый File Connector для работы с файлами напрямую без необходимости использования metastore
— Iceberg: добавлена поддержка Hive-синтаксиса для виртуальных view
— Greenplum: улучшен pushdown для JOIN, добавлена возможность скрывать физические партиции из результата листинга
— SQL Server: улучшен pushdown для COUNT(DISTINCT)
— Oracle: улучшена работа имперсонации

Рады встрече на Saint Highload++

22–23 июня приходите обсудить Trino и Iceberg: поделимся опытом, разберем ваши задачи и ответим на вопросы. Наши специалисты будут ждать на стенде VK Tech

18 августа проводим технический митап по архитектуре и развитию платформ данных

В программе:

— архитектура дата-платформы VK Tech: как на Kubernetes реализовали оркестрацию сервисов данных, включая СУБД, и унифицировали их развёртывание, масштабирование и эксплуатацию;
— кейс Авито: как сняли ограничение S3 на производительность аналитической платформы — сделали шардирование таблиц между тремя S3 кластерами и увеличили пиковую скорость чтения с 20 до 60 ГБайт/с;
— круглый стол инженеров RWB и VK Tech: кейс подготовки сегментов для таргетинга на Trino и DataFusion и дискуссия об архитектуре платформ данных — Kubernetes, реальном self-service, контроле безопасности, работе платформы как дата-бэкенда для сервисов и подготовке к агентам и AI-нагрузкам.

🗓 18 августа, сбор гостей в 17:30
📍 Москва, БЦ «Скайлайт», Ленинградский проспект, 39
💻 Можно подключиться онлайн
✍️Необходима регистрация

После программы будет время обсудить доклады и пообщаться с коллегами

23–24 сентября выступаем на SmartData с докладом про S3

Также ждем на стенде VK Tech, чтобы обсудить Cedrus и Trino
Будем рады встрече!