Обсудили тренд на Native Execution в Data Engineering инструментах и, в частности, потенциал C++ библиотеки Velox для ускорения Presto, Spark и других аналитических систем. Рассмотрели основные и наиболее зрелые на текущий момент интеграции этой библиотеки с существующими популярными OLAP-/ ML-системами.

Каждая компания сегодня живёт в зоопарке технологий: данные хранятся в десятках источников (от PostgreSQL до S3), а запросы приходится собирать из кусочков SQL, Python и R. Между ними — стена несовместимых диалектов, потерянных оптимизаций и бесконечных конекторов. Substrait предлагает элегантное решение — единый универсальный язык описания запросов, понятный и аналитическим DSL, и движкам исполнения.
Substrait превращает SQL-строки в переносимые планы, избавляя от боли диалектов и давая возможность свободно комбинировать системы — от DuckDB и Velox до Spark и DataFusion. Это шаг к экосистеме, где любой frontend может говорить с любым backend без потери смысла и производительности.

Всем привет
9 декабря состоится десятый митап сообщества разработчиков СУБД Database Internals

В рамках мероприятия мы представим доклад, посвященный разработке акселератора запросов Trino на основе Rust, Apache Arrow и DataFusion.

Митап пройдет в рамках ежегодной конференции ИСП РАН на площадке кластера «Ломоносов». Также доступен онлайн формат.

Для участия необходимо зарегистрироваться на официальном сайте ИСП РАН до 6 декабря.

В 16:00 начинаем доклад про переписывание ядра Trino на Rust.

Ссылки на трансляции доступны на странице Database Internals Meetup #10: https://databaseinternals.timepad.ru/event/3698395/

План на сегодня: гирлянды, мандарины и… миграция DWH 🍾

Пока мир делится итогами, мы нашли идеальный материал для последнего рабочего дня этого года. Статья Дмитрия Реймана из Авито «Есть ли жизнь после Vertica или миграция DWH в Lakehouse»

Мы переписали ядро Trino с Java на Rust!

В новой статье рассказываем, почему выбрали Rust и DataFusion в качестве основы решения, с какими сложностями столкнулись и какие очевидные (и неочевидные) преимущества получили в результате.

CedrusData 458-22

Ядро
— Доработан алгоритм планирования JOIN DPHyp — сложные запросы выполняются быстрее
— Экспорт метрик JVM — для мониторинга и точной диагностики

SQL Web UI
— Добавлена возможность параллельного выполнения нескольких запросов в разных вкладках
— Добавлен Zen-режим
— Добавлен таймаут неактивной сессий
— Увеличена отзывчивость редактора при работе с большим количество объектов

Коннекторы
— Добавлен новый File Connector для работы с файлами напрямую без необходимости использования metastore
— Iceberg: добавлена поддержка Hive-синтаксиса для виртуальных view
— Greenplum: улучшен pushdown для JOIN, добавлена возможность скрывать физические партиции из результата листинга
— SQL Server: улучшен pushdown для COUNT(DISTINCT)
— Oracle: улучшена работа имперсонации

Рады встрече на Saint Highload++

22–23 июня приходите обсудить Trino и Iceberg: поделимся опытом, разберем ваши задачи и ответим на вопросы. Наши специалисты будут ждать на стенде VK Tech

18 августа проводим технический митап по архитектуре и развитию платформ данных

В программе:

— архитектура дата-платформы VK Tech: как на Kubernetes реализовали оркестрацию сервисов данных, включая СУБД, и унифицировали их развёртывание, масштабирование и эксплуатацию;
— кейс Авито: как сняли ограничение S3 на производительность аналитической платформы — сделали шардирование таблиц между тремя S3 кластерами и увеличили пиковую скорость чтения с 20 до 60 ГБайт/с;
— круглый стол инженеров RWB и VK Tech: кейс подготовки сегментов для таргетинга на Trino и DataFusion и дискуссия об архитектуре платформ данных — Kubernetes, реальном self-service, контроле безопасности, работе платформы как дата-бэкенда для сервисов и подготовке к агентам и AI-нагрузкам.

🗓 18 августа, сбор гостей в 17:30
📍 Москва, БЦ «Скайлайт», Ленинградский проспект, 39
💻 Можно подключиться онлайн
✍️Необходима регистрация

После программы будет время обсудить доклады и пообщаться с коллегами

23–24 сентября выступаем на SmartData с докладом про S3

Также ждем на стенде VK Tech, чтобы обсудить Cedrus и Trino
Будем рады встрече!