Всем привет!

У нас сегодня важная дата — ровно год назад мы вышли в опенсорс! ✨ за год у нас уже более 1700 звёзд и 100 форков на GitHub, а также вы — наше большое сообщество пользователей и контрибьюторов. Хотим сказать огромное спасибо — что пользуетесь, задаете вопросы, приносите issues и всячески поддерживаете. Дальше — больше!

А ещё мы пришли с подарками — новой версией YTsaurus и ещё несколькими ключевыми обновлениями. О них вы можете прочитать в блоге (да, теперь у нас есть блог!) на нашем сайте.

Рассказывайте о нас друзьям и коллегам, подписывайтесь на наш YouTube и ставьте звёзды — будем очень рады.

📆 23 апреля, с 09:00 до 19:00, Москва.
Отраслевая дата-конференция для CDO и DWH-архитекторов.
Ключевая тема — бизнес-результаты, полученные благодаря работе с данными и проектам, реализованным на российском ПО. Спикеры: ВТБ, «Газпромбанк», «Норникель», «Вкусно — и точка», «Детский мир», «Бургер Кинг», «Почта России», «Тинькофф Банк» и Unilever.
📌 Также на мероприятии:
— тренды в работе с данными;
— обзор функционала и roadmap развития дата-платформы Arenadata;
— дискуссия по проблематике проектов, реализованных в облаках (с участием VK Cloud Solutions, Cloud.ru, «Облако КРОК», Beeline Cloud, CloudMTS и Т1 Cloud).
— обзор состояния и перспектив рынка данных в России.

🏢 Место: отель Hyatt Regency Moscow Petrovsky Park.
🎦 Гибридный формат (онлайн + офлайн)
➡️ Регистрация здесь

Как системному аналитику DWH попасть в Тинькофф? О чем спросят на собеседовании? Какие задачи предложат решать?

Все ответы — на Tinkoff DWH Connect. В апреле пройдут три онлайн-мероприятия для системных аналитиков DWH. Уровень мидл и выше.

Вот что будет:
— Weekend Offer, 20 и 21 апреля. Можете попасть в команду Тинькофф за пару дней. Пройдете все этапы собеседования за выходные — и, если все понравится, оффер ваш.

Посетите все три ивента или сразу приходите на собеседование.

Зарегистрируйтесь до 17 апреля. Детали тут.

erid:2VtzqwiLKyh
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

Как Kubernetes захватывает Data-индустрию, Trino и dbt в продакшн, как запустить риал-тайм антифрод за две недели — об этом поговорим на VK Data Meetup

⏰23 мая, 15:00-19:00 по МСК
📍Офис VK и онлайн
⚡️Бесплатная регистрация: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx

VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. Майский митап посвящен актуальным архитектурным паттернам платформ данных и технологиям, которые позволят их реализовать.

Речь пойдет о DWH, Data Lake, Data LakeHouse и Data Mesh — где они применяются и с какими подводными камнями можно встретиться на практике. Узнаете, как Kubernetes незаметно, но уверенно захватывает индустрию, почему в коммьюнити все чаще говорят про Trino, как интегрировать CI/CD в работу с данными.

Мероприятие будет интересно дата-инженерам, специалистам по DWH, администраторам, архитекторам и разработчикам.

Посмотреть полную программу и зарегистрироваться: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx

Внимание розыгрыш двух билетов на https://t.me/data_events/2946!

Уже участвует 4 человек.
Для присоединения к розыгрышу, нажми на кнопку ниже.

14-15 мая - Iceberg Summit. Iceberg формат для хранения данных в озере данных lake house. Если вы работаете с данными, то вы должны знать один из 3х форматов delta, iceberg, hudi.

Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.

13 июня будет Trino Fest, у них есть онлайн сессия.

Trino - SQL движок, который умеет читать данные из других баз данных, файлов, NoSQL баз, sftp, и еще много чего. Полностью открытое ПО. Я знаю, что можно использовать sql движок от Clickhouse/Duckdb (без функции хранения данных в базу), но деталей не знаю.

Я даже специально зашел на любимый сайт своей молодости HH (headhunter ru) и поискал “trino”, и нашел довольно много вакансий Инженера Данных с Trino. Также trino используются в отечественном облаке.

Идеальный стек мог бы быть в облаке или on-premise:
- Trino - SQL Engine, строим Iceberg Data Lake
- Нужно найти где хранить данные, в зависимости от возможностей
- dbt - бизнес логика в SQL
- Airflow/Prefect - расписание
- Airbyte/Meltano - набор коннекторов к источникам данных
- Metabase - SQL доступ для пользователей + дашборды (возможно Superset)
- Kubernetes - хостинг всего этого дела