Как Kubernetes захватывает Data-индустрию, Trino и dbt в продакшн, как запустить риал-тайм антифрод за две недели — об этом поговорим на VK Data Meetup
⏰23 мая, 15:00-19:00 по МСК
📍Офис VK и онлайн
⚡️Бесплатная регистрация: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx
VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. Майский митап посвящен актуальным архитектурным паттернам платформ данных и технологиям, которые позволят их реализовать.
Речь пойдет о DWH, Data Lake, Data LakeHouse и Data Mesh — где они применяются и с какими подводными камнями можно встретиться на практике. Узнаете, как Kubernetes незаметно, но уверенно захватывает индустрию, почему в коммьюнити все чаще говорят про Trino, как интегрировать CI/CD в работу с данными.
Мероприятие будет интересно дата-инженерам, специалистам по DWH, администраторам, архитекторам и разработчикам.
Посмотреть полную программу и зарегистрироваться: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx
⏰23 мая, 15:00-19:00 по МСК
📍Офис VK и онлайн
⚡️Бесплатная регистрация: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx
VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. Майский митап посвящен актуальным архитектурным паттернам платформ данных и технологиям, которые позволят их реализовать.
Речь пойдет о DWH, Data Lake, Data LakeHouse и Data Mesh — где они применяются и с какими подводными камнями можно встретиться на практике. Узнаете, как Kubernetes незаметно, но уверенно захватывает индустрию, почему в коммьюнити все чаще говорят про Trino, как интегрировать CI/CD в работу с данными.
Мероприятие будет интересно дата-инженерам, специалистам по DWH, администраторам, архитекторам и разработчикам.
Посмотреть полную программу и зарегистрироваться: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx
Forwarded from Data Events via @ContestMasterBot
Внимание розыгрыш двух билетов на https://t.me/data_events/2946!
Уже участвует 4 человек.
Для присоединения к розыгрышу, нажми на кнопку ниже.
Уже участвует 4 человек.
Для присоединения к розыгрышу, нажми на кнопку ниже.
Forwarded from Инжиниринг Данных (Dmitry)
14-15 мая - Iceberg Summit. Iceberg формат для хранения данных в озере данных lake house. Если вы работаете с данными, то вы должны знать один из 3х форматов delta, iceberg, hudi.
Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.
Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.
Forwarded from Инжиниринг Данных (Dmitry)
13 июня будет Trino Fest, у них есть онлайн сессия.
Trino - SQL движок, который умеет читать данные из других баз данных, файлов, NoSQL баз, sftp, и еще много чего. Полностью открытое ПО. Я знаю, что можно использовать sql движок от Clickhouse/Duckdb (без функции хранения данных в базу), но деталей не знаю.
Я даже специально зашел на любимый сайт своей молодости HH (headhunter ru) и поискал “trino”, и нашел довольно много вакансий Инженера Данных с Trino. Также trino используются в отечественном облаке.
Идеальный стек мог бы быть в облаке или on-premise:
- Trino - SQL Engine, строим Iceberg Data Lake
- Нужно найти где хранить данные, в зависимости от возможностей
- dbt - бизнес логика в SQL
- Airflow/Prefect - расписание
- Airbyte/Meltano - набор коннекторов к источникам данных
- Metabase - SQL доступ для пользователей + дашборды (возможно Superset)
- Kubernetes - хостинг всего этого дела
Trino - SQL движок, который умеет читать данные из других баз данных, файлов, NoSQL баз, sftp, и еще много чего. Полностью открытое ПО. Я знаю, что можно использовать sql движок от Clickhouse/Duckdb (без функции хранения данных в базу), но деталей не знаю.
Я даже специально зашел на любимый сайт своей молодости HH (headhunter ru) и поискал “trino”, и нашел довольно много вакансий Инженера Данных с Trino. Также trino используются в отечественном облаке.
Идеальный стек мог бы быть в облаке или on-premise:
- Trino - SQL Engine, строим Iceberg Data Lake
- Нужно найти где хранить данные, в зависимости от возможностей
- dbt - бизнес логика в SQL
- Airflow/Prefect - расписание
- Airbyte/Meltano - набор коннекторов к источникам данных
- Metabase - SQL доступ для пользователей + дашборды (возможно Superset)
- Kubernetes - хостинг всего этого дела
trino.io
A sneak peek of Trino Fest 2024
Trino Fest is drawing ever closer. Commander Bun Bun has been hard at work behind the scenes arranging the schedule and making sure that Trino’s trip to Boston is going to be a great one. In case you missed it, we announced Trino Fest a couple months ago…
Код или кот?
Приглашаем на митап ЮMoney «Код аналитика»
На митапе для системных аналитиков и архитекторов IT-решений выступят спикеры из ЮMoney и NextWay. Эксперты поделятся опытом создания и проектирования решений для своих продуктов и ответят на вопросы слушателей.
Темы докладов👇
🟣 Docs As Code: настраиваем инструменты под себя.
🟣 Моделирование архитектуры на графе.
🟣 Как системному аналитику (не) выбрать технологию интеграции.
Ждём вас 19 июня в 19:00 (мск) — приходите в наш офис в Петербурге или подключайтесь онлайн. Для этого нужно зарегистрироваться.
Все подробности — на сайте митапа 💜
Приглашаем на митап ЮMoney «Код аналитика»
На митапе для системных аналитиков и архитекторов IT-решений выступят спикеры из ЮMoney и NextWay. Эксперты поделятся опытом создания и проектирования решений для своих продуктов и ответят на вопросы слушателей.
Темы докладов
Ждём вас 19 июня в 19:00 (мск) — приходите в наш офис в Петербурге или подключайтесь онлайн. Для этого нужно зарегистрироваться.
Все подробности — на сайте митапа 💜
Please open Telegram to view this post
VIEW IN TELEGRAM
Data engineering events
13 июня будет Trino Fest, у них есть онлайн сессия. Trino - SQL движок, который умеет читать данные из других баз данных, файлов, NoSQL баз, sftp, и еще много чего. Полностью открытое ПО. Я знаю, что можно использовать sql движок от Clickhouse/Duckdb (без…
Telegram
Data Explorers Hub
Trino Fest 2024
На официальном канале Trino, появились записи докладов с Trino Fest 2024
На официальном канале Trino, появились записи докладов с Trino Fest 2024
Вакансия Продуктовый аналитик
Это одна из важных ролей в команде. Твои результаты исследований и анализа данных экспериментов напрямую влияют на продукт.
О задачах: выстраивать дерево метрик; определять, рассчитывать и валидировать продуктовые метрики для оценки успеха внедрения новых фичей; проводить исследования поведения пользователей на основе данных для определения точек роста в продукте; работать в тесном сотрудничестве с продуктовыми менеджерами, UX исследователями, дизайнерами и разработчиками, сопровождая A/B тесты от дизайна эксперимента до интерпретации результатов.
Стек технологий: Python, SQL, Hadoop stack, Hive, Spark
Что еще интересного: гибрид; офис в Москве и коворкинг в СПб; организуем внутренние и внешние митапы; помогаем развивать личный бренд шопинг на Lamoda со скидками до 40%
Подробнее о вакансии.
Реклама. ООО «Ламода Тех». ИНН 7734461512. erid:LjN8Jwaj9
Это одна из важных ролей в команде. Твои результаты исследований и анализа данных экспериментов напрямую влияют на продукт.
О задачах: выстраивать дерево метрик; определять, рассчитывать и валидировать продуктовые метрики для оценки успеха внедрения новых фичей; проводить исследования поведения пользователей на основе данных для определения точек роста в продукте; работать в тесном сотрудничестве с продуктовыми менеджерами, UX исследователями, дизайнерами и разработчиками, сопровождая A/B тесты от дизайна эксперимента до интерпретации результатов.
Стек технологий: Python, SQL, Hadoop stack, Hive, Spark
Что еще интересного: гибрид; офис в Москве и коворкинг в СПб; организуем внутренние и внешние митапы; помогаем развивать личный бренд шопинг на Lamoda со скидками до 40%
Подробнее о вакансии.
Реклама. ООО «Ламода Тех». ИНН 7734461512. erid:LjN8Jwaj9
Вот это интересный вброс-опрос!.. Штош, ждём-с! 😁 🍿
https://t.me/dbt_users/22148 #sqlmesh #versus #dbt #опросы
https://t.me/dbt_users/22148 #sqlmesh #versus #dbt #опросы
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Евгений Ермаков in dbt & modern data stack
подкаст батл sqlmesh vs dbt
готов батлить за одну из сторон / готов слушать (и набрасывать вопросы) / не интересно
готов батлить за одну из сторон / готов слушать (и набрасывать вопросы) / не интересно
Вебинар «Как работать с Kubernetes и не тратить лишнего»
Приглашаем всех, кто хочет снизить затраты на Kubernetes или сразу настроить его на экономичную работу. Мы поделимся опытом удешевления работы с K8s. Покажем, как сократить затраты на уровне кластера, архитектуры и сторонних решений.
Дата и время: 25 июля, 11:00.
Программа
🔹 «Золотой» стандарт The Twelve-Factor App — разбираем принципы создания «идеального» современного приложения.
🔹 Контроль расходов на уровне K8s — экономим с помощью квот и рассчитываем оптимальные значения реквестов и лимитов.
🔹 Мониторинг — отслеживаем затраты прямо во время работы.
🔹 Автомасштабирование — оптимизируем затраты на уровне архитектуры самого приложения.
Регистрируйтесь на вебинар — мы пришлем ссылку на трансляцию в день мероприятия, а после вышлем запись.
Зарегистрироваться бесплатно
Приглашаем всех, кто хочет снизить затраты на Kubernetes или сразу настроить его на экономичную работу. Мы поделимся опытом удешевления работы с K8s. Покажем, как сократить затраты на уровне кластера, архитектуры и сторонних решений.
Дата и время: 25 июля, 11:00.
Программа
🔹 «Золотой» стандарт The Twelve-Factor App — разбираем принципы создания «идеального» современного приложения.
🔹 Контроль расходов на уровне K8s — экономим с помощью квот и рассчитываем оптимальные значения реквестов и лимитов.
🔹 Мониторинг — отслеживаем затраты прямо во время работы.
🔹 Автомасштабирование — оптимизируем затраты на уровне архитектуры самого приложения.
Регистрируйтесь на вебинар — мы пришлем ссылку на трансляцию в день мероприятия, а после вышлем запись.
Зарегистрироваться бесплатно
Data engineering events
Вот это интересный вброс-опрос!.. Штош, ждём-с! 😁 🍿 https://t.me/dbt_users/22148 #sqlmesh #versus #dbt #опросы
пошла-пошла жара, да не дошла! 😂 а пока вот пред-анонсик:
https://t.me/dbt_users/22103 #dbt #dbt_meetup #dagster #dbt_af
https://t.me/dbt_users/22103 #dbt #dbt_meetup #dagster #dbt_af
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Stanislav Lysikov in dbt & modern data stack
ох какая жара пошла )
тоже подогрею - 13 августа в онлайне состоится 5 митап по дбт, в котором 2 доклада будут как раз про работу с оркестраторами - дагстер и dbt-af :)
тоже подогрею - 13 августа в онлайне состоится 5 митап по дбт, в котором 2 доклада будут как раз про работу с оркестраторами - дагстер и dbt-af :)