Forwarded from Инжиниринг Данных (Dmitry)
13 июня будет Trino Fest, у них есть онлайн сессия.
Trino - SQL движок, который умеет читать данные из других баз данных, файлов, NoSQL баз, sftp, и еще много чего. Полностью открытое ПО. Я знаю, что можно использовать sql движок от Clickhouse/Duckdb (без функции хранения данных в базу), но деталей не знаю.
Я даже специально зашел на любимый сайт своей молодости HH (headhunter ru) и поискал “trino”, и нашел довольно много вакансий Инженера Данных с Trino. Также trino используются в отечественном облаке.
Идеальный стек мог бы быть в облаке или on-premise:
- Trino - SQL Engine, строим Iceberg Data Lake
- Нужно найти где хранить данные, в зависимости от возможностей
- dbt - бизнес логика в SQL
- Airflow/Prefect - расписание
- Airbyte/Meltano - набор коннекторов к источникам данных
- Metabase - SQL доступ для пользователей + дашборды (возможно Superset)
- Kubernetes - хостинг всего этого дела
Trino - SQL движок, который умеет читать данные из других баз данных, файлов, NoSQL баз, sftp, и еще много чего. Полностью открытое ПО. Я знаю, что можно использовать sql движок от Clickhouse/Duckdb (без функции хранения данных в базу), но деталей не знаю.
Я даже специально зашел на любимый сайт своей молодости HH (headhunter ru) и поискал “trino”, и нашел довольно много вакансий Инженера Данных с Trino. Также trino используются в отечественном облаке.
Идеальный стек мог бы быть в облаке или on-premise:
- Trino - SQL Engine, строим Iceberg Data Lake
- Нужно найти где хранить данные, в зависимости от возможностей
- dbt - бизнес логика в SQL
- Airflow/Prefect - расписание
- Airbyte/Meltano - набор коннекторов к источникам данных
- Metabase - SQL доступ для пользователей + дашборды (возможно Superset)
- Kubernetes - хостинг всего этого дела
trino.io
A sneak peek of Trino Fest 2024
Trino Fest is drawing ever closer. Commander Bun Bun has been hard at work behind the scenes arranging the schedule and making sure that Trino’s trip to Boston is going to be a great one. In case you missed it, we announced Trino Fest a couple months ago…
Код или кот?
Приглашаем на митап ЮMoney «Код аналитика»
На митапе для системных аналитиков и архитекторов IT-решений выступят спикеры из ЮMoney и NextWay. Эксперты поделятся опытом создания и проектирования решений для своих продуктов и ответят на вопросы слушателей.
Темы докладов👇
🟣 Docs As Code: настраиваем инструменты под себя.
🟣 Моделирование архитектуры на графе.
🟣 Как системному аналитику (не) выбрать технологию интеграции.
Ждём вас 19 июня в 19:00 (мск) — приходите в наш офис в Петербурге или подключайтесь онлайн. Для этого нужно зарегистрироваться.
Все подробности — на сайте митапа 💜
Приглашаем на митап ЮMoney «Код аналитика»
На митапе для системных аналитиков и архитекторов IT-решений выступят спикеры из ЮMoney и NextWay. Эксперты поделятся опытом создания и проектирования решений для своих продуктов и ответят на вопросы слушателей.
Темы докладов
Ждём вас 19 июня в 19:00 (мск) — приходите в наш офис в Петербурге или подключайтесь онлайн. Для этого нужно зарегистрироваться.
Все подробности — на сайте митапа 💜
Please open Telegram to view this post
VIEW IN TELEGRAM
Data engineering events
13 июня будет Trino Fest, у них есть онлайн сессия. Trino - SQL движок, который умеет читать данные из других баз данных, файлов, NoSQL баз, sftp, и еще много чего. Полностью открытое ПО. Я знаю, что можно использовать sql движок от Clickhouse/Duckdb (без…
Telegram
Data Explorers Hub
Trino Fest 2024
На официальном канале Trino, появились записи докладов с Trino Fest 2024
На официальном канале Trino, появились записи докладов с Trino Fest 2024
Вот это интересный вброс-опрос!.. Штош, ждём-с! 😁 🍿
https://t.me/dbt_users/22148 #sqlmesh #versus #dbt #опросы
https://t.me/dbt_users/22148 #sqlmesh #versus #dbt #опросы
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Евгений Ермаков in dbt & modern data stack
подкаст батл sqlmesh vs dbt
готов батлить за одну из сторон / готов слушать (и набрасывать вопросы) / не интересно
готов батлить за одну из сторон / готов слушать (и набрасывать вопросы) / не интересно
Вебинар «Как работать с Kubernetes и не тратить лишнего»
Приглашаем всех, кто хочет снизить затраты на Kubernetes или сразу настроить его на экономичную работу. Мы поделимся опытом удешевления работы с K8s. Покажем, как сократить затраты на уровне кластера, архитектуры и сторонних решений.
Дата и время: 25 июля, 11:00.
Программа
🔹 «Золотой» стандарт The Twelve-Factor App — разбираем принципы создания «идеального» современного приложения.
🔹 Контроль расходов на уровне K8s — экономим с помощью квот и рассчитываем оптимальные значения реквестов и лимитов.
🔹 Мониторинг — отслеживаем затраты прямо во время работы.
🔹 Автомасштабирование — оптимизируем затраты на уровне архитектуры самого приложения.
Регистрируйтесь на вебинар — мы пришлем ссылку на трансляцию в день мероприятия, а после вышлем запись.
Зарегистрироваться бесплатно
Приглашаем всех, кто хочет снизить затраты на Kubernetes или сразу настроить его на экономичную работу. Мы поделимся опытом удешевления работы с K8s. Покажем, как сократить затраты на уровне кластера, архитектуры и сторонних решений.
Дата и время: 25 июля, 11:00.
Программа
🔹 «Золотой» стандарт The Twelve-Factor App — разбираем принципы создания «идеального» современного приложения.
🔹 Контроль расходов на уровне K8s — экономим с помощью квот и рассчитываем оптимальные значения реквестов и лимитов.
🔹 Мониторинг — отслеживаем затраты прямо во время работы.
🔹 Автомасштабирование — оптимизируем затраты на уровне архитектуры самого приложения.
Регистрируйтесь на вебинар — мы пришлем ссылку на трансляцию в день мероприятия, а после вышлем запись.
Зарегистрироваться бесплатно
Data engineering events
Вот это интересный вброс-опрос!.. Штош, ждём-с! 😁 🍿 https://t.me/dbt_users/22148 #sqlmesh #versus #dbt #опросы
пошла-пошла жара, да не дошла! 😂 а пока вот пред-анонсик:
https://t.me/dbt_users/22103 #dbt #dbt_meetup #dagster #dbt_af
https://t.me/dbt_users/22103 #dbt #dbt_meetup #dagster #dbt_af
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Stanislav Lysikov in dbt & modern data stack
ох какая жара пошла )
тоже подогрею - 13 августа в онлайне состоится 5 митап по дбт, в котором 2 доклада будут как раз про работу с оркестраторами - дагстер и dbt-af :)
тоже подогрею - 13 августа в онлайне состоится 5 митап по дбт, в котором 2 доклада будут как раз про работу с оркестраторами - дагстер и dbt-af :)
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data & IT Career (Николай Крупий)
Telegram
Я – Дата Инженер
🔤🔤🔤🔤🔤 Стрим по Spark!
Уже завтра я буду вести стрим по казино spark!
🟡 Мы соберем самую настоящую витрину данных
🟡 Покажу некоторые проблемы при расчете, а также обсудим их оптимальное решение
⚫️ Если останется время, то запустим скрипт за несколько дней…
Уже завтра я буду вести стрим по казино spark!
🟡 Мы соберем самую настоящую витрину данных
🟡 Покажу некоторые проблемы при расчете, а также обсудим их оптимальное решение
⚫️ Если останется время, то запустим скрипт за несколько дней…
13 августа в 19:00 (GMT+3) приглашаем вас на онлайн-митап по dbt.
Митап будет интересен как опытным специалистам, так и тем, кто только погружается в работу с dbt.
В программе:
— Леонид Кожинов Senior Software Developer, Никита Юрасов, Data Engineer в Toloka AI — «dbt в Data Mesh. С любовью о пользователях».
— Дмитрий Володин, Data Analytics Team Lead в Trafficstars — «Dagster — ядро вашей data platform».
— Павел Рословец, Principal Data Engineer в NXP Semiconductors, ментор, автор курса по dbt в Inzhenerka.Tech — «Метаданные dbt как мощный инструмент управления моделями».
— Александр Жук, BI/DWH Developer в Space307— «Путь BIайщика: от QS до dbt».
Все подробности и регистрация на митап по ссылке: https://space307.team/dbt-meetup
https://t.me/dbt_users/22869
Митап будет интересен как опытным специалистам, так и тем, кто только погружается в работу с dbt.
В программе:
— Леонид Кожинов Senior Software Developer, Никита Юрасов, Data Engineer в Toloka AI — «dbt в Data Mesh. С любовью о пользователях».
— Дмитрий Володин, Data Analytics Team Lead в Trafficstars — «Dagster — ядро вашей data platform».
— Павел Рословец, Principal Data Engineer в NXP Semiconductors, ментор, автор курса по dbt в Inzhenerka.Tech — «Метаданные dbt как мощный инструмент управления моделями».
— Александр Жук, BI/DWH Developer в Space307— «Путь BIайщика: от QS до dbt».
Все подробности и регистрация на митап по ссылке: https://space307.team/dbt-meetup
https://t.me/dbt_users/22869
Forwarded from Data Secrets
Об отключении платформы для обработки данных сообщила российская компания Softline. Плюс, пользователям уже начали поступать уведомления об отключении.
При этом Google Workspace и Google Cloud продолжат работать.
Please open Telegram to view this post
VIEW IN TELEGRAM