Сегодня, 11 февраля 2025, 17:00
Поднимаем Data Lakehouse на основе Trino в облаке
Для участия требуется регистрация
Программа
▫️Почему топовые мировые и российские IT-компании переходят на архитектуру DLH.
▫️Какие существуют архитектуры DLH и под какие задачи используются.
▫️В каких ситуациях выгоднее разворачивать DLH на собственной инфраструктуре, а когда выгоднее использовать платформу или облако.
▫️Как использование облачного решения от VK Cloud даст гибкость и позволит оперативно расширять инфраструктуру по мере роста потребностей бизнеса.
▫️Как объектное хранилище Cloud Storage (S3) поможет создать экономически выгодную модель хранения данных.
▫️На примере в лайф-режиме покажем различия в стоимости и скорости работы DLH и DWH.
〰〰〰〰〰〰〰〰〰〰
Update: Запись тут https://vkvideo.ru/video-164978780_456239621
Поднимаем Data Lakehouse на основе Trino в облаке
Для участия требуется регистрация
Программа
▫️Почему топовые мировые и российские IT-компании переходят на архитектуру DLH.
▫️Какие существуют архитектуры DLH и под какие задачи используются.
▫️В каких ситуациях выгоднее разворачивать DLH на собственной инфраструктуре, а когда выгоднее использовать платформу или облако.
▫️Как использование облачного решения от VK Cloud даст гибкость и позволит оперативно расширять инфраструктуру по мере роста потребностей бизнеса.
▫️Как объектное хранилище Cloud Storage (S3) поможет создать экономически выгодную модель хранения данных.
▫️На примере в лайф-режиме покажем различия в стоимости и скорости работы DLH и DWH.
〰〰〰〰〰〰〰〰〰〰
Update: Запись тут https://vkvideo.ru/video-164978780_456239621
VK Видео
Поднимаем Data Lakehouse на основе Trino в облаке
11 февраля в 17:00 на вебинаре мы разберём, что такое Data Lakehouse и как эта архитектура объединит преимущества Data Lake и Data Warehouse, упрощая управление, хранения и анализ данных из различных источников в одном месте. Покажем, как новый облачный сервис…
Как работает Apache Iceberg на примере Trino - SmartData 2024
https://youtu.be/hsCtWz8JDRc?si=cX8CmxXB3yGh1rDW
#trino #iceberg
https://youtu.be/hsCtWz8JDRc?si=cX8CmxXB3yGh1rDW
#trino #iceberg
YouTube
Владимир Озеров — Как работает Apache Iceberg на примере Trino
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData — https://jrg.su/pSa4pt
Apache Iceberg — популярный табличный формат для построения современных lakehouse-платформ. В докладе детально рассмотрели архитектуру…
— —
Скачать презентацию с сайта SmartData — https://jrg.su/pSa4pt
Apache Iceberg — популярный табличный формат для построения современных lakehouse-платформ. В докладе детально рассмотрели архитектуру…
The Agile Data (AD) Method
Описываются принципы, процессы и инструменты, позволяющие быстро и эффективно разрабатывать, изменять и управлять аналитическими решениями. Основное внимание уделяется снижению сложности работы с данными, автоматизации и адаптивности к изменениям.
https://agiledata.org/
Описываются принципы, процессы и инструменты, позволяющие быстро и эффективно разрабатывать, изменять и управлять аналитическими решениями. Основное внимание уделяется снижению сложности работы с данными, автоматизации и адаптивности к изменениям.
https://agiledata.org/
The Agile Data (AD) Method - Strategies for effective data-oriented development
The Agile Data (AD) Method
Agile Data: The increasing pace of change, increasing complexity, and increasing volume of data demands nothing less than complete data agility.
Greenplum | Что это такое и как оно работает?
https://youtu.be/rLG9Z_HcKPY?si=nW2elUKoCrRUIm3q
#greenplum
https://youtu.be/rLG9Z_HcKPY?si=nW2elUKoCrRUIm3q
#greenplum
YouTube
Greenplum | Что это такое и как оно работает?
Если ждёшь ROADMAP, подписывайся на каналы:
Мой телеграмм канал: https://t.me/Shust_DE
Телеграмм канал Евгения: https://t.me/halltape_data
Таймкоды:
00:00:00 | Вступление
00:01:02 | Что такое GreenPlum
00:01:25 | Архитектура GreenPlum
00:08:59 | Реплиц…
Мой телеграмм канал: https://t.me/Shust_DE
Телеграмм канал Евгения: https://t.me/halltape_data
Таймкоды:
00:00:00 | Вступление
00:01:02 | Что такое GreenPlum
00:01:25 | Архитектура GreenPlum
00:08:59 | Реплиц…
👍5
Перевод 1 Главы - Введение в хранилища данных
Начало перевода книги "Building a Scalable Data Warehouse with Data Vault 2.0"
https://datatalks.ru/data-vault-2-0-chapter-1-introduction-to-data-warehousing/
#DataVault
Начало перевода книги "Building a Scalable Data Warehouse with Data Vault 2.0"
https://datatalks.ru/data-vault-2-0-chapter-1-introduction-to-data-warehousing/
#DataVault
DataTalks.RU. Data Engineering / DWH / Data Pipeline
Перевод 1 Главы — Введение в хранилища данных
Перевод 1 Главы - Введение в хранилища данных
👍19
Перевод 2 Главы - Масштабируемая архитектура хранилища данных
Введение в архитектуру Data Vault 2.0 без детальных подробностей.
https://datatalks.ru/data-vault-2-0-chapter-2-scalable-data-warehouse-architecture/
#DataVault
Введение в архитектуру Data Vault 2.0 без детальных подробностей.
https://datatalks.ru/data-vault-2-0-chapter-2-scalable-data-warehouse-architecture/
#DataVault
DataTalks.RU. Data Engineering / DWH / Data Pipeline
Перевод 2 Главы — Масштабируемая архитектура хранилища данных
Перевод 2 Главы - Масштабируемая архитектура хранилища данных Data Vault 2.0
👍10🔥1
Как быстро запустить процесс ведения каталога данных в компании. Пример DataHub - доклад Журавлевой Натальи на SmartData 2024
https://youtu.be/nCt4gYVQdqc?si=YUpGIqHB5SqCddrH
https://youtu.be/nCt4gYVQdqc?si=YUpGIqHB5SqCddrH
YouTube
Наталья Журавлева — Как быстро запустить процесс ведения каталога данных в компании. Пример DataHub
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData — https://jrg.su/YPFuf5
Проблема: данных становится слишком много. Вы знаете, что вам нужен каталог данных, но не знаете, с чего начать и как реализовать инструмент…
— —
Скачать презентацию с сайта SmartData — https://jrg.su/YPFuf5
Проблема: данных становится слишком много. Вы знаете, что вам нужен каталог данных, но не знаете, с чего начать и как реализовать инструмент…
👍5
Пример создания DWH по Kimball с применением dbt
Build a Data Warehouse with dbt using Kimball’s dimensional modeling | by Haq Nawaz | Dev Genius
https://blog.devgenius.io/build-a-data-warehouse-with-dbt-using-kimballs-dimensional-modeling-59ea9bfae59f
GitHub: dbt build a datawarehouse using dimensional modeling
https://github.com/hnawaz007/dbt-dw
Build a Data Warehouse with dbt using Kimball’s dimensional modeling | by Haq Nawaz | Dev Genius
https://blog.devgenius.io/build-a-data-warehouse-with-dbt-using-kimballs-dimensional-modeling-59ea9bfae59f
GitHub: dbt build a datawarehouse using dimensional modeling
https://github.com/hnawaz007/dbt-dw
Medium
Build a Data Warehouse with dbt using Kimball’s dimensional modeling
using dbt, SQL, SQL Server, Postgres
🔥7
SmartData 2024: От хайпа до продакшена: data mesh на Airflow + dbt
https://youtu.be/OT-Sx-bd-6k?si=MG0kbWWjZIXwR2nm
https://youtu.be/OT-Sx-bd-6k?si=MG0kbWWjZIXwR2nm
YouTube
Никита Юрасов, Леонид Кожинов — От хайпа до продакшена: data mesh на Airflow + dbt
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData — https://jrg.su/MnC8LZ
Обещанного три года ждут, а toloka.ai опережает поставленные сроки: год назад спикеры рассказывали про подход к интеграции dbt и Airflow…
— —
Скачать презентацию с сайта SmartData — https://jrg.su/MnC8LZ
Обещанного три года ждут, а toloka.ai опережает поставленные сроки: год назад спикеры рассказывали про подход к интеграции dbt и Airflow…
🔥4😱2
System Design. База. Разбор книги "Высоконагруженные приложения". Глава 2
▫️Relational vs Document models
▫️One-to-Many, Many-to-One, Many-to-Many
▫️Schema On-Write vs Schema On-Read
▫️Диффузия моделей данных
▫️Imperative vs Declarative models
▫️MapReduce
▫️Graph Model, Свойства, Triple-Store
▫️System Design Interview: Data Models
https://youtu.be/H88-S0bHvJQ?si=5Nycizku0FeSVhxQ
▫️Relational vs Document models
▫️One-to-Many, Many-to-One, Many-to-Many
▫️Schema On-Write vs Schema On-Read
▫️Диффузия моделей данных
▫️Imperative vs Declarative models
▫️MapReduce
▫️Graph Model, Свойства, Triple-Store
▫️System Design Interview: Data Models
https://youtu.be/H88-S0bHvJQ?si=5Nycizku0FeSVhxQ
YouTube
System Design. База. Разбор книги "Высоконагруженные приложения". Глава 2
Продолжаем путешествие в мире System Design!
На очереди темы SQL vs NoSQL, Graph Model, MapReduce!
Представляю вашему вниманию серию вебинаров от Михаила Масягина.
Который разбирает главу за главой популярнейшей книги Мартина Клеппмана(Martin Kleppmann "Designing…
На очереди темы SQL vs NoSQL, Graph Model, MapReduce!
Представляю вашему вниманию серию вебинаров от Михаила Масягина.
Который разбирает главу за главой популярнейшей книги Мартина Клеппмана(Martin Kleppmann "Designing…
❤8
Перевод 3 Главы - Методология Data Vault 2.0
Подробное описание методологии Data Vault 2.0, больше с точки зрения управления проектами.
https://datatalks.ru/chapter-3-data-vault-2-0-methodology/
#DataVault
Подробное описание методологии Data Vault 2.0, больше с точки зрения управления проектами.
https://datatalks.ru/chapter-3-data-vault-2-0-methodology/
#DataVault
DataTalks.RU. Data Engineering / DWH / Data Pipeline
Перевод 3 Главы — Методология Data Vault 2.0
Перевод 3 Главы - Методология Data Vault 2.0
🔥13❤2
Smart Data 2024: Использование вероятностных структур данных для оптимизации ETL-процессов
https://youtu.be/qZ8ud40wDPU?si=RDtVMEc8vq3FGeyT
https://youtu.be/qZ8ud40wDPU?si=RDtVMEc8vq3FGeyT
YouTube
Дмитрий Вертлиб — Использование вероятностных структур данных для оптимизации ETL-процессов
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData — https://jrg.su/IiiVf8
При обработке больших данных с использованием фреймворка Apache Spark часто возникает большое количество промежуточной информации,…
— —
Скачать презентацию с сайта SmartData — https://jrg.su/IiiVf8
При обработке больших данных с использованием фреймворка Apache Spark часто возникает большое количество промежуточной информации,…
🔥4
3 и 4 главы книги "Высоконагруженные приложения"
B-tree, OLAP OLTP, Hash Index. Kleppman 3 chapter
JSON, ProtoBuf, Data formats. Kleppman 4 chapter
B-tree, OLAP OLTP, Hash Index. Kleppman 3 chapter
JSON, ProtoBuf, Data formats. Kleppman 4 chapter
YouTube
B-tree, OLAP OLTP, Hash Index. Kleppman 3 chapter
Продолжаем путешествие в мире System Design!
На очереди темы B-tree, OLAP vs OLTP, Hash и другие основные понятия из 3 главы!
Представляю вашему вниманию серию вебинаров от Михаила Масягина:
Который разбирает главу за главой популярнейшей книги Мартина …
На очереди темы B-tree, OLAP vs OLTP, Hash и другие основные понятия из 3 главы!
Представляю вашему вниманию серию вебинаров от Михаила Масягина:
Который разбирает главу за главой популярнейшей книги Мартина …
🔥2
SoftwareMill Kafka Visualization
Визуально можно увидеть, как работает кафка.
https://softwaremill.com/kafka-visualisation/
И дополнительно статья, описывающая инструмент
https://habr.com/ru/articles/865120/
#kafka
Визуально можно увидеть, как работает кафка.
https://softwaremill.com/kafka-visualisation/
И дополнительно статья, описывающая инструмент
https://habr.com/ru/articles/865120/
#kafka
Softwaremill
SoftwareMill Kafka Visualization
Using the Kafka Visualization tool you can simulate how data flows through a replicated Kafka topic, to gain a better understanding of the message processing model.
🔥7👍1
Обзор 5 главы "Replication in System Design"
Из книги "Высоконагруженные приложения"
https://youtu.be/KWIUkbcDhHc?si=Bahv3m8zf8z4qLMm
Из книги "Высоконагруженные приложения"
https://youtu.be/KWIUkbcDhHc?si=Bahv3m8zf8z4qLMm
YouTube
Replication in System Design
Replication, Master-Slave, Master-Master, Conflicts.
Linkedin Михаила:
https://kz.linkedin.com/in/masyagin1998
Временные метки:
00:00 - Intro
01:44 - Виды репликации
04:48 - Репликация с одним ведущим узлом
05:41 - Синхронная и асинхронная репликация, Отказы…
Linkedin Михаила:
https://kz.linkedin.com/in/masyagin1998
Временные метки:
00:00 - Intro
01:44 - Виды репликации
04:48 - Репликация с одним ведущим узлом
05:41 - Синхронная и асинхронная репликация, Отказы…
👍2
Перевод 4 Главы - Моделирование Data Vault 2.0
https://datatalks.ru/chapter-4-data-vault-2-0-modeling/
#DataVault
В этой главе рассматриваются сущности, используемые в моделировании Data Vault, включая хабы (Hubs), линки/связи (Links) и сателлиты (Satellites). Показано, как идентифицировать бизнес-ключи в исходных данных и связывать их с другими бизнес-ключами в Data Vault с помощью линк-сущностей. Также рассмотрено, как выделять дополнительные атрибуты из исходных данных и моделировать их в виде сателлитных сущностей.https://datatalks.ru/chapter-4-data-vault-2-0-modeling/
#DataVault
DataTalks.RU. Data Engineering / DWH / Data Pipeline
Перевод 4 Главы — Моделирование Data Vault 2.0 — Что такое Hub / Link / Satellite?
Перевод 4 Главы - Моделирование Data Vault 2.0 - Что такое Hub / Link / Satellite? Data Vault модель данных data warehouse DDS. Примеры. Книга
👍7
SmartData 2024 "dbt в деле: реальные кейсы и лайфхаки (Антон Александров)"
https://youtu.be/RV5ZSMcwm9w?si=BDSx3q8h0gb_ZQTX
Презентация
https://youtu.be/RV5ZSMcwm9w?si=BDSx3q8h0gb_ZQTX
Презентация
YouTube
Антон Александров — dbt в деле: реальные кейсы и лайфхаки
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData — https://jrg.su/8i0yvb
В 2022 году компания «Детский мир» столкнулась с резким увеличением объема витрин данных, что привело к многочисленным техническим…
— —
Скачать презентацию с сайта SmartData — https://jrg.su/8i0yvb
В 2022 году компания «Детский мир» столкнулась с резким увеличением объема витрин данных, что привело к многочисленным техническим…
👍3
Тренировки по алгоритмам от Яндекса
https://yandex.ru/yaintern/training/algorithm-training
После регистрации приходит письмо с подготовительными лекциями на YT https://youtube.com/playlist?list=PL6Wui14DvQPz_vzmNVOYBRqML6l51lP0G&si=FdTT_WhXPNZnOx46
https://yandex.ru/yaintern/training/algorithm-training
После регистрации приходит письмо с подготовительными лекциями на YT https://youtube.com/playlist?list=PL6Wui14DvQPz_vzmNVOYBRqML6l51lP0G&si=FdTT_WhXPNZnOx46
Тренировки по алгоритмам от Яндекса
Новый сезон — новые задачи и форматы
👍1🔥1