Forwarded from дата инженеретта
Выложила запись на ютуб
Но у меня ни таймкоды не подтянулись, ни ссылки не работают
Спасибо всем, кто пришел! Меня ваши сердечки и огонечки очень подбадривали
Немного статистики: 400 человек в пике, 600 в тотале!
Ссылка на материалы: https://github.com/Aigul9/spark-webinar
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2🔥1
Как приготовить DataVault и не убить GreenPlum
https://youtu.be/x9U0mKxp41w?si=s6-4PW2JtrDodLMt
#GreenPlum #DataVault
https://youtu.be/x9U0mKxp41w?si=s6-4PW2JtrDodLMt
#GreenPlum #DataVault
❤2👍2
System Design - Теория шардирования. Как масштабировать базы данных
https://youtu.be/d6BtxBKhQoc?si=DPhblrYssQX87MRT
https://youtu.be/d6BtxBKhQoc?si=DPhblrYssQX87MRT
👍2
Data Pipeline Design Patterns - Шаблоны проектирования потоков данных
https://datatalks.ru/data-pipeline-design-patterns/
https://datatalks.ru/data-pipeline-design-patterns/
DataTalks.RU. Data Engineering / DWH / Data Pipeline
Data Pipeline Design Patterns — Шаблоны проектирования потоков данных
Data Pipeline Design Patterns - Шаблоны проектирования потоков данных
🔥6👍1
Что такое Rest API (http)? Soap? GraphQL? Websockets? RPC (gRPC, tRPC). Клиент - сервер. Вся теория
https://youtu.be/XaTwnKLQi4A?si=p1cG48FQfz2CREAD
https://youtu.be/XaTwnKLQi4A?si=p1cG48FQfz2CREAD
YouTube
Что такое Rest API (http)? Soap? GraphQL? Websockets? RPC (gRPC, tRPC). Клиент - сервер. Вся теория
Что такое Rest API? Что такое SOAP? Что такое Graphql? Что такое websockets? Что такое GRPC RPC? Клиент серверная архитектура. HTTP запросы. HTTP Теория. Общение клиента и сервера.
Курс "Продвинутый Frontend. в Production на React" - https://ulbitv.ru/frontend…
Курс "Продвинутый Frontend. в Production на React" - https://ulbitv.ru/frontend…
👍4
Сегодня, 11 февраля 2025, 17:00
Поднимаем Data Lakehouse на основе Trino в облаке
Для участия требуется регистрация
Программа
▫️Почему топовые мировые и российские IT-компании переходят на архитектуру DLH.
▫️Какие существуют архитектуры DLH и под какие задачи используются.
▫️В каких ситуациях выгоднее разворачивать DLH на собственной инфраструктуре, а когда выгоднее использовать платформу или облако.
▫️Как использование облачного решения от VK Cloud даст гибкость и позволит оперативно расширять инфраструктуру по мере роста потребностей бизнеса.
▫️Как объектное хранилище Cloud Storage (S3) поможет создать экономически выгодную модель хранения данных.
▫️На примере в лайф-режиме покажем различия в стоимости и скорости работы DLH и DWH.
〰〰〰〰〰〰〰〰〰〰
Update: Запись тут https://vkvideo.ru/video-164978780_456239621
Поднимаем Data Lakehouse на основе Trino в облаке
Для участия требуется регистрация
Программа
▫️Почему топовые мировые и российские IT-компании переходят на архитектуру DLH.
▫️Какие существуют архитектуры DLH и под какие задачи используются.
▫️В каких ситуациях выгоднее разворачивать DLH на собственной инфраструктуре, а когда выгоднее использовать платформу или облако.
▫️Как использование облачного решения от VK Cloud даст гибкость и позволит оперативно расширять инфраструктуру по мере роста потребностей бизнеса.
▫️Как объектное хранилище Cloud Storage (S3) поможет создать экономически выгодную модель хранения данных.
▫️На примере в лайф-режиме покажем различия в стоимости и скорости работы DLH и DWH.
〰〰〰〰〰〰〰〰〰〰
Update: Запись тут https://vkvideo.ru/video-164978780_456239621
VK Видео
Поднимаем Data Lakehouse на основе Trino в облаке
11 февраля в 17:00 на вебинаре мы разберём, что такое Data Lakehouse и как эта архитектура объединит преимущества Data Lake и Data Warehouse, упрощая управление, хранения и анализ данных из различных источников в одном месте. Покажем, как новый облачный сервис…
Как работает Apache Iceberg на примере Trino - SmartData 2024
https://youtu.be/hsCtWz8JDRc?si=cX8CmxXB3yGh1rDW
#trino #iceberg
https://youtu.be/hsCtWz8JDRc?si=cX8CmxXB3yGh1rDW
#trino #iceberg
YouTube
Владимир Озеров — Как работает Apache Iceberg на примере Trino
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData — https://jrg.su/pSa4pt
Apache Iceberg — популярный табличный формат для построения современных lakehouse-платформ. В докладе детально рассмотрели архитектуру…
— —
Скачать презентацию с сайта SmartData — https://jrg.su/pSa4pt
Apache Iceberg — популярный табличный формат для построения современных lakehouse-платформ. В докладе детально рассмотрели архитектуру…
The Agile Data (AD) Method
Описываются принципы, процессы и инструменты, позволяющие быстро и эффективно разрабатывать, изменять и управлять аналитическими решениями. Основное внимание уделяется снижению сложности работы с данными, автоматизации и адаптивности к изменениям.
https://agiledata.org/
Описываются принципы, процессы и инструменты, позволяющие быстро и эффективно разрабатывать, изменять и управлять аналитическими решениями. Основное внимание уделяется снижению сложности работы с данными, автоматизации и адаптивности к изменениям.
https://agiledata.org/
The Agile Data (AD) Method - Strategies for effective data-oriented development
The Agile Data (AD) Method
Agile Data: The increasing pace of change, increasing complexity, and increasing volume of data demands nothing less than complete data agility.
Greenplum | Что это такое и как оно работает?
https://youtu.be/rLG9Z_HcKPY?si=nW2elUKoCrRUIm3q
#greenplum
https://youtu.be/rLG9Z_HcKPY?si=nW2elUKoCrRUIm3q
#greenplum
YouTube
Greenplum | Что это такое и как оно работает?
Если ждёшь ROADMAP, подписывайся на каналы:
Мой телеграмм канал: https://t.me/Shust_DE
Телеграмм канал Евгения: https://t.me/halltape_data
Таймкоды:
00:00:00 | Вступление
00:01:02 | Что такое GreenPlum
00:01:25 | Архитектура GreenPlum
00:08:59 | Реплиц…
Мой телеграмм канал: https://t.me/Shust_DE
Телеграмм канал Евгения: https://t.me/halltape_data
Таймкоды:
00:00:00 | Вступление
00:01:02 | Что такое GreenPlum
00:01:25 | Архитектура GreenPlum
00:08:59 | Реплиц…
👍5
Перевод 1 Главы - Введение в хранилища данных
Начало перевода книги "Building a Scalable Data Warehouse with Data Vault 2.0"
https://datatalks.ru/data-vault-2-0-chapter-1-introduction-to-data-warehousing/
#DataVault
Начало перевода книги "Building a Scalable Data Warehouse with Data Vault 2.0"
https://datatalks.ru/data-vault-2-0-chapter-1-introduction-to-data-warehousing/
#DataVault
DataTalks.RU. Data Engineering / DWH / Data Pipeline
Перевод 1 Главы — Введение в хранилища данных
Перевод 1 Главы - Введение в хранилища данных
👍19
Перевод 2 Главы - Масштабируемая архитектура хранилища данных
Введение в архитектуру Data Vault 2.0 без детальных подробностей.
https://datatalks.ru/data-vault-2-0-chapter-2-scalable-data-warehouse-architecture/
#DataVault
Введение в архитектуру Data Vault 2.0 без детальных подробностей.
https://datatalks.ru/data-vault-2-0-chapter-2-scalable-data-warehouse-architecture/
#DataVault
DataTalks.RU. Data Engineering / DWH / Data Pipeline
Перевод 2 Главы — Масштабируемая архитектура хранилища данных
Перевод 2 Главы - Масштабируемая архитектура хранилища данных Data Vault 2.0
👍10🔥1
Как быстро запустить процесс ведения каталога данных в компании. Пример DataHub - доклад Журавлевой Натальи на SmartData 2024
https://youtu.be/nCt4gYVQdqc?si=YUpGIqHB5SqCddrH
https://youtu.be/nCt4gYVQdqc?si=YUpGIqHB5SqCddrH
YouTube
Наталья Журавлева — Как быстро запустить процесс ведения каталога данных в компании. Пример DataHub
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData — https://jrg.su/YPFuf5
Проблема: данных становится слишком много. Вы знаете, что вам нужен каталог данных, но не знаете, с чего начать и как реализовать инструмент…
— —
Скачать презентацию с сайта SmartData — https://jrg.su/YPFuf5
Проблема: данных становится слишком много. Вы знаете, что вам нужен каталог данных, но не знаете, с чего начать и как реализовать инструмент…
👍5
Пример создания DWH по Kimball с применением dbt
Build a Data Warehouse with dbt using Kimball’s dimensional modeling | by Haq Nawaz | Dev Genius
https://blog.devgenius.io/build-a-data-warehouse-with-dbt-using-kimballs-dimensional-modeling-59ea9bfae59f
GitHub: dbt build a datawarehouse using dimensional modeling
https://github.com/hnawaz007/dbt-dw
Build a Data Warehouse with dbt using Kimball’s dimensional modeling | by Haq Nawaz | Dev Genius
https://blog.devgenius.io/build-a-data-warehouse-with-dbt-using-kimballs-dimensional-modeling-59ea9bfae59f
GitHub: dbt build a datawarehouse using dimensional modeling
https://github.com/hnawaz007/dbt-dw
Medium
Build a Data Warehouse with dbt using Kimball’s dimensional modeling
using dbt, SQL, SQL Server, Postgres
🔥7
SmartData 2024: От хайпа до продакшена: data mesh на Airflow + dbt
https://youtu.be/OT-Sx-bd-6k?si=MG0kbWWjZIXwR2nm
https://youtu.be/OT-Sx-bd-6k?si=MG0kbWWjZIXwR2nm
YouTube
Никита Юрасов, Леонид Кожинов — От хайпа до продакшена: data mesh на Airflow + dbt
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData — https://jrg.su/MnC8LZ
Обещанного три года ждут, а toloka.ai опережает поставленные сроки: год назад спикеры рассказывали про подход к интеграции dbt и Airflow…
— —
Скачать презентацию с сайта SmartData — https://jrg.su/MnC8LZ
Обещанного три года ждут, а toloka.ai опережает поставленные сроки: год назад спикеры рассказывали про подход к интеграции dbt и Airflow…
🔥4😱2
System Design. База. Разбор книги "Высоконагруженные приложения". Глава 2
▫️Relational vs Document models
▫️One-to-Many, Many-to-One, Many-to-Many
▫️Schema On-Write vs Schema On-Read
▫️Диффузия моделей данных
▫️Imperative vs Declarative models
▫️MapReduce
▫️Graph Model, Свойства, Triple-Store
▫️System Design Interview: Data Models
https://youtu.be/H88-S0bHvJQ?si=5Nycizku0FeSVhxQ
▫️Relational vs Document models
▫️One-to-Many, Many-to-One, Many-to-Many
▫️Schema On-Write vs Schema On-Read
▫️Диффузия моделей данных
▫️Imperative vs Declarative models
▫️MapReduce
▫️Graph Model, Свойства, Triple-Store
▫️System Design Interview: Data Models
https://youtu.be/H88-S0bHvJQ?si=5Nycizku0FeSVhxQ
YouTube
System Design. База. Разбор книги "Высоконагруженные приложения". Глава 2
Продолжаем путешествие в мире System Design!
На очереди темы SQL vs NoSQL, Graph Model, MapReduce!
Представляю вашему вниманию серию вебинаров от Михаила Масягина.
Который разбирает главу за главой популярнейшей книги Мартина Клеппмана(Martin Kleppmann "Designing…
На очереди темы SQL vs NoSQL, Graph Model, MapReduce!
Представляю вашему вниманию серию вебинаров от Михаила Масягина.
Который разбирает главу за главой популярнейшей книги Мартина Клеппмана(Martin Kleppmann "Designing…
❤8
Перевод 3 Главы - Методология Data Vault 2.0
Подробное описание методологии Data Vault 2.0, больше с точки зрения управления проектами.
https://datatalks.ru/chapter-3-data-vault-2-0-methodology/
#DataVault
Подробное описание методологии Data Vault 2.0, больше с точки зрения управления проектами.
https://datatalks.ru/chapter-3-data-vault-2-0-methodology/
#DataVault
DataTalks.RU. Data Engineering / DWH / Data Pipeline
Перевод 3 Главы — Методология Data Vault 2.0
Перевод 3 Главы - Методология Data Vault 2.0
🔥13❤2
Smart Data 2024: Использование вероятностных структур данных для оптимизации ETL-процессов
https://youtu.be/qZ8ud40wDPU?si=RDtVMEc8vq3FGeyT
https://youtu.be/qZ8ud40wDPU?si=RDtVMEc8vq3FGeyT
YouTube
Дмитрий Вертлиб — Использование вероятностных структур данных для оптимизации ETL-процессов
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData — https://jrg.su/IiiVf8
При обработке больших данных с использованием фреймворка Apache Spark часто возникает большое количество промежуточной информации,…
— —
Скачать презентацию с сайта SmartData — https://jrg.su/IiiVf8
При обработке больших данных с использованием фреймворка Apache Spark часто возникает большое количество промежуточной информации,…
🔥4
3 и 4 главы книги "Высоконагруженные приложения"
B-tree, OLAP OLTP, Hash Index. Kleppman 3 chapter
JSON, ProtoBuf, Data formats. Kleppman 4 chapter
B-tree, OLAP OLTP, Hash Index. Kleppman 3 chapter
JSON, ProtoBuf, Data formats. Kleppman 4 chapter
YouTube
B-tree, OLAP OLTP, Hash Index. Kleppman 3 chapter
Продолжаем путешествие в мире System Design!
На очереди темы B-tree, OLAP vs OLTP, Hash и другие основные понятия из 3 главы!
Представляю вашему вниманию серию вебинаров от Михаила Масягина:
Который разбирает главу за главой популярнейшей книги Мартина …
На очереди темы B-tree, OLAP vs OLTP, Hash и другие основные понятия из 3 главы!
Представляю вашему вниманию серию вебинаров от Михаила Масягина:
Который разбирает главу за главой популярнейшей книги Мартина …
🔥2
SoftwareMill Kafka Visualization
Визуально можно увидеть, как работает кафка.
https://softwaremill.com/kafka-visualisation/
И дополнительно статья, описывающая инструмент
https://habr.com/ru/articles/865120/
#kafka
Визуально можно увидеть, как работает кафка.
https://softwaremill.com/kafka-visualisation/
И дополнительно статья, описывающая инструмент
https://habr.com/ru/articles/865120/
#kafka
Softwaremill
SoftwareMill Kafka Visualization
Using the Kafka Visualization tool you can simulate how data flows through a replicated Kafka topic, to gain a better understanding of the message processing model.
🔥7👍1