Глава 1 «Big Data» — Data Architectures

Перевод первой главы из книги Deciphering Data Architectures

https://datatalks.ru/big-data-data-architectures/

#big_data #bigdata

Глава 2 "Типы архитектур данных"

Перевод второй главы из книги Deciphering Data Architectures

https://datatalks.ru/types-of-data-architectures/

#data_architecture

Я тут подумал, что нужно сделать, если вдруг начнётся нашествие LLM на прогеров.

План такой: те, кто пострадал, генерируют кучу нерабочего и ошибочного кода. LLM постепенно переобучивается и начинает сама себя уничтожать.

Компании массово отказываются от LLM в ключевых процессах и нанимают втридорога разрабов обратно 😇

------‐-------------------

А если серьёзно - вот курс по LLM (бесплатно, но на инглише) https://github.com/mlabonne/llm-course

How I Built This Data Platform in One Week | by Dorian Teffo | DataDrivenInvestor

Airflow + Cosmos + DBT

https://medium.datadriveninvestor.com/how-i-built-this-data-platform-in-one-week-13b457d7c323

How we orchestrate 2000+ DBT models in Apache Airflow | by Alexandre Magno Lima Martins | Apache Airflow | Medium

Статья описывает опыт интеграции dbt с Apache Airflow для оркестрации более 2000 моделей данных.
Авторы делятся подходом к разделению проекта dbt на несколько DAG в Airflow, что позволяет устанавливать различные расписания, уровни доступа и уведомления для разных групп моделей.

Они также обсуждают создание собственного оператора DBTOperator для эффективного запуска задач dbt в Airflow. В результате такой интеграции аналитики и владельцы продуктов могут самостоятельно создавать и поддерживать модели данных, используя только SQL и базовые знания Git, без необходимости глубокого понимания Airflow.

https://medium.com/apache-airflow/how-we-orchestrate-2000-dbt-models-in-apache-airflow-90901504032d

How AI Agents & Data Products Work Together to Support Cross-Domain Queries & Decisions for Businesses

Статья предлагает анализ того, как интеграция AI-агентов и продуктов данных может трансформировать профессиональную деятельность data engineer.

https://moderndata101.substack.com/p/how-ai-agents-and-data-products-work

Системный дизайн — это основа для создания надежных, масштабируемых и производительных систем обработки данных. Он помогает выбирать подходящие инструменты для ETL/ELT, проектировать хранилища, оптимизировать запросы и ресурсы. Без него сложно обеспечить отказоустойчивость, безопасность и интеграцию потоков данных.

Подборка с YouTube по Системному дизайну
▫️PlayList System Design (Interview Pen) - English
▫️Data Engineer тренирует System Design секцию. Собеседует @halltape | rzv_de | Aug 2024
▫️System Design - теория шардирования | Как масштабировать базы данных
▫️Как кэшировать данные | Теория кэширования - System Design
▫️Проектирование баз данных за 40 минут. Практика
▫️PlayList Системный дизайн (Eugene Suleimanov)
▫️PlayList System Design Fundamentals (ByteByteGo)
▫️Как подготовиться и пройти System Design Interview. Александр Поломодов
▫️Владимир Маслов — System Design. Как построить распределенную систему и пройти собеседование

System Design. База. Разбор книги "Высоконагруженные приложения". Глава 1

Давно приметил эту книжечку, а теперь можно посмотреть обзор🔥

https://youtu.be/owjrIB_5go8?si=DecnwBn9YycV3Jxc

Как приготовить DataVault и не убить GreenPlum

https://youtu.be/x9U0mKxp41w?si=s6-4PW2JtrDodLMt

#GreenPlum #DataVault

System Design - Теория шардирования. Как масштабировать базы данных

https://youtu.be/d6BtxBKhQoc?si=DPhblrYssQX87MRT

Что такое Rest API (http)? Soap? GraphQL? Websockets? RPC (gRPC, tRPC). Клиент - сервер. Вся теория

https://youtu.be/XaTwnKLQi4A?si=p1cG48FQfz2CREAD