Архитектура современных frontend приложений
https://youtu.be/c3JGBdxfYcU

Архитектура ПО. Введение
https://youtu.be/JXI2CsT2ZZQ

Apache Airflow - OpenApi Client for Python
https://github.com/apache/airflow-client-python

Docker Compose для разработчика pdf

Linux by Rebrain: Базовые знания

Что обсуждается в видео:
🔹Что нужно знать и уметь, чтобы чувствовать себя комфортно в Linux
🔹Где мои диски?! (VFS, монтирование)
🔹Что пришло из мира UNIX в большинство операционных систем?

https://www.youtube.com/watch?v=hltUg3T1MJU

awesome-bigdata
A curated list of awesome big data frameworks, resources and other awesomeness. Inspired by awesome-php, awesome-python, awesome-ruby, hadoopecosystemtable & big-data.

https://github.com/newTendermint/awesome-bigdata

StarRocks

StarRocks is the next-generation data platform designed to make data-intensive real-time analytics fast and easy. It delivers query speeds 5 to 10 times faster than other popular solutions. StarRocks can perform real-time analytics well while updating historical records. It can also enhance real-time analytics with historical data from data lakes easily. With StarRocks, you can get rid of the de-normalized tables and get the best performance and flexibility.

https://github.com/StarRocks/starrocks

Такой ChatGPT упертый 🫣
(пример скрипта Web Scraping TikTok)
https://telegra.ph/Moya-popytka-obojti-Chat-GPT-po-TikTok-05-17

Clickhouse — база данных для гибкого анализа огромных потоков информации. Microsoft, Uber и Deutsche Bank — лишь некоторые известные пользователи.

Как экспериментальный проект одного разработчика вырос в отдельную компанию с оценкой в миллионы долларов — говорим с создателем Clickhouse Лешей Миловидовым.

Слушайте на всех платформах: Apple, Google, Яндекс, Spotify, Castbox, Overcast, веб-версия.

Примеры скриптов для парсинга сайтов
https://github.com/nefelsay/stepik_parsing/tree/main

Еще немного бубнежа про Modern Data Stack

https://www.rudderstack.com/assets/the-data-maturity-guide.pdf

Продолжая разговор про modern data stack, у ребят из Rudderstack (rudderstack.com, cloud data platrofm) на своем сайте рассказывают, насколько этот ваш MDS сложная концептуальная штука, ничего не понятно и очень много всяких иконок, в том числе их самих. Ключевая цитата там звучит вот так:

Let’s be honest. The modern data stack is an ambiguous concept. It’s confusing and impractical. What we need is a real-world roadmap to help us progressively build more mature data functions. So we developed a practical four-stage framework to guide you along your journey to data maturity.

Поэтому за емейл они предлагают свой гайд по тому, как оценивать свои хотелки и что вам действительно нужно в текущей ситуации из DE инструментов. Сам гайд на 80 страниц, если вам предстоит самим строить какое-то хранилище или вы на пороге того, что надо все нафиг переписать - довольно неплохо описаны всякие подходы и концепции. Ссылок на конкретные инструменты не заметил, а вот примеры типичных проблем и pain points описания - мне понравилось.

Вообще, Data Maturity - головная боль последних моих недель, ибо нужно решить вопросики по всяким стратегиям, подходам и инструментам, а это непросто дается.

@ohmydataengineer

Пишем первый ML-пайплайн на Airflow: подробный туториал / Хабр
https://habr.com/ru/articles/737046/

THE APACHE SOFTWARE FOUNDATION ANNOUNCES NEW TOP-LEVEL
https://www.globenewswire.com/news-release/2023/05/31/2679450/17401/en/THE-APACHE-SOFTWARE-FOUNDATION-ANNOUNCES-NEW-TOP-LEVEL-PROJECT-APACHE-SEATUNNEL.html

https://github.com/apache/seatunnel - SeaTunnel is a distributed, high-performance data integration platform for the synchronization and transformation of massive data (offline & real-time).

Что такое Kubernetes?
https://youtu.be/klmpiHLSuXA

Top 6 Most Popular API Architecture Styles

https://youtu.be/4vLxWqE94l4

Data Engineering Bootcamp final project

Presentation of the WeCLoudData Data Engineering Bootcamp final project. This project builds a real-time application that collects data streamed from airplanes into an API called OpenSky REST API, and streams the data collected using Kafka and Spark Streaming to create live visual models that can be analyzed on Apache Superset.

https://www.youtube.com/watch?v=YLg45TL1GPA

GitHub - alanchn31/Data-Engineering-Projects: Personal Data Engineering Projects
https://github.com/alanchn31/Data-Engineering-Projects