Хочу поделиться ссылкой на Шаблон документа для дизайна ML-систем от телеграм-канала Reliable ML

Насколько я понял, Ира железной рукой насаживает этот шаблон как стандарт в учебной системе для молодых МЛщиков, хотя мы с Игорем знаем, что никаких молодых МЛщиков не будет

Задача для собеседования 🤪

Современная Backend Архитектура. Масштабируемые и высоконагруженные приложения
https://youtu.be/ZgojwJEcLn8

Три бесплатных курса на Stepik:
▫️Hadoop. Система для обработки больших объемов данных
▫️PySpark - просто!
▫️Инди-курс программирования на Python

Key Steps in the Database Selection Process - by Alex Xu
https://blog.bytebytego.com/p/key-steps-in-the-database-selection

Будущее после оркестраторов / Хабр
https://habr.com/ru/companies/otus/articles/732998/

what's new in Apache Airflow 2.6.0 | Apache Airflow
https://airflow.apache.org/blog/airflow-2.6.0/

Бесплатный курс «Инженер облачных сервисов»: онлайн-обучение — Яндекс Практикум

Инструменты, которые вы освоите:
▫️Управление облачной инфраструктурой
▫️Хранение и анализ данных
▫️Работа с контейнерами
▫️Разработка приложений в облаке
▫️Защита облачных ресурсов


https://practicum.yandex.ru/ycloud/

OpenMetadata 1.0 Release. Improved Schemas & APIs, Ingestion… | by Sriharsha Chintalapani | May, 2023 | OpenMetadata
https://blog.open-metadata.org/openmetadata-1-0-release-beb34762d916

Архитектура современных frontend приложений
https://youtu.be/c3JGBdxfYcU

Архитектура ПО. Введение
https://youtu.be/JXI2CsT2ZZQ

Apache Airflow - OpenApi Client for Python
https://github.com/apache/airflow-client-python

Docker Compose для разработчика pdf

Linux by Rebrain: Базовые знания

Что обсуждается в видео:
🔹Что нужно знать и уметь, чтобы чувствовать себя комфортно в Linux
🔹Где мои диски?! (VFS, монтирование)
🔹Что пришло из мира UNIX в большинство операционных систем?

https://www.youtube.com/watch?v=hltUg3T1MJU

awesome-bigdata
A curated list of awesome big data frameworks, resources and other awesomeness. Inspired by awesome-php, awesome-python, awesome-ruby, hadoopecosystemtable & big-data.

https://github.com/newTendermint/awesome-bigdata

StarRocks

StarRocks is the next-generation data platform designed to make data-intensive real-time analytics fast and easy. It delivers query speeds 5 to 10 times faster than other popular solutions. StarRocks can perform real-time analytics well while updating historical records. It can also enhance real-time analytics with historical data from data lakes easily. With StarRocks, you can get rid of the de-normalized tables and get the best performance and flexibility.

https://github.com/StarRocks/starrocks

Такой ChatGPT упертый 🫣
(пример скрипта Web Scraping TikTok)
https://telegra.ph/Moya-popytka-obojti-Chat-GPT-po-TikTok-05-17

Clickhouse — база данных для гибкого анализа огромных потоков информации. Microsoft, Uber и Deutsche Bank — лишь некоторые известные пользователи.

Как экспериментальный проект одного разработчика вырос в отдельную компанию с оценкой в миллионы долларов — говорим с создателем Clickhouse Лешей Миловидовым.

Слушайте на всех платформах: Apple, Google, Яндекс, Spotify, Castbox, Overcast, веб-версия.

Примеры скриптов для парсинга сайтов
https://github.com/nefelsay/stepik_parsing/tree/main

Еще немного бубнежа про Modern Data Stack

https://www.rudderstack.com/assets/the-data-maturity-guide.pdf

Продолжая разговор про modern data stack, у ребят из Rudderstack (rudderstack.com, cloud data platrofm) на своем сайте рассказывают, насколько этот ваш MDS сложная концептуальная штука, ничего не понятно и очень много всяких иконок, в том числе их самих. Ключевая цитата там звучит вот так:

Let’s be honest. The modern data stack is an ambiguous concept. It’s confusing and impractical. What we need is a real-world roadmap to help us progressively build more mature data functions. So we developed a practical four-stage framework to guide you along your journey to data maturity.

Поэтому за емейл они предлагают свой гайд по тому, как оценивать свои хотелки и что вам действительно нужно в текущей ситуации из DE инструментов. Сам гайд на 80 страниц, если вам предстоит самим строить какое-то хранилище или вы на пороге того, что надо все нафиг переписать - довольно неплохо описаны всякие подходы и концепции. Ссылок на конкретные инструменты не заметил, а вот примеры типичных проблем и pain points описания - мне понравилось.

Вообще, Data Maturity - головная боль последних моих недель, ибо нужно решить вопросики по всяким стратегиям, подходам и инструментам, а это непросто дается.

@ohmydataengineer