Приветствую тебя в рядах OpenSource, о великий Datalens https://datalens.tech/

Кажется, что сегодня у Russian BI разработчиков пригорит 😏

🔹 Хабр: BI-инструмент от Яндекса DataLens — теперь в опенсорсе

~~~
Исходный код DataLens состоит из трех основных частей:
🔹 Пользовательский интерфейс — это SPA-приложение с соответствующей частью Node.js. Он предоставляет пользовательский интерфейс, передает запросы пользователей к серверным службам, а также применяет некоторую легкую постобработку данных для диаграмм.
🔹 Бэкэнд — это набор приложений и библиотек Python. Он отвечает за подключение к источникам данных, формирование запросов к ним и постобработку данных (включая вычисления по формулам). Результатом этой работы является абстрактный набор данных, который можно использовать в пользовательском интерфейсе для запроса данных диаграмм.
🔹 UnitedStorage (US) — это служба Node.js, которая использует PostgreSQL для хранения метаданных и конфигурации всех объектов DataLens.

An ETL example for Yandex.Tracker. Export issue metadata & agile metrics to OLAP data storage

https://github.com/akimrx/yandex-tracker-exporter

Managed Service for ClickHouse®
🔸 Бесплатный практический курс
🔸 Семь модулей для изучения в произвольном порядке
🔸 Лучшие практики работы с ClickHouse

https://cloud.yandex.ru/training/clickhouse

⚡️ Github Copilot Chat in Open Beta: Now Available for All Individuals in Visual Studio and VS Code

https://www.infoq.com/news/2023/10/github-copilot-chat-open-beta/

Подборка статей по Apache Airflow:
🔸 Airflow DAGs, ч.1 — Основы и расписания
🔸 Airflow DAGs, ч.2 — Операторы и Датчики
🔸 Airflow DAGs, ч.3 — Проектирование DAG
🔸 Внедрение Airflow для управления Spark-джобами в ivi: надежды и костыли
🔸 Airflow vs NiFi: исследуем оркестратор для формирования витрин данных

Проекты по анализу данных и продуктовой аналитике
https://github.com/belladzhu?tab=repositories

Собеседование в Яндекс. Алгоритмы

https://www.youtube.com/live/tfvm2k5c9JI?si=1V9uX0Bq9kwfeHvQ

An Overview of the End-to-End Machine Learning Workflow

In this section, we provide a high-level overview of a typical workflow for machine learning-based software development. Generally, the goal of a machine learning project is to build a statistical model by using collected data and applying machine learning algorithms to them. Therefore, every ML-based software includes three main artifacts: Data, ML Model, and Code. Corresponding to these artifacts, the typical machine learning workflow consists of three main phases:

🔹Data Engineering: data acquisition & data preparation,
🔹ML Model Engineering: ML model training & serving, and
🔹Code Engineering: integrating ML model into the final product.

Обработка данных на Apache Airflow в Yandex Cloud

https://www.youtube.com/live/jF3YemOVofQ?si=zLFx_416vByV3za9

Развертывание Apache Airflow. CI/CD для DAG

https://youtu.be/cuQBbw2-7fM?si=Sk_L--wPiypgGN98

GitHub - ripienaar/free-for-dev: A list of SaaS, PaaS and IaaS offerings that have free tiers of interest to devops and infradev

https://github.com/ripienaar/free-for-dev

Free for Developers
https://free-for.dev/

ClickHouse: как устроен MergeTree / Хабр
https://habr.com/ru/articles/539538/

Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов / Хабр
https://habr.com/ru/companies/cedrusdata/articles/744934/

Курс про Apache Airflow бесплатно

Решил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курс
За то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.

В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.

Велком!

The ultimate guide to dbt – Count
https://count.co/blog/the-ultimate-guide-to-dbt/

Курс по dbt с нуля. Занятие 2
Особенности установки на Windows.
Запуск ClickHouse в wsl 2.

https://youtu.be/wSUbJ5lUahw?si=_Q60ad9AQYk3lpQD