What's new in Apache Airflow 2.7
https://youtu.be/uB7zweaF8EA?si=mJXJaiaYBh-d21GX
https://youtu.be/uB7zweaF8EA?si=mJXJaiaYBh-d21GX
YouTube
What's new in Apache Airflow 2.7?
What's new in Apache Airflow 2.7?
🏆 BECOME A PRO WITH AIRFLOW: https://www.udemy.com/course/the-complete-hands-on-course-to-master-apache-airflow/?couponCode=4677CF7EF58D6AAD9A0C
Here are the big changes:
➡️ Initialize and delete resources tasks need…
🏆 BECOME A PRO WITH AIRFLOW: https://www.udemy.com/course/the-complete-hands-on-course-to-master-apache-airflow/?couponCode=4677CF7EF58D6AAD9A0C
Here are the big changes:
➡️ Initialize and delete resources tasks need…
Swagger для данных в AirFlow: спецификация OpenLineage
https://bigdataschool.ru/blog/what-is-openlineage-for-airflow.html
https://bigdataschool.ru/blog/what-is-openlineage-for-airflow.html
Курсы Big Data, ClickHouse, Airflow,Greenplum, Kafka и Spark
Что такое OpenLineage и как это связано с Apache AirFlow
Как Apache AirFlow отслеживает происхождение данных, какова структура спецификации OpenLineage, че
Is ClickHouse Moving Away from Open Source? – Altinity
Интересно про развитие опен соурс решений. Вообще стратегия развития опенсоурс поверх ядра логичная и на мой взгляд очень правильная. Главное, чтоб не в ущерб ядру и не продались бы кому-то, кто все разрушит.
Preset.io также суперсет развивает. Это большие инвестиции в продукт. А так каждый второй сможет свой saas сервис поднять нахаляву)
https://altinity.com/blog/is-clickhouse-moving-away-from-open-source
Интересно про развитие опен соурс решений. Вообще стратегия развития опенсоурс поверх ядра логичная и на мой взгляд очень правильная. Главное, чтоб не в ущерб ядру и не продались бы кому-то, кто все разрушит.
Preset.io также суперсет развивает. Это большие инвестиции в продукт. А так каждый второй сможет свой saas сервис поднять нахаляву)
https://altinity.com/blog/is-clickhouse-moving-away-from-open-source
Altinity | Run open source ClickHouse® better
Is ClickHouse® Moving Away from Open Source?
Open source licensing helped ClickHouse grow. Now the project is moving to open core. Should users be concerned?
ClickHouse Fundamentals - IST/SGT/AEDT
https://clickhouse.com/company/events/apac-clickhouse-fundamentals
https://clickhouse.com/company/events/apac-clickhouse-fundamentals
ClickHouse
ClickHouse Fundamentals
You've heard about the power and performance of ClickHouse. Maybe you've even tried it yourself. In this 2-day (3 hrs per day) instructor-led workshop, you will learn what you need to be successful quickly.
❤1
Приветствую тебя в рядах OpenSource, о великий Datalens https://datalens.tech/
Кажется, что сегодня у Russian BI разработчиков пригорит 😏
🔹 Хабр: BI-инструмент от Яндекса DataLens — теперь в опенсорсе
~~~
Исходный код DataLens состоит из трех основных частей:
🔹 Пользовательский интерфейс — это SPA-приложение с соответствующей частью Node.js. Он предоставляет пользовательский интерфейс, передает запросы пользователей к серверным службам, а также применяет некоторую легкую постобработку данных для диаграмм.
🔹 Бэкэнд — это набор приложений и библиотек Python. Он отвечает за подключение к источникам данных, формирование запросов к ним и постобработку данных (включая вычисления по формулам). Результатом этой работы является абстрактный набор данных, который можно использовать в пользовательском интерфейсе для запроса данных диаграмм.
🔹 UnitedStorage (US) — это служба Node.js, которая использует PostgreSQL для хранения метаданных и конфигурации всех объектов DataLens.
Кажется, что сегодня у Russian BI разработчиков пригорит 😏
🔹 Хабр: BI-инструмент от Яндекса DataLens — теперь в опенсорсе
~~~
Исходный код DataLens состоит из трех основных частей:
🔹 Пользовательский интерфейс — это SPA-приложение с соответствующей частью Node.js. Он предоставляет пользовательский интерфейс, передает запросы пользователей к серверным службам, а также применяет некоторую легкую постобработку данных для диаграмм.
🔹 Бэкэнд — это набор приложений и библиотек Python. Он отвечает за подключение к источникам данных, формирование запросов к ним и постобработку данных (включая вычисления по формулам). Результатом этой работы является абстрактный набор данных, который можно использовать в пользовательском интерфейсе для запроса данных диаграмм.
🔹 UnitedStorage (US) — это служба Node.js, которая использует PostgreSQL для хранения метаданных и конфигурации всех объектов DataLens.
DataLens
A modern, scalable analytics system with a user-friendly interface and native integration with other Yandex open-source products.
🔥2❤1
An ETL example for Yandex.Tracker. Export issue metadata & agile metrics to OLAP data storage
https://github.com/akimrx/yandex-tracker-exporter
https://github.com/akimrx/yandex-tracker-exporter
GitHub
GitHub - akimrx/yandex-tracker-exporter: ETL tool for Yandex.Tracker. Export, transform and load issue metadata, changelog and…
ETL tool for Yandex.Tracker. Export, transform and load issue metadata, changelog and agile metrics to Clickhouse storage. - akimrx/yandex-tracker-exporter
Что нужно знать бэкенд-разработчику web-приложений.
Backend Roadmap
https://github.com/bzick/oh-my-backend
Backend Roadmap
https://github.com/bzick/oh-my-backend
GitHub
GitHub - bzick/oh-my-backend: Что нужно знать бэкенд-разработчику web-приложений. Backend Roadmap (from Junior to Senior).
Что нужно знать бэкенд-разработчику web-приложений. Backend Roadmap (from Junior to Senior). - bzick/oh-my-backend
Managed Service for ClickHouse®
🔸 Бесплатный практический курс
🔸 Семь модулей для изучения в произвольном порядке
🔸 Лучшие практики работы с ClickHouse
https://cloud.yandex.ru/training/clickhouse
🔸 Бесплатный практический курс
🔸 Семь модулей для изучения в произвольном порядке
🔸 Лучшие практики работы с ClickHouse
https://cloud.yandex.ru/training/clickhouse
yandex.cloud
Курс Managed Service for ClickHouse®
Бесплатный курс из 7 тем с теорией и практикой по проектированию и администрированию баз данных с помощью Managed Service for ClickHouse для практикующих data‑инженеров и data‑аналитиков. Свидетельство об окончании
❤4
⚡️ Github Copilot Chat in Open Beta: Now Available for All Individuals in Visual Studio and VS Code
https://www.infoq.com/news/2023/10/github-copilot-chat-open-beta/
https://www.infoq.com/news/2023/10/github-copilot-chat-open-beta/
InfoQ
GitHub Copilot Chat in Open Beta: Now Available for All Individuals in Visual Studio and VS Code
GitHub Copilot Chat is a chat interface that allows developers to ask and receive answers to coding-related questions directly within a supported IDE. It is currently in open beta and available for all GitHub Copilot individual users across Visual Studio…
Подборка статей по Apache Airflow:
🔸 Airflow DAGs, ч.1 — Основы и расписания
🔸 Airflow DAGs, ч.2 — Операторы и Датчики
🔸 Airflow DAGs, ч.3 — Проектирование DAG
🔸 Внедрение Airflow для управления Spark-джобами в ivi: надежды и костыли
🔸 Airflow vs NiFi: исследуем оркестратор для формирования витрин данных
🔸 Airflow DAGs, ч.1 — Основы и расписания
🔸 Airflow DAGs, ч.2 — Операторы и Датчики
🔸 Airflow DAGs, ч.3 — Проектирование DAG
🔸 Внедрение Airflow для управления Spark-джобами в ivi: надежды и костыли
🔸 Airflow vs NiFi: исследуем оркестратор для формирования витрин данных
🔥4👍2
An Overview of the End-to-End Machine Learning Workflow
In this section, we provide a high-level overview of a typical workflow for machine learning-based software development. Generally, the goal of a machine learning project is to build a statistical model by using collected data and applying machine learning algorithms to them. Therefore, every ML-based software includes three main artifacts: Data, ML Model, and Code. Corresponding to these artifacts, the typical machine learning workflow consists of three main phases:
🔹Data Engineering: data acquisition & data preparation,
🔹ML Model Engineering: ML model training & serving, and
🔹Code Engineering: integrating ML model into the final product.
In this section, we provide a high-level overview of a typical workflow for machine learning-based software development. Generally, the goal of a machine learning project is to build a statistical model by using collected data and applying machine learning algorithms to them. Therefore, every ML-based software includes three main artifacts: Data, ML Model, and Code. Corresponding to these artifacts, the typical machine learning workflow consists of three main phases:
🔹Data Engineering: data acquisition & data preparation,
🔹ML Model Engineering: ML model training & serving, and
🔹Code Engineering: integrating ML model into the final product.
Обработка данных на Apache Airflow в Yandex Cloud
https://www.youtube.com/live/jF3YemOVofQ?si=zLFx_416vByV3za9
https://www.youtube.com/live/jF3YemOVofQ?si=zLFx_416vByV3za9
YouTube
Обработка данных на Apache Airflow в Yandex Cloud
Для анализа данных в облаке не достаточно СУБД и средств визуализации — нужен ещё и понятный инструмент, который автоматизирует сбор, подготовку и обработку данных. На вебинаре мы расскали о таком сервисе — Apache Airflow.
Эксперты Yandex Cloud обсудили:…
Эксперты Yandex Cloud обсудили:…