В данной серии статей я подробно рассказываю о том, как написать на Java собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи...

Привет, Хабр! Меня зовут Илья, я работаю инженером данных в компании Selectel . В отделе BI мы собираем информацию из внутренних и внешних источников и предоставляем аналитикам. У нас достаточно...

В предыдущих сериях ( FAQ • 1 • 2 • 3 • 4 • 5 ) мы весьма подробно рассмотрели, как написать на Java собственный интерпретатор объектно-ориентированного диалекта SQL поверх Spark RDD API, заточенный...

Всем привет! Меня зовут Амир, я Data Engineer в компании «ДЮК Технологии». Расскажу, как мы спроектировали и реализовали на Apache Druid хранилище разрозненных табличных данных. Тысячи...

Привет! Меня зовут Владимир Ходак, я работаю инженером данных в компании "ДЮК Технологии". В статье расскажу о практических аспектах использования Apache NiFi, опишу преимущества и проблемы, с...

Привет! Меня зовут Григорий Митраков, я BI-аналитик в рекламном агентстве. В статье расскажу вам как создать приложение в Power BI по пожеланиям заказчиков. Предыстория После того, как я устроился...

Привет, Хабр! Меня зовут Иван Останин , я тимлид разработки в ВТБ. Направлением работы моей команды являются платформы данных. Сейчас совместно с командой из Холдинга T1 мы работаем над одним из...

Всем привет! Я недавно выступал с  докладом  на VK Kubernetes Conf 2024 про нашу историю изменения подходов к эксплуатации Kubernetes Airflow и хочу поделиться им с сообществом. image Что...

В этой статье я поделюсь с вами своим опытом использования Golang, Kafka и Clickhouse на примере простого ETL-конвейера для параллельной передачи JSON-данных в базу данных с последующим...

Привет, Хабр! Меня зовут Дмитрий и я работаю инженером данных. Это моя первая статья, в ней я хочу поделиться своим пет-проектом, который посвящен созданию ETL-процесса — это один из ключевых...

Уверен многие тру-программисты и без меня это знают, но я решился опубликовать пару реализаций циклов через while, которыми я активно пользуюсь, как автоматизатор, тестировщик и разработчик ETL. while...

DSL — это то, что делает Kafka Streams таким простым и позволяет подняться на более высокий уровень абстракции. В прошлой статье мы рассматривали следующий код: KStream<String, String> source =...

Всем привет! В данной статье мы рассмотрим как можно локально развернуть airflow с помощью docker desktop'a и PyCharm'a. Кроме него развернём ещё и следующее: rabbitMQ, postgreSQL, redis и MongoDB....

В предыдущих статьях [ ноль , один ] мы рассмотрели основные концепции Kafka Streams и сравнили их со стандартными подходами обработки потоковых данных. В этой части мы сосредоточимся на stateless...

Данные превратились в жизненную силу организаций, подпитывая принятие обоснованных решений и стимулируя инновации. Поэтому выбор правильного решения, автоматизирующего их сбор, важен для...

Немного лирики, что такое Apache Airflow — это оркестратор (ваших данных), инструмент для создания, планирования и мониторинга рабочих процессов (так называемых DAGs — Directed Acyclic Graphs). Что с...

По версии Grand View, в 2025 году рынок автоматизации бизнес-процессов вырастет до 26 млрд долларов. Это доказывает, что компании видят автоматизацию одним из главных факторов успеха и все чаще...

В предыдущих статьях Kafka Streams ч1: Привет, мир Kafka Streams ч2: DSL, Processor API Kafka Streams ч3: Stateless processing мы познакомились с основами Kafka Streams и рассмотрели stateless...

Лишь 25% времени разработчика уходит на написание кода. Остальное тратится на ревью, созвоны и другие задачи. Поэтому справедливо, что большинство команд разработки использует различные методики и...

Это моя финальная часть(ну пока что ;)) серии статей про Kafka Streams, прошлые статьи тут [ ноль , один , два , три ] Теперь давайте разработаем приложение, которое считывает: События о пульсе из...