Data Apps Design
1.54K subscribers
143 photos
2 videos
41 files
231 links
В этом блоге я публикую свои выводы и мнения на работу в Data:

— Data Integration
— Database engines
— Data Modeling
— Business Intelligence
— Semantic Layer
— DataOps and DevOps
— Orchestrating jobs & DAGs
— Business Impact and Value
Download Telegram
👋 Привет! Давно не виделись.

Продуктивно работал, качественно отдыхал.

Если сделать выжимку по основным интересам:

🔄 Большой фокус сделал на интеграции данных с помощью dlt. Все пайплайны загрузок (в особенности REST API) теперь строю на этом туле

💾 Запись осуществляю как в традиционные DWH (Snowflake, Clickhouse), так и в Object Storage (Iceberg, Delta)

📊 Значительно продвинулся в использовании Kafka Connect и в частности Debezium для синка данных из операционных СУБД: ad-hoc incremental snapshots, rewind CDC (OpLog) position, преобразования на лету и прочее

☸️ Работал над размещение Kafka + related services в Kubernetes как отказоустойчивого сервиса на базе проекта Strimzi

⚡️ Изучал возможности serverless analytics: (WASM) DuckDB, Matomo

🐳 Вышел на новый уровень использования devcontainer: prebuild & pull, регулярные builds & push свежих версий зависимого ПО, обновления от dependabot

🔐 Совершенствовал безопасность и надежность деплоймента DWH (Snowflake security issues and checklists)

🤖 Прокачивал свой AI enhanced workflow & setup на базе IDE Cursor. В планах пробовать Cline, топовые модельки с OpenRouter

━━━━━━━━━━━━━━━━━━

И, наверное, самая актуальная новость:

🎯 На этой неделе я заканчиваю свою работу в Wheely! Путь длиной в 6 лет подошел к концу.

Причины, результаты работы, наблюдения, дальнейшие планы в следующем посте.

━━━━━━━━━━━━━━━━━━

💬 Какие новости у вас?
🔥418😱42