https://www.phind.com/ - Phind: The AI search engine for developers.

Get instant answers, explanations, and examples for all of your technical questions.

Youtube PlayList: Apache NiFi с нуля за 3 часа. Конструктор вместо кода

1. Apache NiFi Install v1.14.0
2. Apache NiFi. Введение и первый опыт на практике. Это же конструктор!
3. Процессоры в Apache NiFi и не только. Разбираемся с деталями конструктора
4. Apache NiFi особенности. Без чего не выйти в прод
5. Проблемы с Apache NiFi и как с ними бороться. Наш опыт
6. Как ускорить процессоры в Apache NiFi. Оптимизация
7. История изменений данных в Apache NiFi. Data Provenance
8. Apache NiFi Registry Install v1.14.0
9. Экспорт и импорт потоков с помощью рук, Rest Api и Apache NiFi Registry
10. Git, Apache NiFi Registry и CI/CD
11. Обзор Keycloak и настройка SSO в NiFi
12. Выкачиваем код Apache NiFi. Меняем под себя и делаем UI для процессора

https://www.youtube.com/playlist?list=PL4MpKy3QjNp_rOEEibc4Ro8UK4g8vLX6_

AvitoTech Team PlayBook

Открытый справочник по ценностям, бизнес-процессам, стандартам, процедурам и правилам, которые используются в команде разработки в Авито.

https://github.com/avito-tech/playbook

Подсмотрел в канале @rtdlinks

Spark Connect Available in Apache Spark 3.4 - The Databricks Blog
https://www.databricks.com/blog/2023/04/18/spark-connect-available-apache-spark.html

Best practices for caching in Spark SQL | by David Vrba | Towards Data Science
https://towardsdatascience.com/best-practices-for-caching-in-spark-sql-b22fb0f02d34

Clickhouse datasource for grafana

Altinity ClickHouse datasource plugin provides a support for ClickHouse as a backend database.

Initially plugin developed by Vertamedia, maintaned by Altinity since 2020.

https://github.com/Altinity/clickhouse-grafana

Try Redis — тренажёр для освоения Redis БД

Redis — это удобное и быстрое хранилище данных класса NoSQL, которое хранит и работает с данными типа «ключ — значение». Redis известен своей высокой производительностью, простотой и универсальностью.

А потренироваться в использовании вам поможет тренажёр Try Redis, который может генерировать запросы:

https://try.redis.io/

#redis

@sqlhub

Data Pipeline with Airflow and AWS Tools (S3, Lambda & Glue) | by João Pedro | Apr, 2023 | Towards Data Science
https://towardsdatascience.com/data-pipeline-with-airflow-and-aws-tools-s3-lambda-glue-18585d269761

Делай нейминг как сеньор / Хабр
https://habr.com/ru/companies/dododev/articles/714512/

Prescriber-ETL-data-pipeline: Airflow, PySpark, Apache Superset, etc.

https://github.com/judeleonard/Prescriber-ETL-data-pipeline

Хочу поделиться ссылкой на Шаблон документа для дизайна ML-систем от телеграм-канала Reliable ML

Насколько я понял, Ира железной рукой насаживает этот шаблон как стандарт в учебной системе для молодых МЛщиков, хотя мы с Игорем знаем, что никаких молодых МЛщиков не будет

Задача для собеседования 🤪

Современная Backend Архитектура. Масштабируемые и высоконагруженные приложения
https://youtu.be/ZgojwJEcLn8

Три бесплатных курса на Stepik:
▫️Hadoop. Система для обработки больших объемов данных
▫️PySpark - просто!
▫️Инди-курс программирования на Python

Key Steps in the Database Selection Process - by Alex Xu
https://blog.bytebytego.com/p/key-steps-in-the-database-selection

Будущее после оркестраторов / Хабр
https://habr.com/ru/companies/otus/articles/732998/