Канал про Apache Superset. Здесь периодически публикуются свежие материалы и новости по Open-Source продукту.

Подписывайтесь 😉👍
https://t.me/apache_superset_bi

#реклама

Manage data like a product to unlock full value | McKinsey
https://www.mckinsey.com/business-functions/quantumblack/our-insights/how-to-unlock-the-full-value-of-data-manage-it-like-a-product

The State of Data Engineering 2022 - LakeFS
https://lakefs.io/the-state-of-data-engineering-2022/

Luxoft Tableau Style Guide

byAlex Barakov


https://public.tableau.com/app/profile/alexandr.barakov/viz/LuxoftTableauStyleGuide6/Hello

Начинающие аналитики часто сталкиваются со стандартными ошибками в построении пути до файла в Pandas. Чтобы вам было легче разобраться, мы записали видео с разбором основных способов построения пути на примере курса «Аналитик данных».

Примеры drawio диаграмм https://github.com/jgraph/drawio-diagrams/

Рубрика "бла бла бла"

K8S vs Docker

Что может случиться, если в компании принимается решение об единообразной платформе развертывании контейнерных приложений? Например, в компании на высшем уровне договорились развертывать все контейнерные приложения для всех подразделений только на kubernetes. В таком случае будьте готовы, что это решение повлияет на развитии внутренних сервисов компании негативным образом.

Почему? Мощности подразделения DevOps могут быть ограничены, а работать с K8S могут быть подготовлены не все сотрудники. Призыв "А ну-ка изучите kubernetes" у многих может вызывать отторжение, хотя бы потому, что в свободное от работы время учить не хочется дополнительный инструмент, а в рабочее время - аврал и надо бежать делать другие задачи. Лично у меня еще срабатывает желание подтянуть Docker, а не идти еще учить k8s, который еще и сложнее на порядок.

Лучшим на мой взгляд решением является принятие единой технологической платформы только для критически важной инфраструктуры (в т.ч. сервисов, приносящих деньги). А для других подразделений можно предоставить выбор k8s или docker. При этом тем, кто выбрал docker оказывать необходимую поддержку (возможно даже нанять отдельного devops инженера с хорошими знаниями docker).

Такое решение поспособствует развитию локальных экспертиз отдельных команд, плюс развитие внутренних продуктов компании только ускорится. Не каждый сотрудник, изучив Docker готов пойти изучать еще и kubernetes.

---

Как это может повлиять на отдел аналитики? Например, сейчас я бы хотел развернуть в компании Apache Airflow, Apache NiFi и DataHub Project, но все это придется поднимать на kubernetes. Дополнительным условием является поднятие сразу двух сред prod и stage. Т.к. datahub еще состоит из множества сервисов, то связываться с ним devops не захотят. Какой результат? Правильно - никакой. Фактически внутри ИТ приняты договоренности, которые препятствуют развитию инструментария для работы с данными.

Да, можно выпросить Linux машину и все поставить самостоятельно сбоку. Но тогда возникает ситуация, при которой вроде договорились использовать k8s, а все равно сбоку отпочковываются сервисы на Docker. Плюс машины Linux админят разработчики, что не безопасно.

---

Резюмируя, хочу сказать следующее: прежде чем вводить ограничения внутри компании, подумайте стоит ли их распространять повсеместно. В ином случае наймите достаточное количество DevOps инженеров, которые бы делали бы все необходимые работы по k8s.

Как собеседовать работодателя? / Хабр
https://habr.com/ru/post/470227/

SimpleMDE - Markdown Editor

A simple, beautiful, and embeddable JavaScript Markdown editor. Delightful editing for beginners and experts alike. Features built-in autosaving and spell checking.

https://github.com/sparksuite/simplemde-markdown-editor

atoti is a free Python BI analytics platform for Quants, Data Analysts, Data Scientists & Business Users to collaborate better, analyze faster and translate their data into business KPIs.

https://github.com/atoti/atoti

📌 Диаграммы в Python ↩️

Это, конечно, дело вкуса и привычки, кому-то больше нравится создавать визуализации вручную. Но я, например, люблю решать с помощью кода любые задачи, которые таким способом можно решить (например, верстка статей или презентаций с помощью latex – улет, по крайней мере с точки зрения визуальной составляющей результата, про сам язык, конечно, этого не скажешь!).

Так вот, новый пакет diagrams для Python (который работает на базе graphviz) позволяет нарисовать архитектуру облачной системы в коде Python. Изначально, пакет был создан для создания прототипа новой или уже существующей системной архитектуры без каких-либо инструментов проектирования. В настоящее время Diagrams поддерживает такие инструменты как AWS, Azure, GCP, Kubernetes, Alibaba Cloud, Oracle Cloud, а также локальные узлы, SaaS и основные платформы и языки программирования.
На сайте примеры диаграмм, которые созданы с помощью этого пакета, как вам?

10 Python Mistakes That Tell You’re a Nooby | by Frank Andrade | Geek Culture | Medium
https://medium.com/geekculture/10-python-mistakes-that-tell-youre-a-nooby-359487f22c97

Complete Data Engineer’s Vocabulary | by Kovid Rathee | Towards Data Science
https://towardsdatascience.com/complete-data-engineers-vocabulary-87967e374fad