#вакансия от Банк «Открытие».

Они ищут ведущего аналитика с опытом работы в Power BI, MS SQL/MySQL/Oracle, Excel

Мы ждём человека, который умеет анализировать маркетинговые данные, данные о продажах и результаты опросов, строить дашборды, выявлять зависимости и корреляции, сверять данные с макропрогнозами и визуализировать результаты в Power BI.

Требования:
- умение строить дашборды
- готовность интенсивно обучаться
- желание разбираться в банковском бизнесе (опыт работы в банковской/финансовой отрасли приветствуется)
- ориентация на создание ценности для конечного получателя
- навыки операционной аналитики или навыки парсинга данных (как существенное преимущество)

Условия работы:
- Оклад 150-180 тыс руб + квартальные и годовые премии
- График 5/2, офис м.Павелецкая (5 мин от метро)
- ДМС после испытательного срока (3 мес)

Резюме и сопроводительное письмо отправлять на mariya.zlenko@open.ru

Вам спасибо!

Slalom Build написал про Data Lakehouse на базе Apache Hudi https://medium.com/slalom-build/data-lakehouse-building-the-next-generation-of-data-lakes-using-apache-hudi-41550f62f5f

Про devops. Это легко делать с ETL/ELT когда у нас есть code, но сложно или не возможно в BI. Кто-нибудь заморачивался?

Заключительный урок курса Введение в Data Science и Machine Learning (ML-101) - Multi-Class Classification: Practice

Если вы еще не знаете, что такое ML и Data Science - то вам на курс

Analytics isn’t a technical field. Our job as analysts is to help companies make good decisions, and that requires curiosity and critical thinking, not an advanced degree in computer science. https://benn.substack.com/p/analytics-is-at-a-crossroads

Тут как раз можно смело говорить, что задача BI помогать бизнесу принимать правильные решения, им не нужно техническое образование для этого, но понадобятся как минимум технические навыки работы в BI, Excel или SQL. А вот DE наоборот, тут в основном только технические навыки, и computer science degree это большой плюс. Но если его нет (как у меня), это не проблема, путем проб и ошибок, изучения доп материалов можно максимально закрыть проблемы (но это займет время, я до сих пор в процессе)

Венчурные компании активно изучают рынок data и инвестируют в компании. Иногда они публикуют отчеты (возможно, чтобы подтвердить свои гипотезы):

Roadmap: Data Infrastructure https://www.bvp.com/atlas/roadmap-data-infrastructure
"The modern cloud data stack is undergoing massive construction and the future of software will be defined by the accessibility and use of data."

Наша команда опубликовала новую вакансию - Data Scientist. Лично мне описание совсем не понравилось, так как это больше похоже на BI. Тем не менее есть всего лишь одно упоминание про опыт с ML и data science. В идеале я бы хотел инженера по spark и ML(Databricks, MLlib, MLflow), чтобы мы вместе могли построить крутые, в идеале инновационные вещи по ML в gaming. Но к сожаление, data engineering находится не в аналитическом департаменте (тоже не согласен), а в игровых сервисах, и мое мнение не особо интересно про описание вакансии.

PS ,если вы в Канаде или в Штатах, я конечно могу вас рефернуть. А вдруг

Если вы активны в linkedin, то вы поймёте))

10 Common Mistakes When Building Analytical Data Models
1. Treating Schema Design as a One-Off Project
2. Building Tables and ETL Processes That Are Too Big
3. Choosing (And Sticking To) The Wrong Modeling Approach
4. Lack of Empathy for the End Users
5. Not Tracking Changes Made to Your Data
6. Mixing Data With Different Granularity
7. Using Poor Naming Conventions
8. Too Many Views
9. Thinking Short Term
10. Insufficient Communication Between Data Consumers

Стали доступны доклады с Airflow Summit 2021 🔥. Из наиболее интересных тем:

- The new modern data stack Airbyte Airflow DBT
- The Newcomer's Guide to Airflow's Architecture
- Writing Dry Code in Airflow
- Looking ahead: What comes after Airflow 2 0
- Lessons Learned while Migrating Data Pipelines from Enterprise Schedulers to Airflow
- Deep dive in to the Airflow scheduler
- Dataclasses as Pipeline Definitions in Airflow

И многие другие. Бегом изучать на канале Apache Airflow.

“The business people, the actuaries, know what data they need and can define requirements, but typically don’t have the skill set to design a data architecture that gives them the data they need. Technology people typically don’t understand the business requirements, but they can design the data architectures. It’s like the people in IT speak blue, the people in business speak red, but we need people who speak purple in order to create an appropriate solution.” https://www2.deloitte.com/us/en/insights/focus/cognitive-technologies/artificial-intelligence-purple-people.html

Так же в статье упоминается - Wayne Eckerson was the first to define the “purple person” in a 2010 blog post—someone with the mix of business and technology skills that is present in many successful business intelligence and analytics people.

Он оч крут, один из первых топил за аналитику и написал очень хорошую книгу - Secrets of Analytical Leaders: Insights from Information (очень рекомендую, особенно менеджерам). У меня даже была идею такую же написать современную где поговорить с современными лидерами и спросить как у них с облачной аналитикой. Но силы уже не те))

18 августа будет бесплатный воркшоп по Azure Databricks и delta lake. Будут подтягивать данные о погоде. https://mktoevents.com/Microsoft+Event/288495/157-GQE-382

У вас есть кейсы по погоде? Знаю в snowflake есть данные в реальном времени о погоде и какая-то крутая компания сделала офигенный кейс в штатах.

Версионность отчётности 🐒

А говорят big data не работат... Оказывается работает! Только мне кажется jira, slack и другие сервисы это не big data))

Компоненты аналтитического решения сгруппированы по типам и назначению. Взял из книжки What is Data Lake на O'Reilly. https://www.oreilly.com/library/view/what-is-a/9781492088899/

Немгого специфический взгляд на вещи.

Уже не новый, но хороший пост - Test data quality at scale with Deequ - про data quality и unit tests для data pipelines.

А какие framework вы используете? Я видел несколько для Spark/Databricks. И скоро планирую что-нибудь внедрить.