Я всегда говорил - надо 20-30 собеседований завалить, чтобы пройти одно заветное. И уж точно, компании мечты должны быть в конце списка, а не наоборот)) Если что, есть план Б - 80 собеседований провалить - я бы разделил на 40 собеседований в РФ, 20 в Украине и по 10 в Казахстане и Беларусии. И тогда будет вам счастья. Но это для СНГ. А вот для Европы и Северной Америке другая пропорция;)
Все так😔 Если вы не смотрели на Netflix - Social Dilemma, очень интересно про нашу зависимость к социальным сетямhttps://www.thesocialdilemma.com/
Протестировал разные кластеры в Databricks (Spark) для задачки с минимальными трансформациями - staging etl. Основная задача - писать в delta lake. Все совпадает с документацией - для простого ETL лучше подойдут маленькие кластера compute optimized. Заметил еще один + такой эластичной среды - для staging я могу использовать один тип кластера, для fact tables - другой, для BI будет 3й тип и для DS 4й. И платить за все это только за активное время работы кластеров. В модуле 7-8 вы сами увидите как это работает.
Forwarded from Reveal the Data
30 июля пройдёт Tableau User Group Moscow 🎉
Будут очень интересные доклады, советую послушать! Например, там выступит замечательней Виталий Ковалёв из нашей команды. Он расскажет как мы издеваемся над дашбордами, чтобы реализовать в них асинхронную загрузку визуализаций. 🤪
Жалко только, что всё опять онлайн, корона уходи! 😷
#ссылка
Будут очень интересные доклады, советую послушать! Например, там выступит замечательней Виталий Ковалёв из нашей команды. Он расскажет как мы издеваемся над дашбордами, чтобы реализовать в них асинхронную загрузку визуализаций. 🤪
Жалко только, что всё опять онлайн, корона уходи! 😷
#ссылка
От читателей я наслышал о проблемах с work life balanced, о нездоровой среде и рабочей атмосфере, где перерабатывать, сидеть по вечерам и выходным это нормально. Я хочу провести опрос и узнать насколь это касается вас или вашей компании.
Перерабатывать - это нормально, если это добровольно, если у нас мало опыта и у нас нет дома семьи, если у нас нет личных дел и личной жизни. Но часто бывает, что все это есть, но нам приходится сидеть на работе. Да еще и чувствовать себя виноватыми за то, что не успели.
Я до сих пор помню как в РФ компаниях на меня коллеги могли посмотреть косо, когда я уходил вовремя или раньше или как мне было не комфортно. Как я отвечал в 11 вечерам на письма коллег и менеджера и думал о том - какой же я молодец, заслужил "звездочку". Но по факту всем плевать и менеджеру и руководству.
За ошибки и проблемы планирования и приоритетов сверху приходится рассплачиваться вам. Если у вас такая среда, то у вас не компетентный менджменд и руководство.
Давайте наведем порядок в аналитических рядах (по возможности) и если у вас на работе беспредел, давай анонимно расскажем в телеграм канале о нем. Присылайте сообщение о вашей ситуации, названии компании и тп, обязательно опубликую и вынесу на обсуждение.
И давайте возьмем за правило - если мы не на on-call (это тех поддержка), нам не платят сверурочные, мы не изучаем новые концепции, то мы шлем все в баню, так как это нормально провести выходные с семьей и друзьями, отключиться от работы, набратиься сил и вдохновения.
Перерабатывать - это нормально, если это добровольно, если у нас мало опыта и у нас нет дома семьи, если у нас нет личных дел и личной жизни. Но часто бывает, что все это есть, но нам приходится сидеть на работе. Да еще и чувствовать себя виноватыми за то, что не успели.
Я до сих пор помню как в РФ компаниях на меня коллеги могли посмотреть косо, когда я уходил вовремя или раньше или как мне было не комфортно. Как я отвечал в 11 вечерам на письма коллег и менеджера и думал о том - какой же я молодец, заслужил "звездочку". Но по факту всем плевать и менеджеру и руководству.
За ошибки и проблемы планирования и приоритетов сверху приходится рассплачиваться вам. Если у вас такая среда, то у вас не компетентный менджменд и руководство.
Давайте наведем порядок в аналитических рядах (по возможности) и если у вас на работе беспредел, давай анонимно расскажем в телеграм канале о нем. Присылайте сообщение о вашей ситуации, названии компании и тп, обязательно опубликую и вынесу на обсуждение.
И давайте возьмем за правило - если мы не на on-call (это тех поддержка), нам не платят сверурочные, мы не изучаем новые концепции, то мы шлем все в баню, так как это нормально провести выходные с семьей и друзьями, отключиться от работы, набратиься сил и вдохновения.
Management Seat Time — Erika Pullum (Swartz) has a great piece about being a manager, and the concept of 'management seat time'. This isn't about data, per se — though Erika's Substack is filled with great data-related articles, and she cut her teeth managing a fairly large data team. This piece, though, is about the more general experiences of being a manager.
The thing is, reading about how to fire someone is different from doing it. It’s easy to read about the need for clear feedback and nod along, but hard not to soften feedback to someone you like at the moment you’re giving it. The impact of your decisions plays out over a longer timescale and it’s not always easy to see your own mistakes.
The thing is, reading about how to fire someone is different from doing it. It’s easy to read about the need for clear feedback and nod along, but hard not to soften feedback to someone you like at the moment you’re giving it. The impact of your decisions plays out over a longer timescale and it’s not always easy to see your own mistakes.
Better with Data
Management Seat Time
Reflections on Management and Returning to Engineering
Одной вакансии уже недостаточно, минимум надо 2. Я например могу быть:
- Data Engineer или BI engineer (основной опыт)
- Преподаватель и ментор (опыт в datalearn и университете)
- Pre Sales Engineer (это что-то вроде демонстрации продукта и решения при продажах)
Но все эти вакансии практически об одном и том же - дата, а нужно наверно иметь совсем разные вещи - Аналитики и Плотник, Дата Инженер и инструктор по горным лыжам и тд.
- Data Engineer или BI engineer (основной опыт)
- Преподаватель и ментор (опыт в datalearn и университете)
- Pre Sales Engineer (это что-то вроде демонстрации продукта и решения при продажах)
Но все эти вакансии практически об одном и том же - дата, а нужно наверно иметь совсем разные вещи - Аналитики и Плотник, Дата Инженер и инструктор по горным лыжам и тд.
Harvard Business Review
Why You Should Have (at Least) Two Careers
Do you dream about switching to a career that’s drastically different from your current job? Many people do. But they never make the leap: the costs of switching seem too high, and the possibility of success seems too remote. The answer isn’t to plug away…
Наш любимый slack был куплен SalesForce, надеюсь будет еще бесплатная версия работать. - Salesforce Closes $27.7 Billion Acquisition of Slack
Отличная статья про сравнение менеджерского и инженерного пути. Мы часто думаем, что после старшего инженера/архитектора мы станем менеджером. Но это не так, это совершенная другой путь и требует других навыков. https://charity.wtf/2017/05/11/the-engineer-manager-pendulum/
Вы точно должны знать что такое lake house (data warehouse + data lake) - расскажу на модуле 6-8. https://databricks.com/blog/2021/05/06/rise-of-the-lakehouse.html
Databricks
Rise of the Lakehouse
Billy Bosworth and Ali Ghodsi share their mutual thoughts on the top 5 common questions they get asked about data warehouses, data lakes, and lakehouses.
Forwarded from Reveal the Data
💼 Ищем BI-аналитиков в Яндекс =)
🚕 BI-аналитик в Go целых 3 позиции
Ищем коллег, которые хотят работать на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность одного из направлений: международного бизнеса, финансов или аналитики привлечения пользователей. Предстоит формировать стратегию развития отчётности для подразделения, собирать данные и делать классные отчёты. Больше всего задач именно про дашборды, но придется готовить и данные. Необходимо стать внутренним центром экспертизы по визуализации и Табло внутри команды аналитиков, а мы будем помогать вам советами и менторством.
Нужны классные навыки создания отчётов, сильный SQL и, как преимущество, Питон. Позиция уровня мидл. Описание на сайте.
Присылайте мне в личку CV и небольшой рассказ про себя.
📦 BI-аналитик в Маркет
Задач много, бизнес растет вширь и ввысь. Если не пугают слова e-com, dead stock, SQL optimization, логистическое плечо, UE и другие — СУПЕР!
У нас Tableau, но вы можете знать и другой инструмент, главное — активное понимание принципов и подходов визуальной аналитики и желание переучиться =) Надо будет делиться экспертизой и работать руками, думать продуктово и не бояться выражать свое мнение.
CV и вопросы по позиции присылайте Юре, тим-лиду BI в Маркете.
Условия
Все вакансии новые, мы расширяем наш BI-контур. Основная локация в Москве, но готовы обсудить и другие города. Зарплата обсуждается после интервью. В Яндексе классный соц. пакет, приятные коллеги, премии, опционы и просто интересно.
ТГ — @rbunin
Почта — rbunin@yandex-team.ru
#вакансия
🚕 BI-аналитик в Go целых 3 позиции
Ищем коллег, которые хотят работать на стыке аналитики и визуализации. Вашей задачей будет развивать отчётность одного из направлений: международного бизнеса, финансов или аналитики привлечения пользователей. Предстоит формировать стратегию развития отчётности для подразделения, собирать данные и делать классные отчёты. Больше всего задач именно про дашборды, но придется готовить и данные. Необходимо стать внутренним центром экспертизы по визуализации и Табло внутри команды аналитиков, а мы будем помогать вам советами и менторством.
Нужны классные навыки создания отчётов, сильный SQL и, как преимущество, Питон. Позиция уровня мидл. Описание на сайте.
Присылайте мне в личку CV и небольшой рассказ про себя.
📦 BI-аналитик в Маркет
Задач много, бизнес растет вширь и ввысь. Если не пугают слова e-com, dead stock, SQL optimization, логистическое плечо, UE и другие — СУПЕР!
У нас Tableau, но вы можете знать и другой инструмент, главное — активное понимание принципов и подходов визуальной аналитики и желание переучиться =) Надо будет делиться экспертизой и работать руками, думать продуктово и не бояться выражать свое мнение.
CV и вопросы по позиции присылайте Юре, тим-лиду BI в Маркете.
Условия
Все вакансии новые, мы расширяем наш BI-контур. Основная локация в Москве, но готовы обсудить и другие города. Зарплата обсуждается после интервью. В Яндексе классный соц. пакет, приятные коллеги, премии, опционы и просто интересно.
ТГ — @rbunin
Почта — rbunin@yandex-team.ru
#вакансия
yandex.ru
Вакансия «BI-аналитик в международные проекты Такси» в Яндексе — работа в компании Яндекс для IT-специалистов
Работа в компании Яндекс для специалиста «BI-аналитик в международные проекты Такси» с уровнем квалификации от «Старший» до «Старший» — Высокая заработная плата и социальные гарантии в IT-компании России
Архитектура и описание решения для создания управленческой отчётности в linkedin. Описание https://engineering.linkedin.com/blog/2021/from-daily-dashboards-to-enterprise-grade-data-pipelines
Модели или не модели в хранилище данных?
Inmon vs Kimball vs Data Vault? Personally I prefer wide, nested and denormalized tables as data warehouse architecture. Why?
Cloud Data warehouses are designed as distributed systems with columnar storage that is separated from compute. Hence, you can efficiently query specific fields over a huge amount of records but you want to avoid joins as it introduces overhead when shuffling data between compute instances. Also, I prefer to keep my data immutable and if something is wrong I rather replay the data with the new logic than performing mutations on existing data.
Another aspect that rarely is mentioned is that wide, nested and denormalized tables better reflect the operational data structures produced by micro-services that are exchanged over API:s (think JSON but with a schema) but more frequently stored in key/value-stores or document DB:s. That is different from the relational tables that have been the default choice of monoliths and perhaps reflected by traditional data warehouse architectures.
It is often claimed that the star schema is easier for end-users to navigate, but my experience is actually the opposite once end-users understand UNNEST() and the fields contain proper descriptions.
Also, wide & nested models makes it easier to use the same structure and logic for batch SQL as streaming SQL (you really want to avoid joins in streaming mode if possible).
I must say that BigQuery really shines when applying this architecture and I'm puzzled that this data warehouse architecture isn't more popular. But I guess the analytical layer will often reflect the operational layer used (similar to Conways law).
Inmon vs Kimball vs Data Vault? Personally I prefer wide, nested and denormalized tables as data warehouse architecture. Why?
Cloud Data warehouses are designed as distributed systems with columnar storage that is separated from compute. Hence, you can efficiently query specific fields over a huge amount of records but you want to avoid joins as it introduces overhead when shuffling data between compute instances. Also, I prefer to keep my data immutable and if something is wrong I rather replay the data with the new logic than performing mutations on existing data.
Another aspect that rarely is mentioned is that wide, nested and denormalized tables better reflect the operational data structures produced by micro-services that are exchanged over API:s (think JSON but with a schema) but more frequently stored in key/value-stores or document DB:s. That is different from the relational tables that have been the default choice of monoliths and perhaps reflected by traditional data warehouse architectures.
It is often claimed that the star schema is easier for end-users to navigate, but my experience is actually the opposite once end-users understand UNNEST() and the fields contain proper descriptions.
Also, wide & nested models makes it easier to use the same structure and logic for batch SQL as streaming SQL (you really want to avoid joins in streaming mode if possible).
I must say that BigQuery really shines when applying this architecture and I'm puzzled that this data warehouse architecture isn't more popular. But I guess the analytical layer will often reflect the operational layer used (similar to Conways law).
This media is not supported in your browser
VIEW IN TELEGRAM
Весь LinkedIn сегодня сходит с ума по этой гифке🤗💯🔥🥂👑🙈 какая то ёлка новогодняя