Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
В Авито недавно выложили новые вакансии для аналитиков в разные команды.

➡️ Продуктовый аналитик в команду новостроек
➡️ Аналитик данных в команду новостроек
➡️ Старший аналитик продаж — команда Авито Авто
➡️ Аналитик данных в направление инцидент и проблем менеджмент

Как всегда, очень классные условия:
• Талантливая команда и возможность реализовать свои идеи в проекте с многомиллионной аудиторией;
• Мощное железо, дополнительные мониторы и всё, что нужно для комфортной работы;
• Прозрачная система премий;
• Личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
• ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист;
• Возможность работать удалённо или сочетать работу из дома и офиса;
• Красивый комфортный офис в 2 минутах от метро «Белорусская» с панорамным видом на центр города, местами для уединённой работы, двумя спортивными залами, зонами отдыха и гамаками.

Выбирайте понравившееся направление и откликайтесь!

#реклама
🗿9❤‍🔥5🙈1
SQL + dbt - это прям классика современного аналитического решения. Хлебом не корми, только дай аналитику написать еще один CTE и конвертнуть десяток SQL запросов в dbt Dag (direct acylic graph). А если еще подключить Looker для insights, то можно вообще уйти в аналитическую нирвану.

PS ссылка на новую книгу (уверен будет Best Seller), это из разряда Pivot Tables Analytics in Excel 2005.
💘40❤‍🔥11🐳10
Сегодня я составлял матрицу компетенция для Инженера данных, точнее я взял существующую матрицу Разработчика ПО (SDE) и переделал ее для Инженера данных, начиная от Инженера Данных уровня 2 до Principle Инженера Данных уровень 5.

Контекст компетенций:
- Problem Solving / Analytical Skills
- Collaboration / Communication Skills
- Continuous Learning
- Result Driven / Self-Motivated
- Adaptable / Resourceful

Все компании рано или поздно добавляют свои матрицы компетенций, чтобы менеджерам было проще отвечать на вопросы, чего ожидать от инженеров, как расти, куда расти и тп. Навидался я этих матриц за свою жизнь, в больших и маленьких компаниях. Пользы лично для меня было 0 (но посты про такие штуки набирают больше всего просмотров), как и от другой корпоративной мишуры.

С годами вырабатывается иммунитет. Но вы меня не слушайте, я несчастный карьерист, которому еще давно некомпетентные менеджеры обамали крылья, поэтому я стал злой и требовательный, да еще отказываюсь работать за еду и опыт😈.

Пока я заполнял документ, мне было очевидно перемещение из уровня 2 на уровень 3 (старший инженер). А вот дальше уровень 4 и 5. Может быть в моем искаженном мире за повышение уровня вам должны повышать зарплату на 50 процентов как минимум. Но все работает не так, вас повышают, добавляют вам процентов 10 (до налогов), после налогов будет наверно 7 процентов. Но с вас будут спрашивать уже по другому. Вы не представляете сколько раз я слышал за этот год "ну ты же Staff уровень", "согласно твоему уровню ты должен и ТО и ЭТО".... одно могу сказать, как же вы зае... 🤬

Начнем с того, что я отликался на старшего разработчика, попросил обычную зарплату старшего разработчика. Но мне сказали, что для их компании это много, но потом решили дать уровень staff, чтобы дать мне зарплату старшего разработчика. То есть я не успел еще начать работать, меня уже развели как ребенка😿.

Всем знакомым я уже пожаловался, что в Канаде высокие налоги и низкие зарплаты, а вот в США....трава зеленее (точней доллар там зеленый). Ради эксперимента, я начал диалог с менеджером, попросил взять зарплату его инженера из штатов и из Канады, чтобы мы посмотрели на реальные цифры.
Разница в одной валюте после налогов оказалась 50% (только на базу), там еще от 50% будет на стоки. Я ему намекнул, что мне до Сиэтла 200км, и может мне просто сесть в машину, проехать 200км и стать зарабатывать в 2 раза больше, купить дом в 1,5 раза дешевле, и платить меньше налогов и все в таком духе.🙄

Ответ оказался простым и понятным (для капиталистов) - вакансия была открыта в Канаде, потому что бюджет был маленький. И вообще у них в планах глобальное расширение, и они планируют открыть офис в Индии, где инженеры данных в 5 раз дешевле. Расмешил, так расмешил. Вон уже был кейс с боенгом, у которого софт в Индии пилили. Были и другие кейсы в 2000х, когда все производство переносили в Китай и от этого потом возникали проблемы с продуктами. Но вроде айфоны делать научились😎

Поэтому у меня вопрос для вас, у вас какая вообще мотивация карьерного роста? Условно, работая на одном месте, ваша зарплата отстает от рынка достаточно быстро. При повышении вам дают 10% к вашей зарплате, которая и так уже будет ниже рынка, и повышение покроет инфляцию в лучшем случае. Почему вообще нельзя просто работу работать? Есть еще people manager track. Но тогда теперь вам нужно будет отвечать на глупые вопросы наивных инженеров и стараться, чтобы надой был на уровне. Платить вам будут не сильно больше, зато вы станете экспертом по быстрой печати и с закрытыми глазами сможете запустить зум.
❤‍🔥62🫡3
PS вообще Senior Engineer самая уязвимая категория людей в психологическом плане - выгорания, буллинг от менеджеров, глупые хотелки руководства, несбыточные надежды карьерного роста, падения рынка ценных бумаг, дорожание теслы, налог на премиум тачки, прогрессивная налоговая шкала, куча бесполезных знаний по устаревшим технологиям. Одним словом золотая жила для мозгоправов. Хорошо, что я уже перевернул эту страницу своей карьеры, а у многих еще все впереди! А вы берегите себя, ищите себя, и тратье время на ваши планы и цели, а не на глупую матрицу компетенций, которую написал очередной нытик инженер или менеджер среднего звена.🤠
🦄52❤‍🔥36🫡17
Вчера у нас прошла очередная сходочка местных итишников в центре Ванкувера, знатно погудели, обсудили высокие зарплаты, низкие налоги(или наоборот😊), и настроились на продуктивный учебный год, ведь детей было с нами еще больше чем взрослых🙈
🍾85🫡7🦄6❤‍🔥2🍌1
Dbt cloud снова поднял цену. Вроде совсем недавно цену тоже поднимали, даже был пост про это.

Автор картинки и правда заметил, рост цен на dbt сервис это хороший подарок конкурентам. Как хорошо, что я использую open source dbt core.
🍾8❤‍🔥6
«Easy Report: российский BI, применяющий ИИ для общения с данными»

24 августа приглашаем на вебинар, на котором поговорим про ИИ, NLP в BI и поделимся опытом внедрения BI-системы в крупнейших компаниях РФ.

Что будет на вебинаре

➡️ Зачем нужны ИИ и NLP в BI? Поделимся опытом от практиков, которым удалось создать работающую систему.

➡️ Кейсы применения BI-решения с ИИ. Реальные кейсы внедрения BI-системы в крупнейших компаниях РФ (ритейл, FMCG, строительство, фармацевтика).

➡️ Магия Как работает Easy Report
- формирование отчетов "на лету" по запросу на естественном языке
- подключение к источникам в различных режимах: с кэшированием данных и без
- создание гетерогенной модели данных (Excel + Таблица в БД) и расчетных показателей

Спикеры:

Юрий Ефаров
- CEO Easy Report, генеральный директор Sapiens solutions (в ТОП-15 поставщиков аналитических решений в РФ)

Игорь Пантелеев - Соучредитель и CTO Easy Report, более 5 лет внедряет модули NLP в проекты

Регистрация по ссылке.

🗓 24 августа, 11:00 мск • Онлайн

#реклама
❤‍🔥12🗿7😭4🐳1
Недавно я рассказывал про Никиту, и про его успехи в учебе. А сегодня он получил офер в Ванкувере на 145к CAD + equity на роль BI Engineer ( Data Analyst). Для меня это супер success stories для. surfalytics.com именно этим мне и нравится заниматься, хороший результат это высокий офер. И я точно знаю Канадский рынок и понимаю, что это хорошее предложение. А самое главное, что у него еще будет 2 финальных раунда в других компаниях, и там можно уже торговаться, а можно еще чего придумать😏

Налоговая Канада должна мне уже премию давать, ведь выше зарплата - больше налогов🤨


Я попросил Никиту рассказать про себя:

Бэкграунд: Бауманка - инженер конструктор ракетного оружия.
6.5 лет работы как бизнес аналитик (из них последние 5.5 лет в международных фарм компаниях) т.е. в основном занимался анализом продаж и эффективностью полевой команды. Из инструментов использовал только Excel ну и PowerPoint. В последний год работы в РФ немного пользовался Power BI как бизнес пользователь. Английский со школы хороший, на работе общался с коллегами из разных стран и еще лучше подтянул - IELTS 8.0.
🚀

В Канаде с 7 января т.е. 7.5 месяцев.
Два раунда поиска.

Первый с декабря по март 2023 (начал искать еще до приезда в Канаду).
Откликов - 233 шт.
Приглашений на интервью - 11 шт.
Оферов - 2 шт:
1) Workforce analyst в ICBC - также анализ данных в Excel + Табло как бизнес пользователь;
Зп: 82к CAD + 20% вместо бенефитов = 98к CAD (без бенефитов)
2) Junior BI Analyst в Tenree. Зп 65k CAD - отказался
(сами видите какие тут работадатели офигевшие😡)

Второй: с июня по август 2023
Откликов - 117 шт.
Приглашений на интервью - 10 шт.
Оферов - 1 шт. (два интервью в процессе).

Data Analyst at SaaS company (US) - 14
5k base salary + equity

Что учил:
Активно начал заниматься с марта 2023 как вышел на работу в ICBC.
- Прошел 3 модуля datalearn
- Очень хорошо выучил SQL. Оказался самым полезным т.к. спрашивали почти на каждом интервью.
- Прошел курс по табло у них на официальном сайте.
- DBT fundamentals course
- Прочитал Lean Analytics - помогает понять основные метрики
- Прочитал Kimball Data Warehouse Toolkit - для понимания моделей данных
- Курс Google Data Analytics на курсере (7 из 9 модулей).

К каждому раунду интервью готовился по несколько часов.


В целом я очень рад, что Никита не изобретал велосипед, а просто воспользовался парочкой советов😉 Ведь я знаю ОЧЕНЬ много людей, кто чужие советы воспринимает как личное оскорбление. А зря. Как говорится “фирма веников не вяжет”
Please open Telegram to view this post
VIEW IN TELEGRAM
🍾173❤‍🔥39🐳12🍌2😈1
Ну все, теперь Python in Excel. Значит не зря все это время пользователи держались руками и ногами за Excel, они знали, что однажды все поменяется, и они будут выгружать данные в Excel из хранилища или озера данных, подключать Excel к Kafka потоку и крутить модели машинного обучения, запускать MapReduce jobs, делать квантовые вычисления. Microsoft Excel мы в тебе не сомневались!💋

PS С сегодняшнего дня все Excel аналитики стали программистами и должны требовать прибавки, нет, удвоения зарплаты!🥳
Please open Telegram to view this post
VIEW IN TELEGRAM
🍾72🌚16🗿7🦄5❤‍🔥22🤷‍♀2💯2🙈2👾1🤷1
Согласно статистике самый потребляемый контент — это всевозможные гороскопы, смешные видосики с падающими людьми и, конечно, всё с пометкой 18+

Ну что ж, попробуем взорвать этот топ нашим карьерным сайтом job.mts.ru (тоже, кстати, для взрослых). Все вакансии только там. Переходите, наслаждайтесь и откликайтесь — всем будет приятно.

Информация о рекламодателе
🍌7🐳5❤‍🔥3🤷‍♂2🗿2😈1
Ваш Airflow-кластер постоянно разваливается?

Попробуйте управляемые кластеры с Managed Apache Airflow от DoubleCloud.

В чем преимущества:
▪️ эффективность и контроль: Managed Airflow берет на себя управление инфраструктурой, чтобы вы сосредоточились на задачах;
▪️ автоматизация: автомасштабирующие рабочие инстансы сделают вашу жизнь проще;
▪️ контроль процесса: мониторинг через интуитивный интерфейс для логов и уведомлений;
▪️ мгновенное создание DAG: предустановленные библиотеки и интеграция с Git для запуска.

Сейчас мы в поиске 10 юзеров для превью. Пишите нам на почту annagrch@double.cloud, если хотите попробовать Managed Apache Airflow первыми.

#реклама
🫡5❤‍🔥2💯1
Товарищ с помощью web scraping собрал большой массив данных, и отсортировал самые популярные скилы - Python & SQL.

Мне кажется во всех вакансия тупо копипастят Python&SQL но в большинстве случаев приходится работать в первую очередь с 🔠🔠🔠

(ну какой же кайф за 50 баксов в год оживить эмоджи🧑‍💻)

Думаете что учить? Выучите SQL, а потом уже все остальное🚌
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥49💯10🐳52🌭2
Учишь алгоритмы сортировки?! Тогда тебе поможет Sort Visualizer.

Sort Visualizer is a web application designed to better understand sorting algorithms by displaying and visualizing them. In the website you can find information and implementations in multiple programming languages of more than 15 sorting algorithms, categorized by their time and space complexity.

The sorting algorithms currently available are:
Quick Sort
Merge Sort
Heap Sort
Bubble Sort
Selection Sort
Insertion Sort
Gnome Sort
Shaker Sort
Odd Even Sort
Pancake Sort
Bitonic Sort
Radix Sort
Shell Sort
Comb Sort
Bogo Sort

А вот есть визуальная сортировка.
❤‍🔥39🌭7🗿3
🆕 Воркбуки в Yandex DataLens!

Приглашаем на вебинар, где покажем новинку.

29 августа представим новый подход к организации объектов внутри сервиса. Рассмотрим, как функциональность упростит работу и расширит возможности использования BI-системы.

Вы узнаете:
🔹 что такое воркбуки и как их использовать;
🔹 как устроена новая ролевая модель;
🔹 как работать с группами пользователей;
🔹 какие возможности открывают воркбуки;
🔹 как перейти на воркбуки.

Также в конце спикер проведёт короткую Q&A-сессию. Для автора лучшего вопроса мы приготовили сюрприз! 🎁

Участие бесплатное, нужно только ➡️ зарегистрироваться.

#реклама
❤‍🔥11🗿7
#weeklydatanewsdump

Build your data pipeline in your AWS modern data platform using AWS Lake Formation, AWS Glue, and dbt Core - Теперь в AWS Glue можно использовать dbt core (бесплатный который), как я понимаю для Spark SQL. Я все еще не могу согласиться, что для Spark нужно использовать dbt. 😱

Confluent Announces Intent to Acquire Immerok to Accelerate the Development of a Cloud Native Apache Flink Offering - Confluent купила компания, которая продавало другое популярное решение для стриминга Apache Flink.

LLM Apps Are Mostly Data Pipelines - статья написано Meltano. Напомню, что это набор бесплатных connectors для ELT. Я на своем опыте уже зае заколебался использовать этот инструмент для Google Analytics, Google Ads, Google Search Console, Microsoft Bing. Каждый раз как в первый раз. Приходится лезть в source code, создавать баги в репозиторий и искать почему эта хреновина не работает. 👿 А про LLM я бы вообще помалкивал бы🤐

Does your organization have a culture of mediocrity? - про "посредственность" в организации

Schedule and Invoke Notebooks as Web Services using Jupyter API - если вы уж так любите в ноутбуках творить 🧐 то можно уже и на расписание поставить ваше творение😙

Advantage Lakehouse - онлайн мероприятие для Databricks и вам еще дадут купон на 100$ для экзамена

Riverbed: Optimizing Data Access at Airbnb’s Scale

Prefect обещает прислать носки и кепку, или даже футболку и кружку, если вы им оставите хороший отзыв. Напоминает накрученный рейтинг от Амазона, где у китайской товара тысячи 5 звезд🫣

Effectively using the MERGE command in Snowflake - пример использования MERGE в Snowflake и возможность оптимизации
Please open Telegram to view this post
VIEW IN TELEGRAM
🫡12🐳4🍌1
Наконец-то кто-то нормально по зарплатам расписал. Конечно это Калифорния и Фаанги, но все четко. В 2023 году, за 600к$ налог будет 40-43%. А вот в Сиэтле 30-34%.

Если в Канаде в ВС доход 600к CAD будет, то 53%. Я специально не перевожу в US$ так как внутри страны мы живем и платим в локальной валюте. Вероятность получать US$ и тратить их в Канаде близка к 0.

В любом случае средняя зарплата в Канаде тысяч 120к CAD для дата позиций, если фаанг, то уже 200к CAD.
🙈266❤‍🔥6🐳6🫡2
На Хабре вышла статья – в AppMetrica появились А/Б эксперименты. Теперь можно проверить гипотезы и определить их влияние на такие показатели, как ARPU, Retention, Time Spent.

Основа в виде “Конфигурации флагов” позволяет задавать конкретные параметры тестирования и проводить эксперименты на разных сегментах.

И ясное дело, удобнее, когда успешные результаты тестов можно сразу выгрузить из сервиса и показать пользователям, вместо того, чтобы тратить время на раскатку. Это тоже можно сделать в AppMetrica.

В общем, инфа актуальная, читайте.
🌚11❤‍🔥63🗿1
Мне кажется AI готовит все больше сюрпризов для нас. Пример как на сайте Тинькофф можно ввести текст и услышать его голосом. Но оказывается синтез голоса может быть применен в другой индустрии - Из голоса банка - в п0рнo, и подпортить кому-то жизнь. А вы хотели бы своим голосом озвучить сомнительный контент? А что можно с deep fake сделать🙊
😭8🫡2🤷2
Замечательная статья - Instacart’s IPO filing sparked an online spat between cloud rivals Snowflake and Databricks

В
ней прекрасно все. Во-первых очевидно, что Snowflake и Databricks лидеры , и они трутся там, где есть бабло. В доказательство, рассказали, как Instacart тратила 51 млн баксов😱 только на Snowflake, и случайно CEO Snowflake находится в борде Instacart (возможно он просто по-дружески им порекомендовал использовать "лучший" продукт для хранилища и аналитики).

Но проблема, что в последний год Instacart потратил только 15 млн (вот это четкая оптимизация костов, учитесь🧐).

А потом оказалось, что интернет пестрил статьями про Instacart и Databricks, и вообще, Snowflake заменили Databricks, поэтому вот чек за снежинку упал. Но статьи эти потерли🫣

Обожаю когда Snowflake и Databricks решают, кто тут лучший. А то давно не было слышно ничего про их спор - кто быстрей. (еще ссылка на benchmark)
Please open Telegram to view this post
VIEW IN TELEGRAM
11🐳3
This media is not supported in your browser
VIEW IN TELEGRAM
❤‍🔥46👨‍💻5🍾2🗿2🫡1