Инжиниринг Данных
22.9K subscribers
1.75K photos
51 videos
181 files
3.04K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 9 лет в FAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Недавно я познакомился с командой канала Выше Вилки.

И мы решили записать вебинар и подискутировать про зарплаты в ИТ и про стратегии их увеличения, заодно сравнили рынок Нидерландов и Северной Америки. Мне понравился результат. Поговорили по делу, про работу, лояльность работодателя, FIRE, job security. Сошлись на мнении, что ходить на собеседование нужно, не когда “жопа горит”, а когда все хорошо.

Паша рассказал классные life hacks про рост внутри компании. Я относился всегда очень скептически к росту внутри компании, но это реально рабочий метод, и судя по их каналу Выше Вилки, они прям фокусируются на этих кейсах. У них даже есть курс по этой тематике (не реклама), в котором они рассказывают и показывают про навык повышения зарплаты внутри компании или на переговорах.

Ссылка на подкаст - Как рос мой доход в IT?| Как правильно торговаться за оффер?| Павел Филонов и Дмитрий Аношин
Я давно подписан на бывшего VP Amazon Ethan Evans, кто пишет про карьеру и продает консультации. Хороший пример FIRE, чувак свалил из Amazon и теперь зарабатывает на контенте. У него огромный опыт и он открыто говорит про + и - корпораций. Если кратко, + то нет, если только хорошая зарплата, как недавно Netflix повесил вакансию на 300-720k $ за L5 Analytics Engineer.

Мне понравилось его последняя заметка - I "lied" to my teams about work expectations. Итан как продвинутый менеджер называет вещи своими именами:

Companies boil people slowly.
Thus, while I truthfully did not care how long a project took, I did have to care if I was getting all I could from an individual.

That is part of a normal manager's job - maximize productivity and output.

Tech companies expect "full-time" employees to work at least 50 hours a week.

Thus, an employee getting all their work done in less time is ultimately considered "underutilized" and the manager's job is to get more work from them.


То есть вообще не важно как вы работаете. Вас будут медленно “варить, как лягушку”. Будете хорошо работать и быстро все закрывать, насыпят еще. Будете в 10% плохих работников уволят (у многих ежегодные квоты на сокращение неэффективных сотрудников).

Вообще работать на корпорацию все больше похоже на игру в кошки мышки. Или кто кого. Как говорится “пионер инженер и аналитик всегда готов”
Вышел новый подкаст с хэдом е-ком сервисов Яндекса и СЕО Яндекс Маркета Романом Маресовым. Success story - от консультанта в McKinsey до руководителя в корпорации. Можно узнать про принципы управления командой, must have для управленцев любых уровней.

А еще у Ромы есть свой ТГ-канал, где он делится внутренней кухней Яндекса, собственными инсайтами, трендами е-ком отрасли, карьерными советами и да, тему управления тоже периодически поднимает.

Канал тут.
Уже все хорошо осведомлены про Generative AI и LLMs. Вот только не очень понятно как это относится к традиционными специальностям, таким как Data Engineer, Analytics Engineer, BI Engineer, Data Analyst (думаю так-же относится и к Data Scientist, ML engineer в большей степени даже).

Для меня всегда самый лучший источник “правильных” знаний - best practices и use cases - являются курсы вендоров, и конечно, далеко ходить не надо, нужно выбрать самых топовых вендоров Snowflake и Databricks и простой найти время на ознакомление с их курсами, множество из которых, могут быть бесплатными.

Тут важно понимать, что нужны фундаментальные знания и опыт в вашей специализации, тогда вам будет проще понять, какие преимущества несет новый функционал и как можно красиво его запаковать в резюме или просто продать себя подороже.

До сих пор, в требованиях к традиционным дата вакансиям не требуются знания новых инструментов, но это лишь вопрос времени. Поэтому смело можете добавить в закладки тренинги вендоров, где рассказывается не только теория, но нужно еще ручками что-то делать.

☃️Snowflake выпустил свою модуль LLM - Acrtic - Snowflake Launches Arctic: The Most Open, Enterprise-Grade Large Language Model

И конечно уже есть немножко тренингов - SNOWFLAKE ARCTIC COOKBOOK

🧱Databricks уже давно запустил свой LLM - Introducing DBRX: A New State-of-the-Art Open LLM

И уже выпустил тренинги на Edx:
- Databricks: Large Language Models: Application through Production
- Databricks: Large Language Models: Foundation Models from the Ground Up

На coursera тоже есть:
- Databricks to Local LLMs - целая специализация.

И на самом сайте Databricks:
- Generative AI and large language models (LLMs) on Databricks

Дополнительные разделы:
- Databricks Vector Search
- Evaluate large language models with MLflow
- Retrieval Augmented Generation (RAG) on Databricks
Please open Telegram to view this post
VIEW IN TELEGRAM
Forrester Wave: Data Lakehouses, Q2 2024

В отчете Forrester Wave за второй квартал 2024 года рассмотрены 13 ключевых вендоров решений для data lakehouse, их предложения и позиции на рынке. Авторы отчета с коллегами провели анализ по 24 критериям, оценивая важнейшие компании, предоставляющие услуги в области управления данными.

Особое внимание уделено интегрированным решениям, использованию GenAI и производительности при масштабировании, что является критически важным для современных бизнес-задач.

Традиционные хранилища данных и озера данных уже не справляются с растущими требованиями бизнеса из-за недостаточной гибкости, масштабируемости, интеграции, автоматизации и управления.

Решения data lakehouse преодолевают эти проблемы, предоставляя единую платформу данных с передовыми возможностями AI, что ускоряет получение ценности от новых бизнес-инициатив.

В докладе подробно описываются сильные и слабые стороны каждого поставщика, а также даны рекомендации по выбору подходящего поставщика в зависимости от специфических бизнес-потребностей.

Компании Databricks, Google и Snowflake выделены как лидеры рынка благодаря своим инновационным платформам, обеспечивающим масштабируемость, безопасность и комплексную интеграцию.

PS странно что Microsoft отстает со своим Fabric и One Lake. Зато хорошо все с Power BI.
Вот это уже интересный тренд, и это не только в Гугле. В других больших компаниях из списка S&P500 похожий тренд, но называется он по другому - increase global presence (имеется ввиду открыть офис в Индии). Мне даже как-то менеджер сказал - “Чего ты паришься, что в Канаде зарплата меньше, чем у такого же инженера в США в его же команде, вон мы в Индии офис открываем там на твою зарплату мы наймем несколько инженеров”.

Индийские компании уже давно оказывают услуги, чаще как консалтинг. Например софт для боинга 747.

Здесь идет речь про именно открытие офисов и центров разработки в странах с дешевой рабочей силой.

Поэтому вопрос, что будет быстрей - вас заменит AI или дешевой рабочей силой (что более вероятно)

А вы как думаете?
В статье про Analytics as a Code автор рассказывает про 4 уровня решений. Их решение Holistics, конечно же на 4м.

Мне у них особенно понравилось:

As analytics logic becomes more complex, it becomes harder to manage and maintain the code. A 500-1000 line SQL query is not rare in companies reaching a certain size. At dbt Coalesce 2023, dbt Labs noted a rising trend of projects with over 5000 dbt models.

То есть они предлагают 2500 в дбт и 2500 в BI? Мне кажется будет в итоге 5000 в дбт, и еще 3000 в Holistics. Потом придет новый босс и скажет мигрируем все на Databricks (PySpark) и Power BI или Tableau (к сожалению это не шутки, так всегда и бывает)

Мне как бывшему BIайщику, кто работал на разных BI инструментах сейчас однозначно нравятся решения с кодом и интеграцией в git. Looker самый удачный и популярный пример.

Из плюсов сложней создать «помойку» дашбордов, но из минусов, что создать сам дашборд дольше и сложней. Обычно эти решений взаимодействуют напрямую с базой данных и у них скудные возможности кеширования, то есть нет возможности экстрактов по 100Гб (зато не надо потом это дело troubleshooting)

И вообще типичный бизнес пользователь при слове git, код и тп впадает в ступор.

В любом случае, эксель все еще популярен👨‍💻

Как у вас BI на работе? Ваш красивый дашборд все еще хотят выгрузить в Excel? У вас не меньше 5 разный показателей «прибыль» от разных команд, с разной логикой?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Bar
20 лет назад я начал работать в системах MatLab и OriginLab c данными физических экспериментов, и это было начало пути анализа и визуализации данных. Рад, что работал, продолжаю работать и общаться с крутыми и максимально недушными командами в классных компаниях и как BI разработчик, и как независимый консультант, и как менеджер. Много драйва было в сообществе Tableau, что сильно увлекло, кардинально утащило в датавиз и изменило карьерный трек. Были блоги, статьи, конкурсы и много общения с аналитиками из разных стран.
Удивительно, но самые ценные вещи в аналитике узнаешь не на официальных мероприятиях и конференциях, а в неформальном общении и различных дата-активностях. Особенно интересные мысли приходят в кафе и барах. За пределами Слака и Джиры тоже есть жизнь, ну и такие вещи особенно запоминаются.
Накопилось много работ и мыслей, которые просто по времени не успеваю упаковывать в полноценные визы и статьи. Поэтому в Телеграме запускаю канал ‘Data Bar’, где буду писать про анализ данных и визуализацию максимально неформально.
Буду рад всем. Вэлкам:
https://t.me/data_bar

Александр Варламов
18 мая запланировал встречу у Сфер в Сиэтле с 10 до 12, если кто будет на районе приходите;)
P&L или Profit & Loss важная финансовая отчетность. Которая с одной стороны простая. А с другой вообще не понятно.

Поэтому данный пост Reading a Profit & Loss statement вам в помощь
350к $ в год на расходы - хороший F.I.R.E. в Калифорнии. Вообще смотрел, надо накопить 5млн $ кешем, и уже жить на дивиденды, хотя если средний рост 5%, то 250к в год это прям не густо. Кто-то мне говорил про 2млн CAD для Торонто (наверно наивная оценка). Я сам не планирую FIRE, так как расходы высокие на детей и на жизнь, но всегда интересно смотреть на цифры - Your Neighbors Are Retiring in Their 30s. Why Can’t You?

Идея не работать на дядю очень классная, и работать на себя и в своем режиме тоже замечательно. FIRE это не про сидеть на диване и ничего не делать, это больше про свободу. А свобода стоит денег, так что надо много работать и учиться. А там уже как повезет🚣

Есть у кого инфа про FIRE или планы ранней пенсии?
Please open Telegram to view this post
VIEW IN TELEGRAM
14-15 мая - Iceberg Summit. Iceberg формат для хранения данных в озере данных lake house. Если вы работаете с данными, то вы должны знать один из 3х форматов delta, iceberg, hudi.

Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.
Pytup в Нижнем Новгороде 1 июня

Вас ждёт большая конференция по Python-разработке Pytup.

В программе — выступления спикеров, новости языка, актуальные кейсы экспертов и, конечно, нетворкинг.

Узнаете, как создать платформу для обработки данных в вашей IT-компании или микросервис обработки геометрических данных. А ещё послушаете крутые доклады, получите ответы на вопросы и пообщаетесь со спикерами и коллегами.

Зарегистрироваться на Pytup! 💛
Опубликовал блог пост про подготовку к поиску работы при переезде или иммиграции. Так же подойдет к тем, кто только начинает учится и не понимает, куда двигаться и что учить.
Сколько я стою на рынке ИТ? - Один из самых частых запросов у ИТ-шников.
Куда мне расти в ИТ, какие карьерные треки могут быть?

Круто, что есть каналы, к примеру, канал Ольги Романовой, в котором показывают реальные офферы, уровень зарплат на рынке ИТ и лайфхаки по составлению резюме, в т.ч. для продактов

Зацените:
— как получить 5 офферов за 2 месяца, в т.ч. на 500к
Оффер в 21 год без высшего образования на 250к
Оффер на 750к +

Специально для подписчиков моего канала Ольга с командой проведет несколько карьерных диагностик, оценит вашу стоимость на рынке и подскажет первые шаги для достижения карьерной цели. Детали под этим постом (там вообще оффер на 1 млн!)
Реально так и есть, сколько у народа сертификатов всяких, но нет реального опыта.

Намного хуже, когда вы платите не 15$ за udemy курс, а платите 30к-50к$ за Masters программу по аналитике, и часто вы в такой же ситуации.

Вроде знания и диплом есть, а как применить их не понятно. В Ванкувере есть 2 универа SFU, UBC и у обоих есть такие программы и я встречал много студентов (у меня даже есть в Surfalytics), кому очень сложно найти работу, потому-то они часто учат теорию в отрыве от реальности, у них нет контекста. И чем дальше, тем сложней понять, что нужно учить, что говорить на собеседовании, и что писать в резюме.

У кого сколько сертификатов?

У меня был знакомый у кого было больше 115 сертификатов, и он продолжал учиться и сдавать еще больше. Вопрос всегда один и тот же, если такой умный, то почему такой бедный🍟
Please open Telegram to view this post
VIEW IN TELEGRAM