Сегодня был замечательный день, сразу отражает всю индустрию.

Утром слушал о миграции с Azure Databricks на Snowflake. 👏

В обед слушал о миграции с AWS Snowflake на Databricks, тут я бы даже сказал это не миграция, а больше как добавление еще одного продукта, который делает тоже самое.😔

А под вечер я ковырял Redshift, где делаю прототип миграции AWS Athena на Redshift. 👨‍💻

При этом абсолютно везде одинаковые проблемы - дорого/медленно/качество данных/legacy&tech debt. Вообще такие решения принимаются сверху. Меня вообще нигде не спросили, хотят я книгу написал про Snowflake, и 3 года внедрял Databricks, и с Redshift мы вообще знакомы с 2014 года.

А это мощно - Cisco купил Splunk. Скорей всего будет как с Табло, когда душа продукта погибнет.

Splunk был такой же уникальный продукт с большим сообществом, крутыми конференциями, идеями. Да и сам продукт топ. Я даже в 2014 году прошел множество тренингов по нему и сдал экзамены, а потом, когда решил уволиться руководство компании cleverdata стало орать на меня и трясти с меня деньги за обучение обратно😅, хорошо, что обошлось без рукоприкладства😳

А в 2015 я даже хотел в Splunk пойти на работу в Торонто, но не прошёл собеседование👩‍💻

Наверно такая судьба ждет все крутые продукты😞

Последнее время все чащи возникают дискуссии у меня про жизнь в Канаде и США, всегда же интересно все сравнивать. Вот например статистика по Канаде из официального источника.

Медиана зп (кстати очень близко к среднему) 40к, то есть на семью из 2х человек это 80к. А 80к в год после налогов, это 4к-4.5к в месяц.

Если взять средний рент в большом городе, это будет 2.5к. Если взять тоже самое в ипотеку то это будет 4к. То есть ипотека уже не доступна. Но еще надо первоначальный взнос тысяч 100, а как накопить, если жить от ЗП до ЗП. А ведь есть еще расходы на еду, одежду, связь и развлечения. А если работает только один человек?

И самое интересно, компании, которые нанимают в Канаде абсолютно все будут low ball на ваш оффер. Однозначно, кто недавно приехал будет не просто и все в один голос говорят, что попали как будто в прошлое после удобных сервисов. Я сам лично недавно получил справку из полиции онлайн в Госуслугах за 3 дня, мне нужно было для Security Clearance на проект. Тут такое даже и не слилось, и так везде.

И для многих кажется, что можно немного потерпеть и все наладится в плане дохода, но потом оказывается, что потолок-то по зарплате очень реальный и это сильно демотивирует. Но как говорится, кто ищет, то найдет пути к преодолению всех препятствий и будет зарабатывать столько, сколько хочет😎 Очень сильно зависит от целей, мотивации и дисциплины.

Недавно я обнаружил, что я сместил фокус на мотивирующие видео, подписался на различных успешных людей и заряжаюсь у них! Думаю пришло время все записывать в блокнот и благодарить вселенную👨‍💻

А кто вас мотивирует? Как вы себя дисциплинируете?

Кстати, у меня есть слайд из моей недавней презентации про рынок Северной Америке. На протяжении последних 8 лет я только и делал, что вечно искал работу, собеседовался и пытался нащупать, где и сколько платят. Все кто мне знает лично, знают, что мой любимый вопрос, а сколько ты получаешь. Именно, чтобы понять как вообще все работает и какие перспективы есть, а может быть их и нет, как на примере Канадского рынка.

Самое интересное, что ЗП в 200-300 в Канаде это реально, если например у вас удаленная работа + фриланс. Но конкуренция дикая, куча народа со всего мира приезжает в Канаду и готовы работать еду за 50т в год в нашей индустрии.

Поэтому у меня уже есть свой железобетонный рецепт для иммигрантов как быть, что делать и тп, вот его и хочу реализовать в Surfalytics. Так же планирую писать еженедельные отчеты про прогрессу.

🔠🔠🔠🔠🅰️🔠🔠🔠🔠🔠🔠

Пока больше все на стадии идей. Но совсем недавно вышел на сообщество аналитиков из LATAM и уже пропиарил им идею, в целом зашло хорошо, но у меня пока нет контента. Так же стал искать на Dribbble крутых content makers, чтобы сделать анимацию, телеграм стикерпак. Заказал еще футболок брендовых. Изучаю про свет для видео или думаю просто нанять профессионального оператора и заснять весь модуль один. Пока я совершаю главную ошибку - много думаю, мало делаю! Вообще же все просто, все что мы захотим и попросим у вселенной - все будет! Надо просто напоминать об этом!😆

#weeklydatanewsdump

Самое интересное за последнее время - это оживления рынка - больше вакансий, компании планируют свое IPO, или ожидают поглощения, меньше увольнений и самого страха увольнения, снова инвестиции в data компании.

Единственное, что я не заметил это рост зарплат, хотят должны быть 10% в год к base pay на рынке. Вот работаете год за X, в следующем году у вас будет X+2% (если повезет), а на рынке уже можно просить X+10%-15%, поэтому сидеть на одной работе это упущенная выгода, если вам конечно важна ваша компенсация, так как для многих от "скакунов" появляется презрительная ухмылка. Хотя "скакуны" это двигатель прогресса по части компенсации.

Другой момент - это стоимость рынка акций, в целом есть компании кто вырос сильно, как NVIDEO, но большинство tech и стоки инженеров в глубоком минусе. Придется дальше ждать😲

Кстати, недавно узнал сколько стоит сделать custom sticker park для телеграмма с анимацией - 3к USD 10 штук, 6к USD 20 штук, но это прям мега профессиональные, дорого конечно. Я бы купил и 20, если за меня еще и всю концепцию придумали, а то ведь надо еще и концепцию придумать. Зато можно себя увековечить, почти как памятник поставить, недорого))

💲Давайте еще раз посмотрим на интересные события:
Cisco купил Splunk
Secoda Raises $14M to Save Companies from Drowning in Data
Tabular Closes $26 Million in Funding - интересный продукт и есть Open Source, работает с Iceberg, но я сам еще не попробовал, стоящая штука чтобы изучить. У нас даже со Snowflake планируют использовать для landing zone.
DataBlend Raises Seed Funding Round
Databricks raises over $500 mln at $43 bln valuation - сегодня изучал компании, которые позволяют инвестировать в private компании, кто-нибудь знает хороший сервис?
ThoughtSpot acquires Mode Analytics, a BI platform, for $200M in cash and stock - не пробовал ни один, ни другой, но у Mode классный SQL симулятор.
MotherDuck secures investment from Andreessen Horowitz to commercialize DuckDB - кто-нибудь использует их?
А вот еще отличная бизнес ниша для kaggle чемпионов - As AI porn generators get better, the stakes get higher.

Ладно, давайте ближе к телу делу.
🐶Zach Wilson - является топ DE influencer. Его посты в linkedin набирают по 300 лайков. Он и курс запустил по DE, где за 1000+ вы можете пройти его самостоятельно, самое интересное, что он сделал сам платформу, где нужно лабу делать. Недавно он написал, что в месяц он получает 50к US, ну что могу сказать, красавчик!
Вот парочка его писем из недавних:
- How to pass data engineering SQL interviews in big tech - все по делу. Знали бы вы сколько раз я провалился на простых SQL вопросах на собесах, реально стыдно. Даже если вы его используете каждый день, некоторые вопросы вас застанут врасплох.
- How to pass the data modeling round in big tech data engineering interviews - на таких вопросах я тоже плыл. На самом деле данный пост не совсем однозначный, например про One Big table я не знаю, зато знаю про Data Vault.

🐼Другой influencer - Seattle Data Guy тоже не молчит, и спамит мой почтовый ящик:
- The Challenges You Will Face When Data Modeling - тоже про моделирование данных. Но все это похоже на плохой пересказ Кимбала. Сколько чувак зарабатывает я не знаю.

Для меня всегда вопрос, что народ делает с баблом. Вот музыкальные блогеры понятно, все на показ, и tech блогеры выглядят, как будто за еду работают😮

- Mistakes I Have Seen When Data Teams Deploy Airflow - мне кажется, что Airflow это инструмент, который все используют, и все ненавидят, потому что ни в одной серьезной организации он не может работать стабильно, по крайней мере я не видел. Лучше cron ничего не придумали еще.

🔬Еще есть интересный paper - What Predicts Software Developers’ Productivity?
Organizations have a variety of options to help their software developers become their most productive selves, from modifying office layouts, to investing in better tools, to cleaning up the source code. But which options will have the biggest impact? Drawing from the literature in software engineering and industrial/organizational psychology to identify factors that correlate with productivity, we designed a survey that asked 622 developers across 3 companies about these productivity factors and about self-rated productivity. Our results suggest that the factors that most strongly correlate with self-rated productivity were non-technical factors, such as job enthusiasm, peer support for new ideas, and receiving useful feedback about job performance. Compared to other knowledge workers, our results also suggest that software developers' self-rated productivity is more strongly related to task variety and ability to work remotely.

😯Последнее время много попадается клиентов у кого есть Databricks. Я всегда думал, что главная проблема в Spark это производительность и всем нужно будет помогать тюнить spark. Оказывается в 70% случаев это проблемы с networking. У Databricks есть опция - Secure Cluster Connectivity (No Public IP), это когда ваш кластер не подключен к интернету. И вам нужно настраивать виртуальную сеть, группы безопасности, firewall... Сами понимаете, что главные пользователи Databricks это инженеры данных, и у них могут быть скудные познания в настройках сети, а документацию читать лень, да она еще не очень user friendly. Так что нужен курс - networking for DE 101. Я кстати уделял этому много внимания в datalearn.

Из личных новостей я продал несколько платных консультаций surfalytics и люди остались более чем довольны. Пока еще в бета режиме

Впервые решил попробовать Apple watch, как раз вышли новые ultra с большой батареей. Задачи у часов 2:
- напоминать про встречи, так как это мой главный косяк, я пропускаю встречу, и некоторых это очень сильно тригерит, типа плохой work ethics.
- другая задача - трекать время активностей - работа, спорт, чтение и тп, использую ATracker, можно будет потом посчитать, сколько вы реально зарабатываете в час, и сколько чистых часов работаете.

PS есть еще важные новости про которые забыл? Присылайте в комментарии.