Nearly 40% of Snowflake accounts also run Databricks.
About 46% of Databricks accounts run Snowflake.

То есть компании одновременно используют и Databricks и Snowflake.

Из статьи Connecting the dots on Snowflake’s Data Cloud ambitions

Интересная эволюция аналитического решения от Notion. Начали с современного решения Snowflake+Fivetran и перешли на Hudi + Spark.

Запись на linkedin https://www.linkedin.com/events/ahudiliveevent-notion-sjourneyt7138325735781400576/comments/

2 автора лучших книг по SDE best practices в 2023 году встретились пропустить по стаканчику.

Tidy First?: A Personal Exercise in Empirical Software Design

Messy code is a nuisance. "Tidying" code, to make it more readable, requires breaking it up into manageable sections. In this practical guide, author Kent Beck, creator of Extreme Programming and pioneer of software patterns, suggests when and where you might apply tidyings to improve your code while keeping the overall structure of the system in mind.

Instead of trying to master tidying all at once, this book lets you try out a few examples that make sense for your problem. If you have a big function containing many lines of code, you'll learn how to logically divide it into smaller chunks. Along the way, you'll learn the theory behind software design: coupling, cohesion, discounted cash flows, and optionality.

The Software Engineer's Guidebook: Navigating senior, tech lead, and staff engineer positions at tech companies and startups

In my first few years as a developer I assumed that hard work was all I needed. Then I was passed over for a promotion and my manager couldn’t give me feedback on what areas to improve, so I could get to the senior engineer level. I was frustrated; even bitter: not as much about missing the promotion, but because of the lack of guidance.

By the time I became a manager, I was determined to support engineers reporting to me with the kind of feedback and support I wish I would have gotten years earlier. And I did. While my team tripled over the next two years, people became visibly better engineers, and this progression was clear from performance reviews and promotions.

This book is a summary of the advice I’ve given to software engineers over the years – and then some more.

Все чаще вижу упоминание DuckDb и даже у нас на одном из проектов Security команда использует DuckDB вместо default Snowflake.

Multi-engine data stack

А еще из самого новенького заметил, что векторные БД становятся популярней, вот пример новой фичи у Databricks - Introducing Databricks Vector Search

Продолжаем тему beauty blog. На фотографии 2013 год, до ковидных мемов в трусах с галстуком еще почти 10 лет.

Это я завалил собеседование в Берлин. Scheiße.

А в 2021 году написал замечательную статью - Amazon, Microsoft, Facebook, Tesla, Lyft — история поиска работы мечты, или «Вредные» советы для карьерного развития

(там кстати на фотке на одной те же самые ботинки blundstone, мне кажется можно будет их носить еще лет 10, надо бы гуталинчиком смазать)

В статье 29 советов, которые в то время казались немного "не этично" по отношению к работадателю, но спустя 2-3 года, несколько сот тысяч увольнений, и уже весь Linkedin пестрит похожими советами.

Ищите работу или планируюте искать, обязательно ознакомьтесь.

Основы виртуализации

https://www.youtube.com/watch?v=R02KBiCc72g&list=PLcDkQ2Au8aVM6hSTeiBGTXNMNBwzQyuZG

Интересная тема, помогает понять, что же там внутри "облака" и где "живут" контейнеры.

Приятно читать как живут интересные люди и как у них прошел 2023 год https://vas3k.blog/blog/2023/

Наконец-то на своем опыте узнал, что такое stock options в компании, которая еще не стала публичной и как это работает.

Вроде бы все как обычно, вы работаете в стартапе, вам вестятся ваши акции, у них есть номинальная цена.

За 2 года в одном стартапе у меня навестилось аж на 20к USD. Потом я решил уйти, и теперь у меня есть 90 дней, чтобы выкупить это дело за 28к CAD или они просто сгорят.

28к CAD это 3-4 хороших зарплаты в ИТ тут. Зато, у вас есть надежда, что когда-нибудь, ваши 20к USD преврятятся в 100к USD, а могут преврятится в "тыкву".

Как говорит Jason Calacanis - "high-risk, high-reward". Так-то это ко всему применимо. Jason один из участников и основателей подкаста all-in. А вот статья про команду подкаста - The Besties’ Revenge: How the ‘All-In’ Podcast Captured Silicon Valley (paywall)

После прочтения его книги The Angel Investor, лучше понимаешь как работают стартапы, фаундеры, и вообще весь VC рынок, и одновременно понимаешь насколько ничтожный рынок в Канаде по VC, стартапам, финансам. В моем случае стартап уже в pre-IPO и возможность потерять все не велика, но и особо не заработать.

Я всегда знал, что какая-то шляпа с этими опционами, но теперь вот узнал, какая.

Раньше, на своем опыте я узнал, что такое capital gain, когда продавал акции Amazon и Microsoft спустя несколько лет после vested date и был приятно удивлен capital loss, когда продавал акции в убыток, и налоговая списала часть налогов.

И самое смешное, что все эти мысли у меня паралельно с курсом, который смотрю - Основы виртуализации, паралельно в Ikea конфигурирую шкаф, читаю книгу про Trino и вот-вот начну курс по Kubernetes. И в это самое время падает Airflow Dag (Airflow как раз на GCP в Kubernetes) и никак не могу уже несколько дней запустить на Google Cloud Build шаг с pre-commit.

Всех с Новым годом!🍾🎉🎁

Инструмент, который поможет сделать первые шаги для процессов DataQuality и SelfBI. Он органично встраивается в Microsoft Excel и работает с базами данных через ODBC.  

Данный тул позволят обогатить Excel PowerQuery следующими функциональными возможностями
1)  Пользователи могут видеть все объекты, работать с фильтрами для отображения только требуемых таблиц
2)  Редактор SQL запросов с подсветкой синтаксиса . Возможность изменить SQL для  Excel таблиц связанных с внешними данными
3)  PowerPivot отчет сразу над SQL (Прямой аналог Microsoft SQL Analysis Service )
4)  Параметры SQL запросов (можно делать отчетные книги для "простых пользователей" для регулярных процессов (сдача ежемесячной отчетности etc ))
5)   Возможность изменять данные в SQL таблицах

Для разработчиков DWH, специалистов DQ этот инструмент позволяет
a.      Создавать отчеты SQL для выверки данных между различными системами , выстраивая дополнительную проверку логики с помощью Excel
b.      Организовывать сквозные сценарии проверки всего проекта / решения (элементы Unit тестирования для DWH)
c.      Отчуждать результаты тестирования и показывать их заказчику без дополнительной настройки рабочих мест

Для бизнес пользователей (экономистов и финансистов )
a.      Готовить сквозные аудиторские отчеты реконсиляции, раскрывающие все этапы сбора, трансформации и расчета регуляторной и управленческой отчетности
b.      Запускать выгрузки из DWH за различные периоды используя параметризированные SQL шаблоны
c.       Создавать свои мини – дата приложения в Excel /R7 уровня отдела/подразделения без привлечения «большого ИТ» 

Здесь вы можете его скачать https://t.me/xldb7/43 
автор данного решения @datacons

#реклама

Живешь в Канаде и думаешь, что тут свой "социализм", все получают одинаково мало, а потом смотришь на цифры и графики в Canada's new gilded age CEO pay in Canada in 2022 и видишь сколько там CEO зарабатывают, причем неважно насколько хорошо компания на рынке себя чувствует.

В Августе хочу сделать небольшой митап (glamping)на 6 дней Surfalytics - Surf+Data на берегу океана.

Всегда хотел совместить учебу и волшебный вайб Тофино.

🏄‍♀️ Professional surf training for all skill levels

🏕️ Breathtaking scenery and unforgettable experiences

🤝 Meet and connect with fellow data enthusiasts. Discuss the latest trends in the data industry, sharp your analytics and engineering skills, and prepare for next season of tech interviews.

🚴‍♀️ Bring your bicycles for road trips.

🎣 Take your fishing rods for ocean fishing.

🏄‍♀️ Take your paddle board to explore the coast.

and many more.


Bring your kids, pets, friends, lets have true fun.

Glamping - это гламурный camping, то есть в палатке, но чтобы прям было лучше, чем в отеле.

Как хотелось, чтобы 2024 стал лучше для tech, но походу будет не лучше, а может и хуже.

Все завязано на теже причины, overhiring и дешевые деньги.

Деньги все дороже, и компании, чтобы выжить выбирают меньшее из зол - увольняют всех кого могут.

Сегодня читал несколько постов, и компаний намного больше, которые увольняют. Все сходятся на мнении, что будет хуже и еще много тысяч человек уволят, а это значит найти работу будет еще сложней.

Поэтому лучшее, что можно сделать, это в свободное время искать работу, улучшать навыки и расширять в ширь свои знания.

Я видел огромное кол-во людей, кто из-за лени или про своим убеждения ничего не делают и не изучают. Если раньше можно было сидеть на попе ровно 40 лет в том же Microsoft, то теперь вас могу попросить в любой момент.

Тут могла бы быть реклама Surfalytics, но не будет.😊

Хороший аналитический кейс:

When we invest, we expect a return 💰.

Many of us may have seen this ad campaign by Snoop Dogg mentioning that he "gave up smoke." Then we found out it was for a smokeless fire pit company, Solo Stove.

It turns out the ad was a success and a failure at the same time. From what I can find on the Internet, he charges at least $6 million to be in ads. A good return on ad spend would've been $18-30 million. That means selling a lot of fire pits.

That didn't happen. The CEO is now gone.

💬 “While our unique marketing campaigns raised brand awareness of Solo Stove to an expanded and new audience of consumers, it did not lead to the sales lift that we had planned, which, combined with the increased marketing investments, negatively impacted our EBITDA,”

So they spent a bunch of money, and people liked the ad, but they didn't buy the product. Perhaps it was a last-ditch effort for a CEO who knew that he was on his way out the door.

What does this mean for data leaders?

It means we should be careful. The projects we work on may receive much fanfare. We receive strong support and advocacy for what we do. We talk about the project and our "leading edge" technology. This makes it fun to talk about at conferences.

But at the end of the day, it has to bear fruit. It has to have a tangible benefit. There must be a result and outcome that the business cares about. You don't want all that time, money, and resources to go "up in smoke."

Если по нашему то цена рекламной компании 6млн баксов, ожидали вернуть 18-30млн. Не зря же Снуп Дог quite smoking. Но получилось, что зря, еще и СЕО пришлось уйти.

Надо было им мангал с шашлыками рекламировать для русских иммигрантов. Вы не поверите, но нет тут мангалов хороших. Вот самовары есть Б/У, а мангалов нет и шашлыки на газовом BBQ делают🙈