В Августе хочу сделать небольшой митап (glamping)на 6 дней Surfalytics - Surf+Data на берегу океана.

Всегда хотел совместить учебу и волшебный вайб Тофино.

🏄‍♀️ Professional surf training for all skill levels

🏕️ Breathtaking scenery and unforgettable experiences

🤝 Meet and connect with fellow data enthusiasts. Discuss the latest trends in the data industry, sharp your analytics and engineering skills, and prepare for next season of tech interviews.

🚴‍♀️ Bring your bicycles for road trips.

🎣 Take your fishing rods for ocean fishing.

🏄‍♀️ Take your paddle board to explore the coast.

and many more.


Bring your kids, pets, friends, lets have true fun.

Glamping - это гламурный camping, то есть в палатке, но чтобы прям было лучше, чем в отеле.

Как хотелось, чтобы 2024 стал лучше для tech, но походу будет не лучше, а может и хуже.

Все завязано на теже причины, overhiring и дешевые деньги.

Деньги все дороже, и компании, чтобы выжить выбирают меньшее из зол - увольняют всех кого могут.

Сегодня читал несколько постов, и компаний намного больше, которые увольняют. Все сходятся на мнении, что будет хуже и еще много тысяч человек уволят, а это значит найти работу будет еще сложней.

Поэтому лучшее, что можно сделать, это в свободное время искать работу, улучшать навыки и расширять в ширь свои знания.

Я видел огромное кол-во людей, кто из-за лени или про своим убеждения ничего не делают и не изучают. Если раньше можно было сидеть на попе ровно 40 лет в том же Microsoft, то теперь вас могу попросить в любой момент.

Тут могла бы быть реклама Surfalytics, но не будет.😊

Хороший аналитический кейс:

When we invest, we expect a return 💰.

Many of us may have seen this ad campaign by Snoop Dogg mentioning that he "gave up smoke." Then we found out it was for a smokeless fire pit company, Solo Stove.

It turns out the ad was a success and a failure at the same time. From what I can find on the Internet, he charges at least $6 million to be in ads. A good return on ad spend would've been $18-30 million. That means selling a lot of fire pits.

That didn't happen. The CEO is now gone.

💬 “While our unique marketing campaigns raised brand awareness of Solo Stove to an expanded and new audience of consumers, it did not lead to the sales lift that we had planned, which, combined with the increased marketing investments, negatively impacted our EBITDA,”

So they spent a bunch of money, and people liked the ad, but they didn't buy the product. Perhaps it was a last-ditch effort for a CEO who knew that he was on his way out the door.

What does this mean for data leaders?

It means we should be careful. The projects we work on may receive much fanfare. We receive strong support and advocacy for what we do. We talk about the project and our "leading edge" technology. This makes it fun to talk about at conferences.

But at the end of the day, it has to bear fruit. It has to have a tangible benefit. There must be a result and outcome that the business cares about. You don't want all that time, money, and resources to go "up in smoke."

Если по нашему то цена рекламной компании 6млн баксов, ожидали вернуть 18-30млн. Не зря же Снуп Дог quite smoking. Но получилось, что зря, еще и СЕО пришлось уйти.

Надо было им мангал с шашлыками рекламировать для русских иммигрантов. Вы не поверите, но нет тут мангалов хороших. Вот самовары есть Б/У, а мангалов нет и шашлыки на газовом BBQ делают🙈

What Every Developer Should Know About GPU Computing - автор постарался расказать что такое GPU и чем отличается от CPU.

Не знаю как в РФ с экологически чистой возобновляемой энергией, но в Канаде, в провинции Альберта сейчас явно проблемы из-за высокого потребления энергии и их истема не справляется с нагрузкой. От возобновляемой энергии пользы нет в текущем морозе.

Очень много интересных постов про планы правительства запретить продажу бензиновых авто к 2035 году, но где все эти электро машины заражять и как они будут ездить в морозы не очень понятно.

Явно, желания правительства не совпадают с реальностью.

В соц сетях много видео про брошенные электромашины на трассе. В мороз батарея садится намного быстрей.

Я тут не эксперт, больше old-school немецкого автопрома где 20л на 100км.

Как у вас дела в Альберте? Реально экономите электричество?

Как там с электро тачками?

Данный трюк был выполнел профессионалами, не пытайтесь повторить дома.

Тимлид команды дата-инженеров в Яндекс Маркет
Москва, гибрид/офис
team lead

Мы команда инженеров данных Яндекс Маркета, и наш продукт — хранилище данных, которое мы строим для нужд бизнес-подразделений. Сейчас мы ищем тимлида, который будет:
- руководить командой дата-инженеров
- формировать пакет технических инициатив и управлять им
- проектировать структуру хранения данных
- участвовать в развитии фреймворка поставки данных
- сопровождать разработанные процессы ETL

Узнать подробнее о вакансии и откликнуться

Для связи в тг @vadimkovylin

Отличный пример сценария Reducing BigQuery Costs: How We Fixed A $1 Million Query для собеседования. Конечно в вашем случае не нужен 1млн$ для экономии, но идея должна быть понятна, как вы смогли сократить расходы на Compute/Storgae и повысить Performance.

Если у вас есть возможность оставить отзыв для Datalearn или вдруг Surfalytics то заполните, пожалуйста, краткий опрос. Я хочу добавить success stories на сайт Surfalytics, и мне нужен контент, я знаю много людей подчеркнуло знаний и многие даже нашли работу в РФ и за ее пределами, вот собирают истории. Спасибо!

2 новости почти в один день, вчера с коллегами обсуждали акции Microsoft, которые уже стоят 400$+. Спасибо AI стратегии, которой придерживается Microsoft.

А возможно, все проще - Microsoft lays off 1,900 Activision Blizzard and Xbox employees. Ну ладно, нетолько лишь увольнения способстуют росту😀
Тем более, каждый месяц уже несколько лет я покупаю немножко акций Microsoft, поэтому рост это хорошо, последний раз я продал весной по 250$, упущенная прибыль? На самом деле неважно, за сколько купили или продали, если инвестиции не ваш главный источник дохода. Выросли стоки - хорошо, упали - FU😝

Сегодня пока летел в самолете посмотрел кино Dumb Money, про историю с GameStop, когда люди стали скупать акции и разорять хедж-фонды, которые делали ставку на падение акций компании.


В фильме классные саундтреки!

Пока был в Америке по делам несколько дней, успел на питоне написать программу которая сканируют сайт autotrader в Канаде и для каждой провинции собирает информацию по кол-ву геликов, их цену, километраж. Но пока еще не автоматизировал, чтобы отслеживать падение цен и размер рынка. Мне кажется, чем больше геликов на продаже, чем чаще продавцы спускают цены, тем жестче экономический кризис. Это вам не бургер индекс конечно, но пусть будет Гелик-индекс😅

Подписался на интересный и популярный блог - Data Samurai. Например, у него есть статья про методы пассивного дохода, в которой он рассказывает про свой опыт и подход. Много там только про Америку, но есть и интересные вещи про ценные бумаги, и другие инструменты. Еще он упоминают свою книгу, которую я обязательно послушаю. Даже не знаю, как я раньше его не заметил.

Лично я пока еще не решился на FIRE, и мы пока тратим много денег на свои хотелки, вместо того, чтобы гасить ипотеку.

Можно сказать, что у меня главный asset это недвижимость, но я никогда специально не инвестировал, больше как оставлял старый дом при переезде в новый. Другая стратегия это маленькие инвестиции в долгую на акции компаний типа Microsoft.

Хотелось бы еще добавить, что нибудь типа ETF, S&P500, акции с дивидендами, но на все денег не хватает и пока не хочется себя ограничивать в детских хотелках.

А как у вас дела с FIRE, пассивными накоплениями, инвестициями или гуляете на полную катушку?))

Недавно была рекомендация фильма Dumb Money, а сегодня будет еще один фильм Radical Wolfe, но уже документальный про одного из самых известных американских писателей Thomas Wolfe, Дэнди в белом костюме, истинный New Yorker.

The end of workplace loyalty
Why work feels so broken right now — and how it can be repaired - о чем мы тут часто дискутировали.

What we have now is a vicious cycle of broken promises. The result is a workplace that none of us wants: one where no one feels they owe anyone anything.

Вот еще интересно, How $21 billion Balyasny is building an AI equivalent of a senior analyst

Balyasny is building a series of AI-based bots that can proactively do the work of senior analysts.

The bots are designed to help investment teams work more efficiently by automating grunt work.

The firm and others on Wall Street hope to boost productivity and analyze data like never before.

У ботов точно нет проблем с лояльностью.

А вот в подкасте All-In E163: Market rips, Media RIFs, Texas defies Biden, Fintech reckoning, ARkStorm 2.0 & more сегодня рассуждали о возможных сценариях для экономики, и ничего хорошо в ближайшем будущем не увидели. Еще они рассказали про ARkStorm 2.0 который может прийти в Калифорнию, интересное явления, бывает редко, но очень деструктивно и многие уже готовятся к нему. Пока это не точно.

CEO Matillion написал пост про AI для ETL.

This is a screen shot of a pipeline we’ve built out on Data Productivity Cloud for use in our customer support organization. It takes a live feed of inbound support questions from our case management system. Many of these customer questions are highly technical and involved. The pipeline effectively builds a RAG (Retrieval-augmented generation) using a vector database and LLM (large language model) to automatically provide a high quality answer (gleaned from our user docs, previous customer support tickets and our community user forums) to our support engineer, who can then edit it, discard it or send it verbatim back to the customer.

Пока это больше как custom компонент, но в целом тренд на лицо, все вендоры сейчас начнут встраивать genAI компоненты в свои продукты.

Мне лично интересно увидеть в работе genAI для проверки качества данных, так как сложные показатели типа revenue, и других очень сложно оценить без хитрых проверок.

И другой сценарий это построение корпоративной модели данных. Представляете, вы скармливаете на входе ваши источники и выбирает конечный продукт - Dimensional Modelling, Data Vault, 3NF и у вас готовый DDL и к нему уже pipelines готовые грузить ваши данные, а потом и дашборды подъедут. Вот вам и “серебряная пуля” которая подвинет нас, инженеров.

Тренд понятен, куда все двигаются и скоро GenAI операция будет такой же обыденностью, как Slowly Change Dimension компонент в ETL инструменте.

Вчера с коллегами обсуждали планы на год, а сегодня их всех уволили. Команда, в которой было около 20 человек включая менеджеров и архитекторов.

Меня не уволили, потому что я не принадлежу к этой команде, а являюсь частью core data team, но несмотря на то, что мне это не затронуло, получилось очень жестко и как-то не приятно и грустно. И такое происходит по всей индустрии.

Ну про job security и loyalty вроде вопрос давно тут закрыли. В прошлом году у меня такое же было в другой компании, после acquisition, Канадская компания уволила всех в US, и это было 95% моей команды.

Наверно самое лучшее в 2024 года:
- отложить дорогие покупки (если это не личное жилье)
- сфокусироваться на learning&grow technical&soft skills
- нетворкинг
- построении личного бренда
- спорт и здоровье
- mental health

Есть советы по каждой из категорий? Поделитесь в комментариях.

На выходных мы изучали Soda на Surfalytics проектах. Я сместил фокус со своих проектов и теперь придумываю проекты для студентов и потом они нас учат.

Проект по Soda получился очень интересный, лично я сам никогда не использовал этот продукт.

Получилось настолько эффективно, что сама Soda написала о нас. Но самое главное все credits получил Максим, который проявил инициативу и разобрался в продукте и подготовил материал.

Возможно сейчас не заметно каких-то изменений в карьере Максима, но такими темпами все будет круто! Главное не останавливаться.

https://medium.com/@kazarmax/using-soda-core-to-check-data-quality-07b370da2df3