Python for Everybody
Exploring Data Using Python 3 (PDF)

Пока большинство изучает SQL и Python для задач инжиниринга данных, а индустрия упрощает решения (например lake house), некоторые размышляют о следующем популярном языке для задач дата инжиниринга (интеграция и трансформация данных) -

Let's break down these past years and understand data engineers' current programming language ecosystem and the ideal candidate for 2022. Could Scala, Golang, or Rust be our next favourites? Let's find out.

А вы что думаете? Надеюсь все останется как есть и не надо учить новые framework😳😂

Стань разработчиком DWH Яндекс.Облака!

Мы проектируем и разрабатываем географически распределенные DWH, ETL-процессы, создаем инфраструктуру для контроля качества и стабильности данных, помогаем выстраивать смежные процессы которые влияют на качество данных, необходимых для принятия важнейших бизнес решений

Greenplum, Clickhouse, YT (in-house BigData Hadoop + Hive + HBase), Python. Используем как яндексовые разработки, так и популярный в индустрии стек

Сильная команда, международный проект, возможность лично влиять на вектор развития инфраструктуры

Москва, Прага, Санкт-Петербург, Екатеринбург, Казань или удаленка
250 000 - 500 000 р. (для РФ)

tg: @alexanderyugov (руководитель направления), @annashutrova (рекрутер)

https://clck.ru/apoyw

#вакансия #яндекс #remote

PS пост поддержал приют для собак.

Небольшой доклад на русском про использование Airflow, Google Cloud, Big Query и Power BI. Видео имеет всего 4 лайка, давайте поддержим спикера.

Всем привет, недавно Николай из канала Left Join обратился к нам с вопросами про data learn:

1. Как вам пришла идея создания бесплатных курсов? В чем ваша мотивация (дальнейший переход на платные курсы или просто “от чистого сердца?”)?

2. На что заточен курс: это больше изучение базовых вещей или предусмотрено решение реальных профессиональных задач?

3. Ведете ли вы статистику по трудоустройству выпускников? Есть ли вообще внутренняя мотивация следить за успехами выпускников? Многим ли удается найти работу?

4. Часто ли бывает, что ученикам не хватает мотивации продолжать обучение?

5. Проверяется ли как-то домашнее задание?

6. Вопрос к тебе, как работодателю за пределами РФ: взял бы ты к себе на работу человека, который полностью выучился на бесплатных платформах и не имел опыта стажировок/джуниор позиции? От чего бы зависел выбор?

Так как я никогда не углублся в историю вопроса, почему бесплатно, я решил дать очень развернутый ответ. Оказалось, что мои длинные ответы сумарно на час не укладываются в регламент и было жалко резать эту запись, потому что там может быть очень ценная информация, и мы решили записать короткую версию на 5-10 минут отдельно без углубления в история, а эту историю сохранить в подкаст и дать вам послушать.

Очень рекомендую всем, кто размышлает о дальнейших карьерных планах, кто учится на data learn или планирует выкинуть кучу бабла на платные курсы. Оставляйте фидбек в комментариях и спасибо Николаю за идею!

https://anchor.fm/dmitry23/episodes/Data-Learn-e1dkmsl

Хочу поделится свежими наблюдения рынка зарплат в США и Канаде. Ситуация прям кардинально меняется, не в пользу Канады.

Начну с простого примера. Компания сделала 2 оффера на позицую инженера данных, зарплата 150т Канадских в год + сток опции. Это считается хорошая зарплата в Канаде для иженера.

Оба оффера были отклонены канадскими кандидатами, потому что они полулили оффер из штатов с зарплатой 180к US (это где-то 230к канадских). В штатах средняя базовая зарплата это 220к US для опытных специалистов. Им выгодно платить канадцам 180к US (+/-)

Сейчас реальная нехватка кадров на местных рынках и штатов есть преимущество в денежнем эвиваленте.

Но работая за US$ возникает другая сложность - это прогрессивный канадский налог на прибыль. На ЗП 150 тысяч это условно 30%, на ЗП 250т это уже 40%. При этом в штатах, налог на 1млн долларов будет таким же как и на 200т. Например, можно в Канаде иметь 2 работы по 150к x 2 = 300k CAD, но с налогом в 40% это будет большая разница ожидания vs реальность.

Завтра наши соседи возвращаются в Штаты, они продали свой таунхаус за 1,2 млн CAD (купили за 1 млн CAD меньше года назад). Ну как купили, в ипотеку взяли, как все. Но заработали 200т на ровном месте. И сегодня показали, что они купили в Техасе в Austin за 1млн $. Ставка по ипотеке там 3,5% (в Канаде это 1,6%). Огромный новый дом в high tech стиле со своей землей, такой будет у нас стоить от 3млн CAD.

Так же я ему переводил на английский некоторые посты из нашего канала про дополнительные работы, и он получил в штатах 2 работы и уже думают о покупке 2ой недвижимости, ведь налогов-то берут в Техасе всего от 20%. Update: там тоже прогрессивный налог.

В целом тренд очевиден, Канадским компаниям предложить нечего, надо любить Канаду всем сердцем и ненавидеть штаты, чтобы продолжать платить высокие налоги и зарабатывать в 3-4 раза меньше😂

Но Канада не отчаивается, потом что поток иммигрантов высок, и желающих работать за 60т в год тоже много.

Для себя я решил 2022 покрутиться в Канаде, потом ох#### от налогов в конце 2022 и полюбить Штаты🏌️‍♂️ ну или в Канаде чего поменяется.

Если вы переживает за размер вашего озера данных, то можно почитать про алгоритмы компрессии данных - Cost Efficiency @ Scale in Big Data File Format

У меня все просто, я ок с Parquet.

Airflow, Spark и Kubernetes - для тех кому скучно! Spark on Kubernetes in 2022

В один прекрасный день, я научусь пользоваться Kubernetes!=)

Классное видео от Snowflake - Python On Snowflake | Snowpark. Классное по 2м причинам:
1) Python на снежинке это новинка и это очень важная фича. Возможно это даже камень в огород Databricks, где наоборот новая фича это SQL=)
2) В этом видео Product Manager от Снежинки наш соотечественник Максим Лукьянов, что не может не радовать. Правда мы не знакомы, если кто знаком, приглашайте к нам на вебинарчик!

Оказывается сегодня начинается конференция от Microstrategy со скромным названием World 2022, Enterprise Analytics • Digital Transformation • Bitcoin Strategy

Всегда интересно послушать KeyNotes у когда-то великих вендоров BI.

Интересная статья про соотношение Data и Engineers. Автор проанализировал 50 европейских компаний и написал свои выводы.

You know data is having its moment when the number of open data roles for top tech companies is approaching that of engineering. But just how many data people does the best tech companies employ?

My analysis from 50 of the top European tech companies shows that the median data to engineers ratio is 1:4.

https://mikkeldengsoe.substack.com/p/data-to-engineers

Что произошло в ML области в 2021 году? Google опубликовал свой отчет Google Research: Themes from 2021 and Beyond

А мне понравилась идея подкастов. У меня конечно все в режиме экспромта и качество соответсвующее, но раз есть опыт и мнение, то почему бы им не поделится. Мой новый подкаст - Карьерный рост и отношения с работодателем.

Недавно мне попалась вот такая статья - My Only and Last Regret at Google. Мужичек поработал в гугле 13 лет, и вышел на пенсии. 13 лет в гугле в Калифорнии это не шутки, можно жить в LA на пляже в особняке и денег хватит до конца жизни, если не распыляться. Но история не про это, а про его растройства из-за отказа повышения. Он опубликовал свои мысли и свои документа запроса на повышение. Но не сраслось. Грусть и печаль.

И мне это история напомнила мои карьерные ожидания, надежды, и ложные перспективы. Поэтому я записал небольшое аудио про вопрос карьрного роста. Это мое мнение, и конечно отличается от вашего, но я рад услышать и другое мнение в комментариях.

В этом эпизоде я высказал свое мнения по вопросу карьрных перспектив и карьерного роста. За 10 лет работы я ни разу не получил повышение, но всегда чувствовал моральную нагрузку и mental health issues от ложных ожиданий (false expectations) карьерного роста и ложных целей. Поэтому я решил поделится свои мнением, которое может отличаться от вашего, как не быть ослом(ослицей) у которго перед носом висит морковка. Живите для себя, для своей семьи и не парьтесь из-за работы.

Я написал небольшой док для коллег про структуру собеседования, потому что, у них было совсем неудобно и неэффективно. За основу взял опыт Амазона.

После последнего подкаста долго думал про термин такого специалиста, придумал - инженеропретер(ша) (engineer + entrepreneurship) . Вроде инженер на зарплате, а вроде и предприниматель. Вот и гугл даже картинку показала, как выглядит инженеропретер. Можно еще подработать над словом.

Еще я слышал, что резюме должно быть коротким, поэтому в удалил половину команий из него, и теперь у меня просто Терадата с 2011 по 2015, а потом Амазон. Так легче продавать(ся). Не все компании достойны быть в нашем резюме!=)

Авито написали как у них эволюционирует хранилище данных.

через 40 минут начинаем:
https://youtu.be/4voLlzLT3uM

На мой взгляд индустрия онлайн образования деградирует в качестве. Уж очень много народу устремилось туда в погоней за хялявными деньгами, продавая несбыточные мечты таких же халявных денег учащимся. Здесь отслеживается четкая закономерность болезни роста - чем больше бизнеса становится, чем хуже качество. Меня постоянно догоняет реклама всяких курсов и марафонов как халявней, и с меньшими усилиями поучиться, и повысить свой доход.

Я потратил 35 лет своей осознанной жизни в поисках способа учиться быстрее и эфффективнее. Почти бился об стену, чтобы найти священный грааль. И знаете не нашел… Кроме адских усилий, мазолей на пальцах от исписанных листов бумаги. Чтобы поступить на Физтех из самой обычной провинциальной с обычными учителями школе пришлось набраться очень большого терпения, засучить рукава и решать в течение года олимпиадные задачи по физике и математике по 4 часа каждый день (без репетиторов). Аналогично было и с английским, со спортом (да, да, ничего не заменит тренировки, просто их нужнее сделать чуть умнее.) И с машинным обученим, c музыкой, и с рекомендательными системами. Ничто не заменит собственные умственные усилия для достижения чего-то. No pain, no gain.

За последние 12 месяцев я прошел две специализации на Coursera и еще один курс по Reinforcement learning. Плюс еще несколько у меня за плечами (Scala, и курс по алгоритмам). По ним я увидел несколько закономерностей. Лучшие курсы все-таки получаются у людей, кто много делали практику, но и очень много преподавали! Именно поэтому я не буду делать свой курс. Раньше я презирал теоретиков, и очень любил практиков. Но похоже без них нельзя сделать практику интересней - они все время сорвенуются и пытаются обогнать друг друга.
Второе - самый лучший критерий оценить собственное понимание - это решить задачу с нуля. Просто взять чистый листый бумаги и с минимум подсказок решить задачу хотя бы в первом приближению. Любую задачу, ну а если еще можете объянить ее решение - то это уже большой шаг вперед. То же самое касается музыки и языков. Музыка - можете сыграть что-то простое с листа? Можете на слух подобрать мелодию и сыграть, можете подыграть кому-то? Язык - можете объяснить кому-то что-то и т.д. И самое интересное про курсы - в большинстве случаев я уже через месяц начинал забывать, а что собственно там было. Это как после хорошей книги - книга понравилсь, но она всего лишь расширила ваш кругозор, ничего более. Но в следующий раз я знаю, куда мне пойти, чтобы быстро ответить на мой вопрос, который я встречу на практике.


PS:
-К сожалению, даже хорошим качественным курсам приходится использовать обычные “продажные” техники маркетинга, которые эксплуатируют нашу страсть к халяве, чтобы пробиться через шум всех остальных. По каждому курсу Coursera, который я прошел, я напишу мини-отчет в ТГ канале книги по каждому - буквально в несколько предложений.
⁃ Один мой хороший знакомый, который читал речь аудитории в 30000 человек на стадионе (конечно без презентации) сказал - относись к этому как к театральному представлению. Люди запомнят больше того, кто их развлек больше. [Это и есть маркетинг знаний]

Получил сегодня такой фибдек. Конечно тут мало заслуги datalearn, и автор превзошел все ожидания. Его пример показывает, что все реально! Может не тем мы занимаемся? Надо бежать в системные аналитики=)

Больше года пытаюсь пройти даталерн, все время что то отвлекает.
Начал, когда ещё в Сбере работал системным аналитиком.
В системные аналитики я случайно попал, вначале показалось интересным, но со временем понял, что хочу кодить.
Вот и начал даталерн изучать.
В Сбере ЗП была 114к, вроде бы хорошо, но через полгода начал собеседоваться и попал в интегратор с зп 230к. И подумал, что может быть ещё лучше. И тут как раз ты начал активно развивать тему с несколькими работами, моя жена заметила твой один из первых постов про 2 работы.
Так я и нашел свою 2 работу с ЗП 300к по ИП. Правда так же системным аналитиком. Получается 500к в мес, вроде не плохо. Еще в июне 2020 года ЗП была 45к.
Сейчас хочу найти 3 работу, так как свободное время ещё осталось. План на год суммарная зп на 800к и одна из работ должна быть иностранной (для этого хожу к репетитору по английскому)
В прошлый год ставил цель 220к, перевыполнил план в 2 раза=)
Хотел сказать тебе спасибо за курс, за канал и за много полезной инфы. Благодаря этому я понял, что можно иметь больше)
Я все ещё не теряю надежды стать дата инженером)

Всем привет, ко мне обратились ребята из Германии, у них небольшой бизнес на Амазоне. Они задумывались о создании аналитического решения с 0. Мы с ними пообщались и придумали такую штуку. Взять несколько активных студентов даталерн и за бесплатно сделать реальный проект на AWS. Создать хранилище и ETL. Собрать данные и проверить гипотезы. Это будет реальный опыт + бест practices от меня. Ну и все потом задукоментировать на хабре и может вебинар сделать.

Так как у нас slack мертвый, я даже не знаю кто у нас активный, а кто нет, кто делает дз, а кто нет. Напишите мне в слаке, и скиньте ваш прогресс по datalearn. Нужно пройти модуль 1,2,3,4,5,6. В 6 только Redshift.

Необязательно делать все домашки, но хоть что-то. Кстати никто не сделал все домашки.

"В чем сила брат? В деньгах? Сила в правде, у кого правда, то и сильный"

Решил записать покаст про насущную проблему

В этом подкасте я размышлял на тему вопроса - "Сколько нужно зарабатывать, чтобы жить комфортно?" Ответ очевидный, чем больше, тем лучше. Но в действительности, я пришел к выводу, что если после всех базовых потребностей остается 50% от вашей зп, то это можно считать это хорошим показателем, лично для меня. Так как жить от зарплаты до зарплаты, это как носить воду в друшлаке. Не вариант. Надеюсь мои идеи и мой опыт сможет вам посмотреть на вопрос заработка с другой стороны и понять, где же у вас line in the sand.

PS если вам говорят, что ваша зарплата "в рынке" это можно воспринимать как личное оскорбление, и значит вы далеко ниже реального рынка😜


https://anchor.fm/dmitry23/episodes/ep-e1dun3p