гоу на вебинар))
https://youtu.be/6N7KReARb4s

Вчера был замечательный день, приехал в Сиэтл с семьей, первый раз после пандемии, сходил в офис на работу, с коллегой первый вас увиделись оффлайн, который всю жизнь живет в пригороде Сиэтла.

Прийти в офис на работу, и целый день посвятить одной работе, уже роскошь, поэтому было очень приятно провести так день.

За целый день я его научил использовать dbt, snowflake, dbeaver, рассказал про terraform и airflow и помог ему сделать несколько образцовых pull request, и подарил бутылку канадского сидра.

Мы обсудили консерваторов и республиканцев, легальность оружия, свои зарплаты и тп. Разница ментальности конечно колоссальная от типичного канадца, хотя разница всего в 200км.

Вообще интересно, парень зарабатывает неплохо, а ездит на тойоте короле, которой 20лет и живет в съеме. Я уверен, что он хотел бы больше, но боится сделать шаг. И так много людей бояться желать большего.

Поэтому, никогда не надо бояться хотеть больше! Мы сами себя урезаем, всегда есть возможности, просто надо захотеть и сделать!

🗓 14 ноября, 20:00 по мск “Жизнь после senior”

Обсудим карьеру разработчика после позиции Senior, разберемся, какие есть карьерные возможности и как жить вне менеджерского трека. Рассмотрим, что такое Staff+ и ответим на вопрос в чем разница между Staff+ и Senior. Также разберем типы Staff инженеров, поговорим о roadmap для Staff+ и о прохождении собеседований.

Встречаемся 14.11 в 20:00 по мск в Zoom

@backend_megdu_skobkah

Всем привет, хотел кратко написать про рекламу в канале. Очевидно, реклама всех бесит и ее эффективность мала, чем больше рекламы, тем хуже эффективность. Некоторых она бесит настолько, что люди уходят. Хотя, уходят чаще из-за моих постов, не связанных с аналитикой.

У меня нет цели монетизировать канал или даталерн. Самый главный бонус для меня был до 2018 - возможность слетать и выступить на конференцию в Москву. Возможно, когда-нибудь, эта опция вернется.

Если вас бесит реклама, то sorry. Но для меня это удобный вариант получать рубли и помогать племяшкам в РФ. Так что если видите рекламу, можете просто проскролить или поставить соответствующий эмоджи. Я всего лишь помогаю осваивать рекламные бюджеты😀

Стал слушать "1984" Джорджа Оруелла. Услышал очень полезный совет - "Соблюдая маленькие правила, можно нарушать большие".

Очень полезный совет для корпоративного мира и частично отвечает на вопрос как все успевать.

А у вас какие любимые цитаты из книг? Поделитесь в комментариях.

Лично я довольно далеко от крипты и так и не получилось вложиться. Из последних новостей развал биржи FTX. Так много все про это говорят, что даже стало интересно, как так произошло, и попалась простая и понятная статья - Как кудрявый пухляш сломал крипту: самая полная история краха биржи FTX

Вообще вспоминается Леня Голубков. А вы знаете такого? Вот как раз рассмотрели про развал пирамиды UST/Luna в статье «Я не халявщик, я партнер»: как обещали надежные 20% годовых в долларах на блокчейне, и почему всё развалилось

И вот еще в догонку Крах Celsius: почему даже порномодель в команде крипто-банка не поможет заработать 18% годовых

Интересно как там поживает глава Microstrategy? Бывший лидер BI. Хотя вот есть статья - MicroStrategy на грани банкротства от 6 мая, хотя компания все еще на плаву.

А есть те, кто успел вовремя выйти и заработать свой миллион?

Вот если бы были лишние деньги, я бы тоже купил биткоин, может надо сбор открыть на народный биткоин?

Достаточно большой список англоязычных материалов, которые подходят для инженеров уровня middle+.

Если вы новичок, лучше не тратить на это время, пока что, и разобраться с простыми вещами. А по SQL использовать другие ресурсы.

Алгоритмы это вообще отдельный зверь, который не каждому понадобится. Но всем рекомендую изучить самые основа, чтобы понимать, что такое O(N), time complexity и space complexity.

По структурам данных я никогда не получал вопросов на собеседованиях, но иногда полезно понимать, какие бывают, чтобы лучше выбрать для своей задачи (если у вас есть кодинг в реальной задаче)

Так как я сам когда-то "варился" в консалтинге, делал сайты для своих проектов, то всегда очень интересно смотреть на дизайн сайта схожей сферы. Раньше мне нравился сайт Slalom и Quantum Black. Но я нашел абсолютного фаворита в этой области - Montreal Analytics. Обычный бутик по BI и Data Engineering, но с очень креативным дизайнером.

Если говорить про мой опыт, то сайт это вообще последнее, что влияет на эффективность консалтинга и привлечение клиентов, но если он есть, да еще такой красивый, то почему бы и нет.

А вот история про мой консалтинг. Отчасти сайт еще делает свою работу, часто люди в Канаде пишут, что там работают, и я, как директор даты, подтверждаю их работодателю, когда мне звонят или пишут. Работает безотказно.

Давно, я скидывал список книг, которые рекомендуются к прочтению в Амазон для топов. Надеюсь нет корреляции в книгах для топов и ценой акции и массовыми увольнениями в Амазон☺️

Я только читал “Черный лебедь” из этого списка и одна часть мне особенно понравилась:

Жирный Тони — это приятель Ниро, который жутко раздражает Евгению Краснову. Пожалуй, ему больше подошло бы прозвище Нескладный Тони, поскольку он не столько толст, сколько до того непропорционален, что никакая одежда на нем не сидит. Тони носит только вещи, которые специально для него кроятся в Риме и шьются на заказ, но все они смотрятся на нем так, будто он покупал их через интернет, без примерки. У него толстые руки, волосатые пальцы, золотой браслет, и от него вечно пахнет лакричными конфетками, которые он поглощает в промышленных количествах с тех пор, как бросил курить. Он не против наименования Жирный Тони, но предпочитает, разумеется, чтобы его называли просто Тони. Ниро же окрестил его Бруклинцем Тони за его акцент и бруклинский образ мышления, хотя Тони — один из тех процветающих дельцов, что перебрались в Нью-Джерси уже двадцать лет назад.
Тони — преуспевающий не-«ботаник» с веселым характером. У него куча друзей и приятелей. Кажется, что у него вообще нет проблем, кроме лишнего веса и вызванных этим подтруниваний семьи, дальних родственников и друзей, которые то и дело напоминают ему об опасности раннего инфаркта. Все средства тут бессильны: часто Тони отправляется в Аризону, в клинику для похудения, чтобы не есть, и даже теряет несколько фунтов, но снова набирает их уже по пути домой, в самолете, в кресле салона первого класса. Удивительно, что всегдашний строгий самоконтроль и самодисциплина изменяют Тони, когда дело касается обхвата его талии.

Начинал он в ранние восьмидесятые, клерком в отделе аккредитивов одного из нью-йоркских банков — перекладывал бумажки и занимался кое-какой рутинной работой. Потом ему поручили оформлять кредиты для малого бизнеса, и он понемногу разобрался в тонкостях игры: как устроен механизм финансирования в крупнейших банках, как работает их бюрократический аппарат и как это желательно отражать на бумаге. Тогда же он начал приобретать собственность обанкротившихся предприятий, скупая ее через финансовые учреждения. Тони верно подметил, что, покупая дом, проще иметь дело не с владельцем, а с банковским служащим, которому по большому счету все равно — ведь дом-то не его. Он быстро научился вести переговоры и маневрировать. Позже он также научился покупать и перепродавать автозаправки, беря кредиты в небольших районных банках.

У Тони есть замечательное обыкновение делать деньги без усилий, забавы ради, без напряжения, без офисной рутины, без совещаний, мешая сделки с частной жизнью. Девиз Тони: «Найти лоха». Ясно, что таковыми часто оказываются банки: «клеркам ни до чего нет дела». Найти лоха Тони умеет играючи: у него на них особый нюх. Пройдите с ним пару кварталов, болтая обо всем и ни о чем, и почувствуете, что узнали много нового о том, как устроен мир.

Тони обладает удивительной способностью доставать не внесенные в справочники номера телефонов, билеты на самолет в первом классе без доплаты или место на стоянке для вашей машины, даже если официально мест нет, — и все это благодаря нужным знакомствам и неотразимому обаянию.

А вот пример абсолютного антибруклинца, я назову его Доктор Джон. Он бывший инженер, а ныне работает статистиком в страховой компании. Это худой, жилистый человек, он ходит в очках и носит темный костюм. Живет он в Нью-Джерси, недалеко от Жирного Тони, но они, разумеется, почти никогда не встречаются. Тони не ездит на электричке (он водит «кадиллак», а иногда итальянский кабриолет жены — при этом шутит, что за ним не сразу разглядишь машину) и вообще не ездит на работу к определенному времени. Доктор Джон живет по графику, он предсказуем, как часы. По пути на Манхэттен он вдумчиво читает в вагоне газету, затем аккуратно складывает ее, чтобы продолжить чтение в обеденный перерыв. Если Тони обогащает владельцев ресторанов (не удивительно, что те встречают его лучезарной улыбкой и шумными

Амазон наверно был последним кто уволил множество SDE. По linkedin я заметил, что увольняют обычно простых инженеров, менеджеров меньше трогают. Интересно почему так происходит?

Классная статья - Why Everything in Tech Seems to Be Collapsing at OnceThe industry is having a midlife crisis.

Сейчас делаю презентация для 5го класса по программированию, правду пишу туда про азбуку морза, расшарю потом презенташку.

А вчера пол дня делал workshop по AWS Glue (Spark). Делюсь презентацией, это будет потом урок в 7м модуле, когда буду показывать AWS Glue и Synapse Spark Pool.

Внутри презентации:
- обзор Apache Spark
- примеры внедрения
- задачи для AWS Glue

В workshop я сделал:
- создание notebook in Glue Studio
- создание notebook in AWS Glue Jupyter Notebook with PySpark
- создал локальный инстанс jupyter notebook и подключил его к AWS Glue Interactive Session (можно локально выполнять код и подключатся к Athena, Spectrum)
- показал пример AWS CLI для Glue (создание джобы, выполнения и отслеживание статуса)
- CI/CD процесс через Docker c AWS Glue и PyTest (была теория)
- Использование Terraform для создания AWS Glue job, и несколько сред разработки dev,stage,prod + релиз кода через git tag (каждая среда может иметь свой джоб с нужной версией Pyspark кода)

Обязательно потом запишу видео и добавлю код в репо, пока так.

А как вы используете Glue?

А вот детская презентаций. Еще получилось договорится с Microsoft и свозить класс в лаборатории Microsoft Garage (в его Ванкуверское отделение). Во многих канадских библиотеках есть 3Д принтера, и я хочу туда тоже сходить с классом, чтобы ученики могли на компе нарисовать модель и там распечатать и узнать про 3д принтер и моделирование.

Кстати начиная с 5 класса все ученики обычной школы носят каждый день свой компьютер. Мой сын носит Mac Air 2011 года, который еще работает и был привезен Всеволодом из Америки, который сейчас возглавляет яндекс дата платформу, за что ему спасибо😃

А с января начинается новый курс по Cloud Computing в University of Victoria. Получается, что у меня хобби главное это кого-то учить, может быть когда-нибудь это станет основным моим занятием.

Есть еще крутые детские ресурсы по кодингу и технологиям?

Расскажу про один кейс на картинке. Условно назовем его Embedded BI.

Задача простая, у нас есть хранилище данных, которые наполняется данными об использовании нашего продукта. Теперь, мы хотим для наших клиентов показывать метрики внутри их личного кабинета. Не можем же мы, для каждого клиента купить лицензию Tableau/Looker. Точнее можем, и вам с удовольствием продадут))

В нашем случае, мы лучше найдем open source продукт, который позволит настроить графики и аналитику и легко интегрируется в web framework. И это headless BI (тоже новый термин для меня) - Cube.js. Штука крутая и можно создавать очень красивые графики. Вообще можно использовать как инструмент красивых управленческих дашбордов.

Следующий этап это каким образом данные подгружать в дашборды. Можно в лоб, подключиться к Snowflake напрямую и потом офигеть от цены. Поэтому лучше выгружать данные из снежинки в S3. Как? Берем dbt, создаем новую модель (таблицу) в которой будут все данные и метрики (условно датамарт) и дальше создаем dbt macro, который будет выгружать данные, в случае снежинки использовать команду COPY (я узнал что у этой команды много ограничений в снежинке при использовании PARTITION BY, прям даже неожиданно), но тем неменее работает. Потом эти данные мы загружаем в RDS Postgres и подключаем BI.

Остается только мониторить, чтобы ничего не упало и не сломалось. Цена снежинки на COPY (Unload) копеешная, RDS тоже не дорого. Это для Enterprise клиентов.

Следующий этап будет рассылка письма дашборда тысячям клиентов, кто не Enterprise еще, используя cube.js для отрисовки дашборда в формате красивого письма. Очень классный кейс, прям Customer Obsession, как говаривали в Амазоне.

Всем привет! Несколько новостей! 🦆

1️⃣ Роман @rspon завел чат по datalearn https://t.me/datalearn_chat (присоединяйтесь, инфа там в закрепе) в замен слака, так как:
1) слак все равно удаляет всю историю
2) часто нужен VPN
В целом Slack хороший, так как это небольшая строчка в резюме, мелкая, но полезная. Так что опционально вы можете попробовать туда пробиться через чатик, но для учебы главное это гит учебник.

В чате можно домашку кидать

2️⃣ Я заметил, что уже много людей из нашего сообщества обитают в Ванкувере, а значит можно сделать митап. Я долго думал как это сделать бесплатно и хорошо, и придумал. Я же лид по Табло группе местной, и офис SalesForce в Ванкувере в моем распоряжении для митапа по табло, даже еще 250 баксов на пицце дадут. Поэтому, давайте замутим встречу на митапе табло в Ванкувере в декабре. С меня пицца, с вам пиво, сидр, вино или чего там еще есть:) Только надо бы спикера найти, я могу быть спикером по какой-нибудь теме, но нужен второй доброволец, кто выступит в Ванкувере с докладом. Пишите в комментах, если хотите затусить так и вы можете приехать в Ванкувер.

Update: Сделали группу для "своих" в Ванкувере, пишите @sergeykham он вас добавит. Цель нетворкинг, митапы, и в будущем может сходим в поход, хайк, пляжный воллейбол или еще чего.

3️⃣ Вы так же можете провести подобные сходки на Кипре, например, там Рома уже с кем-то делал.у

А вы еще ждете?🦧

Несколько графиков "пирожков" рассказывают нам об опасности визы H1B. FAANG компании имеют самую большую квоту на рабочие визы и соответственно при увольнении людей, специалисты на рабочей визе находятся в группе риска.

При массовых сокращения компании нам не сообщают о проценте уволенных с H1B.

Для меня всегда был важный вопрос иммиграции. В лоб обычно существуют 2 варианта:
1) Быстро и не предсказуемо - рабочая виза, которая вас ограничивает и может ничего не гарантировать
2) Долго - классическая иммиграция как в Канаде и Австралии. Вы получаете вид на жительство, бенефиты и уже на месте думаете, что делать.

Кроме этих 2 вариантов существует еще много разных вариантов, например по учебной визе, виза О1 в штаты (для "гениев"), по тур визе или вообще нелегалом на стройку. Но все эти варианты имеют риски, зато быстро.

Какие пути миграция вы бы предпочли или уже использовали?

Еще одна статья и визуализация - на это раз тема касается Performance Review. Я думаю каждый через это проходил.

10,000 Google Employees Could Be Rated as Low Performers, то есть bigdata посчитает кому уйти, а кому нет. Обычно performance review очень сильно зависит от отзывов ваших коллег и менеджеров, и менеджеров вашего менеджера, если вы знаете как их сделать "счастливыми", то врят ли вы попадете в low performers, а если вы любите показывать характер, спорить, то тут уже как повезет☺️ Опять же как и все ранее в канале, это моя точка зрения, у вас может быть другая, поэтому welcome в комменты.

Я тут понял в чем самая большая проблема всех этих увольнений - это то, что у людей зарплата больше чем 2 средние по рынку. То есть вам платят 400к зеленых в год и выгоняют. А вы такой крутой спец, как же вы будете работать за 120к зеленых в год?! Придется снижать планку. Сейчас отличная возможность какой-нибудь страховой набрать себе ребят из Амазона и Мета и платить им обычную зп, раньше они о таком и мечтать не могли.

Мне лично за 12 лет работы ни разу это дело (performance review) не помогло. Рецепт всегда был одинаковый - "хочешь больше денег, выше должность" - меняй работу. Для меня performance review - там самая морковка перед носом осла, которую вам еще потом куда-нибудь могут засунуть😱 Я записал подкаст на тему карьерного роста и отношения с работодателем. Но это я, возможно это не самый лучший пример. Я просто для себя расставил приоритеты и снял розовые очки.

А как у вас проходит performance review? Как влияют результаты на вас и вашу работу? Есть что добавить?