У меня тут супер концепт появился для Surfalytics - каждый месяц я буду выбирать проект и вместе со студентами мы будем делать его, каждый в своем ритме и параллельно обсуждать. Идей у меня куча, что можно сделать полезного для себя, для портфолио, да и просто углубиться в вопрос.

Уже выбрал первый проект - развернуть кластер Azure Databricks в виртуальной сети (VNET) и использовать конфигурации Security Cluster Connectivity, это когда виртуальные машины не торчат в интернет. Так же есть и на AWS c VPC. Тут главное про настройку сети, а не Spark/PySpark. Если есть возможности сделайте like в LinkedIn - мой пост про важность конфигурации сети, пост Surfalytics про первый проект.

Для Surfalytics я запустил Discord и там будут закрытые каналы для проектов. По результатам проекта запишу видосик.

Вообще планирую в будущем 2 типа проектов
- BI/Analyst
- Data Engineer

Вообще миссию себе придумал, быть номер 1 ресурсом в мире по началу пути в дата профессии. Это длинный путь, но меня штырит от таких движух и даже если финансово не заработает, все равно будет приятно, что кому-то это принесет пользу.

Сегодня утром у меня сын 11 лет на youtube нашел мои записи про BI Academy в Ламоде и все 3ое детей смотрели видосики, и им было так круто, что папку у них показывают и там и тут (особенно робот Борис), и потом я им показал datalearn канал, там они там залипли, места знакомые из наших поездок, где-то они на фоне бегают. Потом стали читать комментарии и угорать, особенно им понравились комменты про томатный сок. 🍅 Так что планирую заполонить весь интернет видосами surfalytics 🍸

И самое главное у меня уже было целых 2 платные консультации из Торонто и Австралии, мы там обязательно добьем все вопросы! 📈

PS если еще не в друзьях в Linkedin, добавляйтесь. https://www.linkedin.com/in/dmitryanoshin/

Когда вам будет скучно - сделайте BI Server update, так по быстренькому перед сном...Вот и я думал, ща я по playbook копирну новые jars для Looker, перезагружу и спать. Утром меня похвалят, что я такое красавчик сверх урочно еще и обновил наш сервер.

Вообще я ни разу в жизни не работал с Looker до этого как администратор и первый раз сделал SSH на виртуальную машину.

Как будто до этого я не "убивал" SAP Business Objects и Tableau. Бэкапы для слабаков. Ну в общем грохнул я Looker сервер, который крутится на EC2.

Сейчас я понимаю, что на самом деле было не все так плохо, просто надо было решить проблему с ключом шифрования (согласно логам), но это я понял потом.

Сначала я нашел бэкап 2021 года и познакомился с новой фичей Ec2 - swap root drive, в общем в конец все поломал. Когда делал swap, он грохнул текущий жесткий диск.⚰️ Такая ностальгия по былым временам. 🤪

Конечно idempotent ETL мне больше нравится. Жалко что BI server не idempotent. Придется с нуля новый сервер ставить, интегрировать с saml и потом еще выслушивать упреки менеджера. Можно зато потом блог пост написать - установка looker на EC2 и интеграция с saml и github. Как раз был пробел в знаниях🦩

Поэтому как ни крути, бэкапы все таки экономят время.

У вас есть веселые истории как вы грохнули прод? 🪓

Коллега меня поддержал, сказал у него не старой работе менеджер говорил, если инженер не грохнул Hadoop в проде хотя бы раз в жизни, мы его не возьмем на работу, так что полезный skill. Если не клали прод, вы знаете, что делать! 🫡

Не знаю как сейчас, но когда я начинал карьеру ни одна компания меня так ни привлекала как McKinsey. Вообще вся это большая четверка, KPMG в Moscow City, и другие пафосные организации. Знакомые коллеги которые туда попадали и у них над головой появлялся ореол, они прям сияли😏

Тогда я думал лучше места нет и что успешный успех это у них. Я даже был на собесе в KPMG и меня спрашивали сколько беременных женщин сейчас едет в метро… по итогу предложили 50т рублей и ненормированный день, в итоге я с удовольствие пошел в Терадату за 120т рублей и первые 2 недели чилил с женой в Мадриде на new hire тренинге (с тех пор считаю себя главным поглотителем всевозможных корпоративных бенефитов, могу кстати тестировать ваши корпоративные бенефиты, за дорого).

К чему я все это? Да просто смешной ролик про McKinsey.

В Канаде я тоже как то видел их вакансию, но это уже не для многодетной семьи, да и зарплаты канадские это вам не московские🙁

Ну привет Bing! Посмотрим чего ты стоишь....🔪