25 сентября приглашаем на первый в этом году офлайн-митап от Яндекс.Дзена.

Будем говорить про объяснимость рекомендаций, общаться и готовить бургеры!
Количество мест ограничено.
Все зарегистрировавшиеся получат видеозаписи с мероприятия.


Продробности и регистрация по ссылке: https://events.yandex.ru/events/zen-meetup-exploration/?from=tg_cpc_rockyourdata

PS реклама поддержала приют для собак в Москве.

Статья про Airflow и DBT

Хорошая вводная статья про типы СУБД

Обожаю этого чувака

This free GitHub course is sorted into multiple tutorials which were actually delivered using O'Reilly Katacoda during the live training (which is totally ah-mazing 🤩 )

To avoid any legal issues - all of the SQL live training material is available directly here on GitHub as a companion course which you can learn from at your leisure 👌
https://github.com/DataWithDanny/sql-masterclass

PS Новый день, новый SQL курс))

В Канаде тоже много курсов, вагон и маленькая тележка. Но оказывается, если курс больше 40 часов и стоит больше 4000 долларов, то необходимо получать разрашение у государства.

Недавно я проверял программу курса Applied Data Science and Big Data Diploma. 120 дней (5 дней в неделю) за 16000$ (можно в кредит). Это требование государства, чтобы человек из индустрии ознакомился с программой, помещением и написал заключение. Главная задача это чтобы learning outcome cоответствовал программе, материалам, лабам и тп.

Конечно, трудоустройство никто не обещает. И как я понимаю, любой желайющий может арендовать помещение и продавать курсы за свою стоимость и у вас будут все шансы получить лицензию "accredited college". Просто нужно немного первоначального взноса приготовить. Нанять консультанта, который знает как подавать документы, он за вас все заполнит и подсат заявку. Затем вам нужен человек из индустрии с резюме, в данном случае нашли меня. И вот уже в декабря они начнут косить бабло. И конечно вам нужно уметь продавать свои курсы и конкурировать с другими "accredited college".


Вот такой интерсный опыт.

Кстати, для вас я могу расшарить список литературы:
Deep Learning Publisher
The Elements of Statistical Learning: Data Mining, Inference, and Prediction
OpenIntro Statistics
Hadoop: The Definitive Guide Paperback
Learning Spark: Lightning-Fast Big Data Analysis
Mastering Apache Cassandra
The Elements of Statistical Learning: Data Mining, Inference, and Prediction
Open Intro Statistics: Third Edition
Learning SQL: Master SQL Fundamentals Publisher
Learn Python The Hard Way
Effective Data Visualization: The Right Chart for the Right Data
Python Data Science Handbook: Essential Tools for Working with Data

В теории, за 3 месяца курс должен научить всему, что я учу на datalearn + курс Анастасии по ML&DS + курс Анатолия по SQL. Так же надо будет прочитать и главное понять эти книги и еще много чего. Прям утопия. Мое дело маленькое, посмотреть на программу, дать им рекомендации и взять 500$😎

Как я понял ни государству, ни школе качество прям не очень критично, главное, чтобы состав программы соответствовал заявленным целям, как миниму ключевые слова люди будут знать за 15к (кстати, можно купить в Канаде honda или mazda suv в очень хорошем качестве за эти деньги, ну или еще найти много применений, а курсы пройти бесплатно на курсере)

Слышали вы про Code Review? Это когда в команде несколько человек пишут код в своем branch, например SQL, PySpark и потом делают commit.

Дальше, нужно создать Pull Request, и начинается Code Review, коллеги смотрят ваш код и оставляют комментарии по улучшению. И когда всего будет ок, после множества итераций, ваш branch сделает merge в MAIN (заметьте, MASTER уже не комильфо!).

Сегодня после очередного code review, я чувствую, что я прошел 5 стадий реагирования на изменения по Э. Кюблер-Росс.

Все 5 ключевых стадий эмоционального реагирования:

-Отрицание🙅‍♂️
-Гнев🤬
-Торг🙄
-Депрессия☹
-Принятие🤗

Статья про ETL, но на react и rails и так тоже можно. "Extract, Transform and Load with React & Rails - DEV Community" https://dev.to/erinfoox/extract-transform-and-load-with-react-rails-ggp

The First Rule of Machine Learning: Start without Machine Learning
Если в кратце:


"When you have a problem, build two solutions - a deep Bayesian transformer running on multicloud Kubernetes and a SQL query built on a stack of egregiously oversimplifying assumptions. Put one on your resume, the other in production. Everyone goes home happy."

То есть всякие кубернетисы, эмлфло(не путать с ммм), глубокие обучения это конечно прекрасно, но давайте сначала сделаем простую модельку, чтобы принести value для stakeholders.

Если работаете с AWS или учитего его, то это хорошее место для доп знаний - AWS вебинары. https://pages.awscloud.com/AWS-Online-Tech-Talks_September-2021.html

Хорошая картинка, должна быть многим знакома, у кого огромный backlog по задачам в BI делах. Именно для этого хорошо иметь self-service BI, чтобы такого не было, но его же не существует?))

Как у обстоят дела с эмпатией? Я услышал это слово впервые, когда началась эра смены bad ass CEO в штатах и на их место приходили тихий и спокойные ребята, фокус переходил на сотрудников и культуру. Bro culture уже начала идти на спад.

Когда у Microsoft появился новый СЕО - Сатя, то я познакомился со словом эмпатия - Microsoft CEO Satya Nadella: How Empathy Sparks Innovation.

Это напомнилу мне истороия из лицея 1501, кстати символ лицея - яйцо, его памятник прям перед входом. Наш учитель английского был большим шутником и проказником. Каждый раз когда он давал нам контрольную работу, он включал классическую музыку и аргументировал, что согласно исследованиям, коровы дают больше молоко под классическую музыку.

Возможно эмпатия - это как классическая музыка для коров, чтобы сотрудники больше давали "молока".

Согласно википедии эмпатия это осознанное сопереживание текущему эмоциональному состоянию другого человека без потери ощущения происхождения этого переживания.

Мне запомнилась одна фраза, когда я слушал аудио книгу про Стива Джобса, он сказал, что у молодого Билл Гейтса напрочь отсутствует эмпатия, так что для ценителей конспиралогии это явно знак;)

А сегодня попалась статья про Empathy Is The Most Important Leadership Skill According To Research. Так что, не одним лишь SQL и Python, надо заниматься, но обязательно иметь empathy и развивать эмоциональный интелект.

The Art of Collaborative Data Science at Scale

A unified approach that boosts data science agility and productivity

Красивая брошюрка от Databricks

В Амазоне был большой плюс за счет email group по всем напрвлениям. Можно считать, что это как community. Можно писать в группу про Табло, DE, DS, и много других. За счет этого работая в одной команде, можно общаться со всеми. Эти группы еще часто использовались для не совсем легального переманивания сотрудников HRами. Но главное правило Амазона - никаких повышений при переходе, так что внутренний переход, это обычно почти как понижение. Я сделал таких аж 3, зато повышение опыта в геометрической прогрессии.

В Майкрософт все наоборот, групп нет. Есть Yammer, это продукт Microsoft Office, смесь форума и SharePoint. В общем, нет возможности общаться с другими. Я даже создал страницу по аналитике на ямере, но за год пришло 10 человек.

Но потом я нашел другое мероприятие - Azure Bootcamp, это внутренние тренинги для новичков всего Azure и всех других желающих, вот для них я и сделаю презентацию, буду рассказывать в Azure про AWS и GCP😎

Getting started with Modern Data Stack: from Database to Lake House

Learn about key milestones in analytics and data engineering space starting from simple reporting solutions on top of SMP databases, moving towards MPP data warehouses, rise and fall of Hadoop ecosystem. Finally, will shift towards modern data stack with rise of cloud computing. Then I will explain the key concepts of Lake house architecture and review the data analytics market including AWS, Azure and GCP solutions, as well as third parties’ solutions like Databricks and Snowflake and popular data integrations tools. Finally, I will show couple reference architectures built on top of AWS and Azure for data warehousing, big data and ML use cases.

В Microsoft Teams есть крутая возможность отправлять сообщение через webhook, так же как и в slack, telegram и другие. Но у teams какие-то невероятные возможности, можно отправлять дашборды, делать кнопки, отправлять запросы и получать графики. У меня пока только получается выполнять SQL в databricks и отправлять сообщения в тексте. Но я нашел библиотеки графиков, только не понятно как ими пользоваться, может вам пригодтся. Это моя давняя мечта сделать BI в чат ботах, все insights по требования, все рассылки по показателям в своих каналах. https://dev.teams.microsoft.com/storybook/main/index.html?path=/story/ui-templates-dashboards--with-data-vizualization

https://docs.microsoft.com/en-us/microsoftteams/platform/concepts/design/design-teams-app-ui-templates

Twilio сделало интерактивную игру, в который вы можете учить программирование https://www.twilio.com/quest

Top-Secret JavaScript Test Lab
At a remote research station deep within The Cloud, TwilioQuest scientists study the raw and untamed power of the JavaScript programming language. Join the research team and prepare yourself for an explosive discovery!

Mysteries of the Pythonic Temple
Uncover the secrets of the Python programming language as you explore the ancient Pythonic Temple, the last surviving structure of the fabled City of Python.

OSS Elephpant
Explore a colony ship of techno-anarchist PHP developers known as the OSS Elephpant. Assist the ship's onboard AI to restore critical systems and save the colonists, while learning the PHP programming language!

The Flame of Open Source
The evil Legacy Systems have stolen the legendary Flame of Open Source and hidden it in the center of a maze in an enchanted forest! Reclaim this lost power and clear the way for all developers to contribute to open source.