Кирпичи решают! #databricks

У кого ещё день рождение в канале?🥳🤗

Дмитрий,добрый день!

Меня зовут Толганай, представитель https://t.me/kz_bi.

Сообщество всех, кому интересна сфера анализа данных и Business Intelligence в Казахстане. Проводим митапы, воркшопы и конференции. В этом году у нашего сообщества будет день рождения, в связи с этим организовываем Data-марафон с выступлениями на тему анализа данных. Подскажите,можно ли будет об этом рассказать у Вас на канале?🙏🏻

Quantum Computing это серьезный топик, вы можете посмотреть презентацию с вебинара - Quantum Computing beyond fundamentals. Интересно, будет ли какое-нибудь применение в аналитике.

Писать или не писать книгу, вот в чем вопрос! А главное зачем!?

За 11ти летний опыт работы я написал 7 книг, которые можно найти на Amazon и в других именитых местах по всему миру. Мое имя осталось в истории навсегда (в хорошем или плохом смысле, это вопрос:p), что не скажешь про технологии, о которых я писал.

Технологии быстротечны, сегодня мы восхваляем одно, через пол года уже другое. Поэтому писать книги о технологиях это на любителя. Так как я не могу писать романы и философские рассуждения о влиянии посмодернизма на modern data stack, то я написал о технологиях. Да и цели были конкретные, которые я реализовал насколько смог.

В покдасте расскажу о своем опыте и о том как начать, а если подробней то:

- 0:39 Первая книга
- 3:26 Book idea and outline
- 5:07 Первая книга сделана
- 5:44 Вторая книга
- 7:30 Вторая книга сделана
- 9:02 Третья книга сделана
- 10:17 Много работы
- 11:46 О целях написания книг
- 14:35 Про Tableau
- 16:23 Что по деньгам
- 17:31 Книга про Snowflake
- 20:15 Что нужно, чтобы начать писать книгу
- 22:02 Книга как часть личного бренда

За обработку аудио спасибо Мак (PhD, NLP Eng.; подкаст Data Coffee)!

PS возможно Мак будет больше думать о своем бренде и даже придет к нам с вебинаром, как никак PhD NLP!:)

Новый подкаст: Выгорание - оно реально? Что это и можно ли победить?

Хотите верьте, хотите нет. Выгорание реально😑. Оно подкрадывается незаметно и окутывает вас в свои сети, затягивает вас в болото, в котором вам ничего неинтересно и ничего не хочется делать. Такая вот, неприятная штука, которая встречается в профессиональной карьере. Ее сложно избежать, но важно понять причины и признаться себе, что у вас "выгорание" и сойти с пути деградации, на путь восстановления🐒

В подкасте про мое знакомство с выгоранием и мысли о том, как с ним справляться.

- 0:32 Что такое выгорание
- 6:23 Что-то сломалось
- 11:11 Вопрос "зачем"
- 15:26 Так что же такое выгорание
- 18:09 Как бороться с выгоранием
- 20:57 Что ещё помогает с мотивацией
- 22:45 Третий фактор в этой борьбе
- 26:25 Про sabbatical
- 29:25 Быть пофигистом

Поддержка по звуку: Мак (PhD, NLP Eng.; подкаст Data Coffee)

Как у вас с выгоранием?🦧

Лучший бесплатный курс по ML от Amazon ML Academy. Точнее тут несколько курсов:

Tabular Data - This content is based on Machine Learning University (MLU) Accelerated Tabular Data class. Slides, notebooks and datasets are available on GitHub

Computer Vision - This content is based on Machine Learning University (MLU) Accelerated Computer Vision class. Slides, notebooks and datasets are available on GitHub.

Natural Language Processing - This content is based on Machine Learning University (MLU) Accelerated Natural Language Processing class. Slides, notebooks and datasets are available on GitHub

Decision Trees and Ensemble Methods - This content is based on Machine Learning University (MLU) Decision Trees and Ensemble Methods class. Slides, notebooks and datasets are available on GitHub

Я проходил только Tabular Data еще в Амазоне. Его достаточно, чтобы понять, что такое ML и как его использовать. Если вы работаете с data не как ML или Data Scientist, то вам будет полезно для общего развития, понимать как это все работает, и как выглядит ML на практике. Но необходимо знать Python.

Кстати именно Tabular Module курс я положу в Data Learn модуль 11 про ML для data engineer. И может потом еще добавлю MLFlow пример MLOps.

Жесткая реальность про Нетфликс. Но мне кажется он платит 500-600. И я бы наверно не хотел бы так работать, даже за такие деньги. Тем более можно работать в Канаде и получать те же 400т, правда канадских, отдавать половину налогами, и работать 40 часов в неделю, вот это нормальная тема😇

Вообще как заметили в комментах, ценят не часы, а value.

Меня вот по знакомству устроили на завод в университете прямо сюда ГКНПЦ им Хруничева. 3 незабываемых года! 🚀🛰

В статье The Unbundling of Airflow (Unbundling - разъединение) автор рассуждает в чем же роль Airflow, если все задачки решают другие инструменты.

Например, загрузка данных (Airbyte, Meltano), трансформации в SQL (dbt) и далее по списку.

На каждую операцию есть свой open source (и платный) продукт.

А Dagster, наоборот пишет про Rebundling the Data Platform (объединение).

Кому верить решайте сами. Я лично люблю, когда все вместе. Но с точки зрения архитектуры это опасно, что-нибудь сломается = все сломается. Зато можно быстро строить - move fast, break things. И сразу можно починить.

Продолжаю изучать DevOps и Terraform по книге - Terraform: Up & Running, 2nd Edition. Когда мы работаем с данными, часто встает вопрос, как бы с паролем (или другим токеном), ведь нам нельзя его хранить как текст или записывать в логи.

Один из вариантов был - использовать системные переменные Linux/Unix/OS X shells, например, есть пароль:

$ export db_password="(YOUR_DB_PASSWORD)"
Но перед словом export нужно поставить пробел, чтобы мы не записали это в лог. Вот подробности:

In most Linux/Unix/OS X shells, every command you type is stored in some sort of history file (e.g., ~/.bash_history). If you start your command with a space, most shells will skip writing that command to the history file. Note that you might need to set the HISTCONTROL environment variable to “ignoreboth” to enable this if your shell doesn’t enable it by default.

Автор опубликовал cheatsheet для Google big query и Google Analytics.

Как-то я писал про статью в которой, автор провел анализ Европейских компаний и понял, что The median data to engineers ratio for the US companies I looked at is 1:4.

Теперь он провел похожий анализ про Штаты - The median data to engineers ratio for the US companies I looked at is 1:7.

Главная мысль автора, что все компании гоняются за data специалистами. Людей с реальным опытом не хватает.

dbt lab получили следующий раунд инвестиций.