Привет. У нас завтра третий день рождения у чата. Как насчёт ссылочки? :)

Что-то такое:

Всем привет! 14 февраля - не только День святого Валентина, но и очередной день рождения группы Power BI Group RU, самого большого русскоязычного сообщества влюбленных в Power BI в Telegram. Здесь всегда будут новости, полезные ссылки, жаркие дискуссии, но, главное, активная помощь друг другу. Присоединяйтесь!

https://t.me/PBI_Rus

The Devil is in the Dirty Laundry – Life Lessons from
Prime Machine Learning Experiments and Launches.


Abstract:


Machine Learning (ML) has attracted a lot of attention from leading high-tech companies and played an important role in Amazon in recent years.

Tremendous effort has been devoted to studying and utilizing the latest ML techniques as well as developing tools to support the fast development and implementation of them.

However, there is little shared on best practices and issues encountered from practical applications in the wild.

In this paper, we share our experiences and 14 lessons learned from a variety of experiments and product launches in order to raise awareness of common pitfalls and improve the success of other ML applications across Amazon.

Маркетинговая аналитика и модели атрибуции все еще очень популярны и востребованы.

fun attribution exercise: a company sent me an email reminding me about what they do, i read it, clicked a link, watched the video, slept on it, remembered the next day, told a coworker about it on slack, he will google it and find them and sign up. good luck attributing that.

В статье The Case for Marketing Attribution автор рассматривает классические подходы и потом переходит к Hidden Markov Model.

Я тоже пытался использовать HMM еще в 2014 году, создал Redshift, загузил все данные из разных каналов (кстати использовал Pentaho DI), потом понял, что как-то сложновато для меня одного, построил Sankey диаграмму и сравнил First Click и Last Click модели, на этом все закончилось🤗

Видео про чувака из самого знаменитого мема https://youtu.be/PUKwXKzRsXY

Microsoft и другие tech компании готовятся возвращать людей на работу. Паника заканчивается и можно загнать людей обратно, где есть бесплатный кофе и напитики (совсем не healthy), тренажерка и конференц залы, в которых уже не поигаешь в Xbox во время встречи🤫

Я вот, например, не собираюсь обратно в офис, покрайней мере в офис, в котором платят Канадскую зарплату🇨🇦

Мне всегда офис нравился, я даже во время пандемии почти год в офисе провел, пока ковид паспорта не ввели. А теперь уже не до офиса стало😄

А вы как уже в офисе? Где вам лучше работается?

Товарищ рассказал про 5 дата трендов в 2022, давайте на них посмотрим.

1. The rise of the Analytics Engineer - ну то есть разработчика dbt. Как-то за пределами dbt community это слово не прижилось.

2. The data warehouse vs data lakehouse war intensifies (and lines get increasingly blurred) - это факт, спасибо open source contributions в развитие delta lake, iceberg, hudi.

3. Real-time streaming pipelines and operational analytics will continue to push through - уже с 2000х стриминг деалет пуш фру. Но реально, если нет бизнес необходимости критической, зачем козе боян? Вот и я так же думаю про streaming в моей day to day data engineering job.

4. The rise of Cloud Marketplaces for Modern Data Stack adoption - это интересно. Marketplace решают. У Tableau есть такой, у Power BI есть такой. Вот про data engineering пока не знаю, есть у Snowflake Partner Connect и Data marketplace, еще видел у Azure Data Factory и Synapse, ну такое...

5. Harmonization and consistency of terminology around the Modern - Data Stack and data quality - это старо как мир, но до сих пор не решено до конца. Я имею ввиду, Tableau решил проблему дашбордов, self-service и визуализации, а вот такого же прорывного решения в области quality & governance я пока не наблюдаю, все хотят к себе такое внедрить, но единого мнения как лучше нет.

Я бы еще добавил 6 - Data Observability.

Если вы работали с Oracle и MS SQL Server, уверен вы тратили много времение на оптимизацию таблиц, ключи, индексы и другая лабуда, по которой написаны тома книг.

Если вы работали с Teradata, то там уже получше, это MPP система м мы переживаем за data distribution и можем партиционировать данные и использовать парочку индексов.

Если вы работаете сейчас с Redshift, Azure DW, то у вас до сих пор есть задачки с data distribution (все боятся data skew).

А вот Snowflake, сказал, баста, хватит этой лабуды, все будетм само работать (до определенных размеров хранилища). Вот интересный пост - Automatic Clustering at Snowflake

Это поучительное видео уже было на канале?https://www.youtube.com/watch?v=yEMW2FRkhOo&t=1s

Для всех кому интересно посмотреть как Амазон проводит собеседования, можно зарегестрироваться на Virtual Interview Coaching Lounges Weekly Workshops:
- Tuesdays 3:00-4:00pm PDT
- Thursdays 1:00-2:00pm PDT

Вообще мне перепало столько информации про Амазон, что если вы все это посмотрите то будете экспертом культуры Амазон:

16 LEADERSHIP PRINCIPLES
Everything in Amazon is discussed / measured around the 16 Leadership Principles. They form the basis of every interview and are central to life at AWS. Importantly they help keep the whole company centred on the key objectives and goals. “Our Leadership Principles aren’t just a pretty inspirational wall hanging. These Principles work hard, just like we do. Amazonians use them, every day, whether they’re discussing ideas for new projects, deciding on the best solution for a customer’s problem, or interviewing candidates. It’s just one of the things that makes Amazon peculiar”.
Amazon Leadership Principles

RE:INVENT
In order to understand AWS and the reason why we care so passionately about customers, I would recommend you watch these videos from the 2017 re:Invent Conference, our big annual showcase. Some of the videos are quite long (2 hours) but Andy Jassy, Peter DeSantis, and Werner Vogels are the AWS rock stars and set the strategic direction for us all. Importantly, you will hear from customers talking about their experiences of using our platform and working with AWS to support their mission-critical priorities.
Andy Jassy CEO
Peter DeSantis VP of Global Infrastructure
Werner Vogel CTO

DAY 1
Something else worth reading is Jeff Bezos's recent letter to shareholders – entitled “Jeff, what does Day 2 look like?” A common saying in Amazon is that it’s always Day 1. This made big headline news as the approach and attitude we have to innovation, growth and customer obsession really does set us apart and ensure we continue to be the fastest growing tech company in history.
About Amazon - 2018 Letter to Shareholders

И есть информация про AWS.
Hear What It's Like from Our Employees to Work at AWS Since Joining
Hear What It's Like from Our Employees on How to Get Prepared for an Interview at AWS

Кирпичи решают! #databricks

У кого ещё день рождение в канале?🥳🤗

Дмитрий,добрый день!

Меня зовут Толганай, представитель https://t.me/kz_bi.

Сообщество всех, кому интересна сфера анализа данных и Business Intelligence в Казахстане. Проводим митапы, воркшопы и конференции. В этом году у нашего сообщества будет день рождения, в связи с этим организовываем Data-марафон с выступлениями на тему анализа данных. Подскажите,можно ли будет об этом рассказать у Вас на канале?🙏🏻

Quantum Computing это серьезный топик, вы можете посмотреть презентацию с вебинара - Quantum Computing beyond fundamentals. Интересно, будет ли какое-нибудь применение в аналитике.

Писать или не писать книгу, вот в чем вопрос! А главное зачем!?

За 11ти летний опыт работы я написал 7 книг, которые можно найти на Amazon и в других именитых местах по всему миру. Мое имя осталось в истории навсегда (в хорошем или плохом смысле, это вопрос:p), что не скажешь про технологии, о которых я писал.

Технологии быстротечны, сегодня мы восхваляем одно, через пол года уже другое. Поэтому писать книги о технологиях это на любителя. Так как я не могу писать романы и философские рассуждения о влиянии посмодернизма на modern data stack, то я написал о технологиях. Да и цели были конкретные, которые я реализовал насколько смог.

В покдасте расскажу о своем опыте и о том как начать, а если подробней то:

- 0:39 Первая книга
- 3:26 Book idea and outline
- 5:07 Первая книга сделана
- 5:44 Вторая книга
- 7:30 Вторая книга сделана
- 9:02 Третья книга сделана
- 10:17 Много работы
- 11:46 О целях написания книг
- 14:35 Про Tableau
- 16:23 Что по деньгам
- 17:31 Книга про Snowflake
- 20:15 Что нужно, чтобы начать писать книгу
- 22:02 Книга как часть личного бренда

За обработку аудио спасибо Мак (PhD, NLP Eng.; подкаст Data Coffee)!

PS возможно Мак будет больше думать о своем бренде и даже придет к нам с вебинаром, как никак PhD NLP!:)

Новый подкаст: Выгорание - оно реально? Что это и можно ли победить?

Хотите верьте, хотите нет. Выгорание реально😑. Оно подкрадывается незаметно и окутывает вас в свои сети, затягивает вас в болото, в котором вам ничего неинтересно и ничего не хочется делать. Такая вот, неприятная штука, которая встречается в профессиональной карьере. Ее сложно избежать, но важно понять причины и признаться себе, что у вас "выгорание" и сойти с пути деградации, на путь восстановления🐒

В подкасте про мое знакомство с выгоранием и мысли о том, как с ним справляться.

- 0:32 Что такое выгорание
- 6:23 Что-то сломалось
- 11:11 Вопрос "зачем"
- 15:26 Так что же такое выгорание
- 18:09 Как бороться с выгоранием
- 20:57 Что ещё помогает с мотивацией
- 22:45 Третий фактор в этой борьбе
- 26:25 Про sabbatical
- 29:25 Быть пофигистом

Поддержка по звуку: Мак (PhD, NLP Eng.; подкаст Data Coffee)

Как у вас с выгоранием?🦧

Лучший бесплатный курс по ML от Amazon ML Academy. Точнее тут несколько курсов:

Tabular Data - This content is based on Machine Learning University (MLU) Accelerated Tabular Data class. Slides, notebooks and datasets are available on GitHub

Computer Vision - This content is based on Machine Learning University (MLU) Accelerated Computer Vision class. Slides, notebooks and datasets are available on GitHub.

Natural Language Processing - This content is based on Machine Learning University (MLU) Accelerated Natural Language Processing class. Slides, notebooks and datasets are available on GitHub

Decision Trees and Ensemble Methods - This content is based on Machine Learning University (MLU) Decision Trees and Ensemble Methods class. Slides, notebooks and datasets are available on GitHub

Я проходил только Tabular Data еще в Амазоне. Его достаточно, чтобы понять, что такое ML и как его использовать. Если вы работаете с data не как ML или Data Scientist, то вам будет полезно для общего развития, понимать как это все работает, и как выглядит ML на практике. Но необходимо знать Python.

Кстати именно Tabular Module курс я положу в Data Learn модуль 11 про ML для data engineer. И может потом еще добавлю MLFlow пример MLOps.