Небольшой Q&A про data engineering.

Snowflake подарил книжку (я же data hero) - The rise of the data cloud.

В США случился новый и несколько неожиданный наезд на Facebook, который может коснуться и других технологических компаний -- и уж точно не останется без их внимания. Министерство юстиции объявило, что выдвигает обвинения против Фейсбука; компания виновна в том, что с 2018 года последовательно дискриминировала граждан Америки при найме, предпочитая им иммигрантов. Компания при этом помогала с получением временных рабочих виз.
"Our message to all employers -- including those in the technology sector -- is clear: you cannot illegally prefer to recruit, consider, or hire temporary visa holders over U.S. workers."
Интересно, насколько пострадает ФБ и как изменится практика глобального найма, которая не только для ФБ характерна

https://abcnews.go.com/Business/justice-department-alleges-facebook-discriminated-american-workers-lawsuit/story?id=74523040

Adobe’s experience platform data lake currently processing ~1 million batches per day, which equates roughly to 13TB of data and 32 billion events. Data management at scale brings unique challenges of data reliability, read reliability, and scalability. Adobe writes an excellent post with an overview of the data lake and the effective usage of Apache Iceberg to manages the data lake.

Сегодня можно будет посмотреть dbt101 на английском. Важный элемент экосистемы инженера данных, можно не использовать, но надо знать, что это такое.

Автор книги Building Data Teams, выступил на подкасте про data engineering.

Отчет за октябрь по профессиям будущего. Data Engineer в списке, сразу после AI.🚀

Аналитическое хранилище данных Amazon Redshift получило возможность использовать ML с помощью SQL. В целом индустрия идёт по пути упрощения методов анализа данных.

Я немного изучаю Databricks. У них курсы бесплатные онлайн. Моя идея, эмигрировать все на databricks для gears. Сейчас у нас HDInsight+Hive, Azure Data Factory, SQL Server, SSIS. Я хочу все заменить на Databricks. Мне это даст возможность использовать данные стриминга (game telemetry) и легче интегрировать ML, иначе это будет зоопарк технологий. Конечно можно было все тоже самое сделать на Azure Synapse (облачное хранилище данных, можно сделать lakehouse), но я специально хочу Spark + Python. Чтобы я могу точно ответить чем DataBricks c Delta Lake отличается от Redshift и Snowflake.

Я уже писал, что у DataBricks все курсы онлайн бесплатно, вот интересный курс для всех - Just Enough Python for Apache Spark

PS если вы учитесь на инженера данных или вы инженер данных, то важно знать назначение всех технологий выше и разницу между, например, озером данных или хранилищем данных, а есть еще lake house. Все обязательно пройдем на datalearn.

Роман подготовил новый вебинар, копирую из slack! Всех прокачаем!🤩

Всем привет!

У нас подоспел новый вебинар, на котором будет практика и вы сможете повторить все действия и даже выложить в паблик, что будет плюсом для портфолио
Тема - SQL в анализе данных 101. Решаем прикладную задачу сегментации.
Когда: 10 декабря (четверг) в 19:00 по мск
Спикер: Eugene Kudashev . Вы наверное уже его знаете из чатов 😊

Описание вебинара:
Разберем полный цикл задачи в анализе данных на примере RFM сегментации. Построим простое решение с помощью SPARK SQL на базе databricks community edition и построим дашборд с результатами в Tableau public.
Ссылка: https://youtu.be/72mRlugPKNI

Рекомендации:
установить табло десктоп - на нашем где инструкция как установить его на год бесплатно, заварить чай и быть в онлайне на нашем ютубе в назначенное время☺️
Подписывайтесь на наш ютуб канал datalearn и не забывайте нажимать на колокольчик, чтобы не пропустить выход новых видео, а также огромная просьба делиться видео с друзьями и коллегами.
Хорошим материалом делиться надо ☺️
Всех обнял, до встречи в эфире🤗

А я буду рассказывать про свою профессию и другие профессии, которые работают с данными на образовательном онлайн-фестивале и онлайн-интенсиве по технологическим сферам - ТехноИнновации

Вы слышали про Slowly Changing Dimensions (SCDs)? Вот про них небольшая статья с примерами.

В продолжении - 3 типа таблиц фактов.

Ещё одно подтверждение насколько snowflake крут, и как он меняет индустрию и заставляет других развиваться. Вот и Redshift подготовил data sharing.

Это прям про datalearn.

В штате Флорида, data scientist самостоятельно собирал данные по ковиду, и его данные отличались от официальных, к ним домой ворвались агенты с оружием, изъяли всю технику. Так что, сами понимаете - статистика наука точная)

Еще один кейс ML. Особенно актуальный после сериала Queen’s Gambit от Neyflix. Я его посмотрел, мне очень понравился. Тоже решил записать детей на шахматы онлайн😎 Если кто по скайп нанимает репетиторов для детей 6-8 лет, поделитесь в комментариях.

Google Search now featuring in-depth math assistance for solving equations in over 70 languages.