Интересные новости, к вопросу жив Hadoop или мертв🤞

Apache Foundation объявила, что 19 продуктов идут на пенсию, 11 из которых big data штуки.

Конечно концепты Hadoop важны и применяются по сей день, но уже не в первоначальном виде.

https://www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/

Все так, но мы часто забываем об этом. Ничего лишнего, только по делу. Кстати в Амазоне для позицйи Senior и выше, будет тестовое задание по writing. Сейчас у нас в Microsoft культуры writing нет, одни power point, печалька.

AWS event на русском https://pages.awscloud.com/EMEA_FIELD_WEBINAR_RU-CIS--4-0--Amazon-Web-Services_7014z0000014Qjdregistration.html

У #datalearn ,есть небольшое сообщество девушек. Недавно они взяли интересное интервью с Ксенией Певзнер, она - руководитель по маркетинговой аналитике самого крупного российского легального онлайн кинотеатра “Окко”
https://youtu.be/jOQXozaOYuo
Беседа об аналитике, жизненном пути, необходимых компетенциях и многом другом.

Небольшой ролик про AWS use cases для спутников. Отличная идея для стартапа - аналитика спутниковых данных. А то все маркетинговые кампании анализируем))

Новая книжка с хорошим названием, а про контент не знаю... https://www.amazon.co.uk/dp/1781335214/ref=cm_sw_r_cp_awdb_imm_7PVA8KR6F625WZMMSHWB

Cheetsheet по delta lake https://github.com/delta-io/delta/blob/master/examples/cheat_sheet/delta_lake_cheat_sheet.pdf

Вопрос для тех кто использует Delta Lake:
1) Почему вы используете Delta Lake, а не хранилище данных?
2) Какие Инструменты вы используете?
3) Используете ли вы external metastore или по умолчанию (internal)?
4) Используете ли Streaming для Delta Lake?

Вот мои ответы:
1) Я использую delta lake, потому что хочу лучше разобрать в этом подходе и заодно Python и Spark подтянуть. Мог бы обойтись и традиционным хранилищем на Azure.
2) 4 месяца использовал Databricks. Очень классный продукт. К сожалению, перешел на Azure Synapse Analytics. Пытаюсь понять насколько сильно этот продукт отстает и как дальше жить:)
3) В Databricks и HDInsight я использовал external megastore, так как это позволяет разделить на элементы, и я могу создавать back up metastore, могу один и тот же metastore использовать для HDInsight и Databricks. В общем очень удобно. Если удалю computing resources, мой metastore останется неизменным.
4) Была надежда использовать Streaming для Databricks. Synapse не поддерживает.

Интересно послушать про ваш опыт с Delta Lake.

PS Если посмотреть на продукты Microsoft, то как правило это mass market - SQL Server, Power BI. То есть огромное количество пользователей. Часто сами инструменты не самые лучшие, но темнеменее по кол-ву пользователей всех обходят. Сам факт, что в Synapse Analytics есть одновременно возможность писать SQL и использовать Spark в notebooks, говорит мне о том, что теперь минимальная планка для человека, работающего с данными не только знание SQL, но и знание Spark и языка для манипуляции данных Python, Spark.

Давно хотел написать про стандарт IBCS, а тут выдался отличный повод — Антон Жиянов cделал удобную pdf версию этого стандарта. Антон, большое спасибо!

Описал в статье, что я думаю по поводу этого стандарта: выделил основные идеи, которые мне запомнились, и привёл примеры его реализации в Tableau и Power BI. В целом, очень рекомендую читать этот стандарт, но некоторые вещи применять с осторожностью.

Я с Data Yoga, кстати, тоже делал темплейт в Табло для проекта ВизСтандарт. Узнал, что его даже применяют другие компании. Ещё вспомнился вот этот пост, про систему близкую по духу и стилю к IBCS.

#статья

У нас есть страничка в Facebook. Там мы публикуем те же материалы, что и в телеграм канале или тут, но возможно вашими лайками и репостами мы сможем рассказать о #datalearn новой аудитории. Если не сложно подписывайтесь. https://www.facebook.com/groups/datalearn/?ref=share и можете отмечать страничку, когда будете шарить сертификат или свои успехи в обучении.

Мы уже на 3 модуле нашего супер курса по ML и DS. Там настолько все подробно и понятно рассказано Анастасией Риццо, что если вы даже с этим никогда не работали и не планируете работать, стоит ознакомиться, не пожалеете!

Регистрация: https://datalearn.ru/kurs-po-ml-ds

Курс бесплатный, потому что он бесценный 🤫

На подходе новый шедевр от Tableau Zen Master №1 - Steve Wexler. Я его кстати видел вживую на Бостон Табло Юзер Групп, жалко не было книги The Big Book of Dashboards для автографа. И он выступал на Amazon Tableau User Group вместе с Ромой Буниным😎 https://www.datarevelations.com/books/

Не поспоришь, спасибо Безосу)) https://www.businessinsider.com/jeff-bezos-return-amazon-stock-investment-1997-house-sell-amzn-2021-4?amp

Накопилось вкладок за неделю:
From Jupyter Notebooks to Production Data Pipelines: Our Framework for Delivering Data Projects
Root Cause Analysis for Data Engineers
Reliable tracking: Validating Snowplow events using Cypress & Snowplow Micro

The Design of Strongly Consistent Global Secondary Indexes in Apache Phoenix — Part 1
The Design of Strongly Consistent Global Secondary Indexes in Apache Phoenix — Part 2
Introduction to Upserts in Apache Pinot

Fine-Grained Time Series Forecasting at Scale With Facebook Prophet and Apache Spark: Updated for Spark 3
Apache Spark 3.1 Release: Spark on Kubernetes is now Generally Available

Real-time Data Infrastructure at Uber
Detecting Image Similarity in (Near) Real-time Using Apache Flink

Wikipedia data engineering practices with Nuria Ruiz
How to add custom KPIs to Airflow

How we built our Lakeless Data Warehouse
Predicting FT Trending Topics

Building the world's fastest website analytics
Time series forecasting (Part 1 of 3): Understanding the fundamentals

Building Smarter Search Products: 3 Steps for Evaluating Search Algorithms
Data Engineering’s Role Is Scaling Beyond Scope — And That Should Be Celebrated

What is a productive data engineering team?

Вы прокачались, спору нет
И сыплете словами ловко,
Наверное, за много лет
Развили в терминах сноровку.

Вот так всегда: эйчар на встрече,
Явив павлинии хвосты,
Задавит мысли красноречием,
А как устроишься — в кусты.

Что программисту интересно?
Хороший офис, доля в деле?
А я сейчас отвечу честно:
Нам интересно много денег.

Садись сюда, меня послушай,
Я расскажу тебе без бэ:
Мы любим спать, гулять и кушать,
И радость приносить семье.

Нам наплевать на опенспейсы,
Аджайл, скрам и кипиай,
Нам важно быть всегда в процессе
И чтоб работы через край.

Наш ум — уже почти компьютер
И с IDE он заодно.
И если честно, нам до пупа,
Идёт ли босс на IPO.

Мы быстро merge your best solution
Deploy на сервер и commit.
Бывает, сон у нас нарушен
И голова с утра болит.

Я покажусь тебе токсичным,
Быть честным в наше время — токс.
Но набираете обычно
Вы не жемчужины — навоз.

Тех, кто пройдёт все сто этапов
И пишет на листочках код,
Кто смирно сложит обе лапы
И в офис посидеть придёт.

Он будет очень честно кодить,
И тихо ctrl-с github,
Потом всё крашится на проде,
Но это тестер виноват.

Хороший разработчик, зая,
Не будет мокрою рукой
Писать, что сортировку знает,
Он просто код покажет свой.

Не нужно пыли алгоритмов,
Они все гуглятся, ты знай.
А нужно множество коммитов
И чистый код, и codestyle.

Умелый нужен рефакторинг,
Возможность legacy убрать,
Хороший нужен мониторинг,
Чтоб ноды вечно не ронять.

И продакт адекватный нужен,
Который не проформы ради
ТЗ созданием загружен
И знает, что клиенты — б**ди.

Нам нужен диалог с начальством —
И адекватный диалог!
Чтоб без понтов и без бахвальства
Наш босс задачи ставить мог.

Нам нужен новый, ценный опыт,
Разнообразие задач,
Ты не услышишь грустный ропот
В момент айтишных неудач.

Нам всё равно на ваш agile,
Он нам давно не по душе.
Мы бажный код дебагом жарим,
И задолбались мы уже.

Гамак нам в офисе не нужен,
Митап засунь себе в mindcart.
Работа наша — hard и fusion,
Ну то есть синтез и прям hard.

Нам code review бы адекватный
И адекватный интерфейс,
И монитор чтоб был приятный —
Он светит сутками нам в face.

Нам наплевать на корпораты,
И на ассесмент наплевать.
Важны коллеги и зарплата,
И важно цену себе знать.

Ты хочешь слышать мой английский?
На нем читаю и молчу.
С провинциальной я пропиской
И удаленку я хочу.

А в целом нам немного нужно:
Бэклог продуманных задач,
Чтоб не тянуть из всех натужно,
Чего им надо — it’s too much.

Доверие и благодарность —
Ведь программист же человек.
А эту вашу элитарность
Оставьте тем, кто платит чек.

Мы жизнь переливаем в цифру
И правим алгоритмом мир.
Мы баги превращаем в фичи
Ты give me task and hold my beer.

Тебе же в поисках — удачи,
Айтишный мир is superior.
Ты смелая, а это значит,
Найдёт тебя твой best senior.
https://habr.com/ru/post/553022/

Это моя 3ая публикация на Хабр. Давно хотел написать про свой опыт поиска работы - Amazon, Microsoft, Facebook, Tesla, Lyft — история поиска работы мечты или вредные советы для карьерного развития

Там могут быть опечатки и ошибка, в хабре можно выделить и указать на них и я смогу исправить.

Через 5 минут начинаем:
https://youtu.be/eIZzSo-MP34