Как работать с данными в 2024 году? Узнайте на VK Data Meetup!

VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях.

Митап 14 декабря посвящен Databases & Storage. Обсудим тренды наступающего 2024 года, разберем особенности реализации масштабных проектов миграции и трансформации хранилищ и баз данных.

⏰ 14.12.2023, 14:30 МСК
⚡️ Регистрация: https://bit.ly/3Ratdbd

В программе

🔹 Тренды хранения данных, актуальные в 2024 году.
🔹 Миграция хранилища на Greenplum с сохранением уровня SLA.
🔹 Разделение слоев Compute & Storage в Hadoop.
🔹 Перенос большого Hadoop-кластера с bare metal на самописную оркестрацию One-cloud.

Приглашаем дата-инженеров, специалистов по DWH, администраторов, архитекторов и разработчиков.

Регистрация: https://bit.ly/3Ratdbd

Резиновая уточка и GitHub - замечательное видео https://youtu.be/pBy1zgt0XPc

Лучший способ учиться это работать над проектами, вести проект/демо в роли инструктора и документировать процесс в GitHub/Блог.

Никита подготовил материал про Snowflake+dbt+hex+fivetran и провел мастеркласс. Ребята за сделали проект вместе.

Тцебек запостил подробную инструкцию в Github https://github.com/Tsebek/dbt_core_snowflake

А Катя написала блог https://medium.com/@kategera6/dbt-core-snowflake-and-github-actions-pet-project-for-data-engineers-815991a48b44

Тут важно не качество проекта или его описание, а сам процесс, изучения, интеграции разных аналитических инструментов, обзор традиционных кейсов.

Все это большой труд и занимает много время, но зато и результат соотвествующий.

Хотите узнать, как улучшить пользовательский опыт? Анализ поведения пользователей - вот что вам нужно!

Присоединяйтесь к нашему вебинару, где мы расскажем:

🔸 Почему анализ поведения пользователей на сайте и в приложении так важен;

🔸 Какие бизнес-цели можно достичь с помощью анализа поведения (увеличение конверсии, сокращение оттока, улучшение пользовательского опыта);

🔸 Как использовать маркетинговые и продуктовые воронки для решения разных бизнес-задач;

🔸 Какие инструменты для анализа поведения предоставляет MyTracker;

🔸 Как исследовать пути пользователей с помощью нового инструмента "Пути".

Не упустите возможность узнать, какие изменения необходимо внести в ваш продукт, чтобы привлечь больше клиентов, повысить удержание пользователей и увеличить прибыль.

07.12 | 14:00 по Мск
Регистрируйтесь на вебинар уже сейчас!

Реклама. tracker.my.com. ИНН 7743001840

Можете проверить какой у вас Score на резюме https://resumeworded.com/upload-resume.php

У меня 59 из 100.

В MyTracker появилась аналитика заказов и товаров для онлайн торговли. Теперь с помощью инструмента Ecommerce вы можете:

✅Анализировать доход по заказам и товарам интернет-магазинов.
✅Получать данные о процессе оформления заказа, оплате и возврате товаров.
✅Анализировать доходы по статусу заказа и оценивать эффективность рекламных кампаний.

Решение позволяет сравнивать заказы пользователей, которые перешли на сайт интернет-магазина из рекламы в разных каналах. Таким образом проще оценить, как окупаются инвестиции в продвижение и какие площадки работают эффективнее для привлечения клиентов.

Быстрый переход из других систем.
MyTracker поддерживает разметку событий DataLayer, поэтому при переходе из этих систем вам не придется размечать события заново — после подключения наша система начнет собирать данные автоматически.

Подключайте MyTracker и инструмент Ecommerce уже сейчас по ссылке.

Реклама. tracker.my.com. ИНН 7743001840

Из книги https://thetechresume.com/

Хотя я уверен, чтобы попасть в 30 резюме на HR screen качество вашего резюме не так сильно важно, если оно у вас уже более менее и вы не первый раз ищете. Но в целом хорошая визуализация

Отзыв от Екатерины, кстати это она переводила статью выше 1,5 года назад, и это реальная матрица инженера данных в Амазоне.

Привет! Меня зовут Екатерина, я из города Самара, мне 33 года. По образованию я инженер связи, после института работала по специальности. Потом ушла в декрет. На основную работу возвращаться не хотелось. Я мечтала стать аналитиком, но у меня не было ни опыта, ни образования)) пока сидела в декрете, начала проходить курс Data Learn, прошла первые три модуля. Было сложновато, приходилось дополнительно гуглить. Возможно это были очевидные вещи, но мне они были не знакомы)) стала на hh везде отправлять свое резюме, получила и много отказов, но и несколько тестовых. выполнила тестовое в компанию ВД ком. Компания - вендор для финансовой отчетности. И меня взяли на должность младшего аналитика! Конечно, первый год у меня зп была 50 тысяч рублей😊 но сейчас прошло время и меня повысили, даже пригласили из вендора перейти на штатную должность в банке. Спасибо Дмитрию за такой чудесный курс😊 и бесплатный!

Кстати, у меня тоже первый год было 50т рублей в качестве BI разработчика и первые 3 месяца я бесплатно работал, правда это был 2010 год.

#testimmonial

В субботу в Surfalytics мы с 0 разобрали Docker и контейнеры. Все смогли создать их Docker и Docker Compose и главное понять зачем он нужен в повседневной жизни аналитика или инженера.

Мурат сделал отличную фотку в тему контейнеров из окна.

В следующую субботу мы возьмем наши контейнеры и разверенем их в облаке, за одно узнаем наконец, что такое CI/CD процес и где же должен хоститься dbt и Airflow, которые пока у нас на локальных машинах, хоть и в докере.

Теперь файлы типа:
- Dockerfile
- docker-compose.yml
- requirements.txt
- .gitignore
- .pre-commit-config.yaml
- .github/workflows/pre_commit.yml

не должны больше пугать. Потому что хочешь не хочешь, мы все делаем через GitHub.

Таким образом я сделал контент для prerequisites к основному курсы (аналог datalearn):

- Just Enough IDE (VisaulCode)
- Just Enough CLI
- Just Enough GitHub
- Just Enough Docker

Осталось записать видео.

Так же независимо от меня, у нас 2-3 раза в неделю решается LeetCode задачки по SQL, Python.

По проектам у меня дальше план такой:

Data Engineering:
- Deploy containers on Azure/AWS
- Pytest for CI and pre-commit
- Apache Spark, Databricks, Delta Lake
- Trino
- BigQuery
- Kubernetes
- DuckDb
- Metlano/Airbyte
- Snowpark (Snowflake)

Analytics:
- Metabase
- Redash
- Looker
- Apache Superset
- Классно было бы добавить задачки по A/B тестам и примеры анализа дынных с использованием статистики

GenAI:
- Databricks, Azure, AWS entry level trainings

Так как я полностью закрыл пробел в Docker, Git, CLI, IDE то все проекты у нас будут +/- в одном и том же framework.

Сам концеп Surfalytics уже финализировался - What, How, Who, Why и сейчас Лала пересобирает сайт и оттачивает навыки UI/UX и product vision/product features на реальном продукте.

На новом проекте используем Trino на GCP поверх iceberg lakehouse. Все это живет на kubernetes. Сама компания занимается созданием High Frequency Trading решений для традиционных бирж и крипты, то есть трейдинг через код.

В качестве BI - Metabase, в качестве ETL Airflow + dbt.

Есть еще и Airbyte+BigQuery, но для локальных маленьких задач.

Trino, который произошел от Presto, был разработан в Facebook. Далее они ушли в open source и стали называться Trino. А коммерческая версия называется Starburst.

AWS Athena тоже использует Presto. Оказывается Teradata в своем время выделила 20 инженеров, которые контрибьютили в open source.

Сейчас читаю книгу по Trino - Trino: The Definitive Guide, 2nd Edition. В 1й главе книги очень классно рассказана история решения и развитие продукта.

В книге подробно рассказывают про функционал и много примеров. Я уже добавил в список проектов на Surfalytics на следующий год.

Есть ли у вас опыт работы с Trino? Как впечатление?

PS Linkedin сжалился надомной и выдал мне "Top Data Engineering Voice" хотя я уже ничего особого не делал для этого, кроме раз в день писал пост про Data Engineering. Не знаете кому ставить likes в Linkedin, ставьте мне! А я буду вам ставить=) Мне кажется это единственный вариант стать популряным в этой сети, когда люди начинают друг другу elevate content.

Давно уже пора чем-то заменить фанги, манги, на что-то другое. Вот уже и термин подоспел.

Уважаемый человек попросил расшарить вакансию, вакансия и видение мне очень понравилось, так что если кого заинтересует может откликнуться или написать напрямую Виталию. (@VitalyASazonov)

Ищу Директора центра аналитики данных в дирекцию управления данными Президентской Академии (РАНХиГС).

Чем предстоит заниматься: с начала операционка - дашборды руководителей и простые отчеты и аналитики. Быстрая организация всего этого.

Как это сделаем, полезем в отслеживание процессов обучения, адаптивку и ИИ.

В подчинении будут аналитики данных (4-5 для начала) и скрамер или продакт овнер для управления задачами - набирай команду единомышленников!
Стек: SuperSet, DataLens
Локация: МСК

Вакансия общая описана здесь: https://hh.ru/vacancy/89346257

Nearly 40% of Snowflake accounts also run Databricks.
About 46% of Databricks accounts run Snowflake.

То есть компании одновременно используют и Databricks и Snowflake.

Из статьи Connecting the dots on Snowflake’s Data Cloud ambitions

Интересная эволюция аналитического решения от Notion. Начали с современного решения Snowflake+Fivetran и перешли на Hudi + Spark.

Запись на linkedin https://www.linkedin.com/events/ahudiliveevent-notion-sjourneyt7138325735781400576/comments/