Пост про Liquid Clustering в Databricks.

В начале вообще говорят про партиции, что уже полезно, даже если вы не на Databricks. Далее показывают пример комманды в Spark и оценнка производительности.

Если вдруг ИТ и аналитика не подходят всегда есть интересные альтернативы https://dtf.ru/flood/2295618-kak-ya-rabotal-provodnikom-passazhirskogo-poezda-i-pochemu-eto-odna-iz-samyh-koshmarnyh-professiy-v-rossii

Одно из главных видео уходящего года - https://youtu.be/PMfn9_nTDbM?si=G7unvD4FIT8SXTGV

PS так же посмотрите, если что понравится в playlist https://www.youtube.com/playlist?list=PL2yQDdvlhXf-5R7VtNr9P4nosA7DiDtM1

Я сам хотел поехать на машине с семьей в Вегас на конференцию за свой счет, но не договорился с начальством. Можете считать, меня тоже послали, но вежливо!😜

Хороший креатив с AWS конференции. Я все никак не доберусь до Tabular.

Насколько я понял это как Athena, но для Iceberg. На одном проекте у нас Kafka пишет в S3 (JSON), далее мы используем Snowflake External Tables.

Задача писать кафкой сразу Iceberg в Snowflake Iceberg Managed table и как-то там использовать Tabular.

Кто-нибуть использовал?

На проекте Surfalytics обязательно попробуем.

В эту субботу будем:
- Snowflake 101 + Hex
- Just enough CLI and Shell for Data Roles

Охренительная ссылочка про написание комментариев, когда делаете code review.

https://conventionalcomments.org/

Если вы не знаете, что такое nitpick (OMG), теперь будете знать! И множество других.

PS есть у кого Spotify playlist крутой, скиньте в комментарии заценим!

Apress выпускает новую книгу "Mastering the Snowflake SQL API with Laravel 10: A Comprehensive Guide to the Essential Data Cloud Platform" и предложили быть Technical Reviewer, я же всегда и всему говорю "ДА!", вот теперь изучаю.

Не очень понятен выбор Laravel 10. Я даже не знал, что такое существует.

Кто в теме, это вообще используется?

Microsoft запустил бесплатный курс AI for Begineers- https://github.com/microsoft/AI-For-Beginners/blob/main/lessons/1-Intro/README.md

Единственный подкаст который слушаю All-In

В субботу у нас снова была сессия Surfalytics. В этот раз я решил проработать контент для будущего курса, что-то вроде вводного метериала и фокус был на:

1. Настройки CLI на Windows и MacOS, использование ZSH и плагина Oh My Zsh. Для Windows это конечно еще тот challenge.
2. Рассмотрели примеры простых и популярных CLI комманд и их назначение, standard output, standard error, standard input и тп
3. Редакоторы Vim, nano
4. Немножко про shell скрипты

Далее переключились на Git:
1. Use Cases для аналитиков и инженеров
2. Создание репозитория в GitHub и цикл разработки (простой)
3. Зачем нужен Code Review и как это работает
4. Pre-commit
5. Git Hub Actions (CI)
Ну и в целом поговорили про engineering excellence для аналитика и дата инженера.

В другой комнате Никита проводил Snowflake 101 введный курс и дальше изучали Hex (SQL IDE + Notebooks).

А в конце была дискуссия про будущее наших профессий, ведь вопрос для всех актуальный, как Gen AI повлияет на наши профессии. А сегодня я написал небольшой пост в Linkedin на эту тему, и теперь одна из задач Surfalytcs быть в теме Gen AI, LLMs в контексте профессий аналитика и инженера данных. Вместе будет легче brainstorming данный вопрос.

Вот сам пост на английском:

The primary question for every data professional out there is: How will Generative AI and LLMs reshape the industry, and what are the expectations for future data professionals?

The answer depends on two opposing options:
1. AI will replace roles like Data Engineer, BI Analyst, Data Scientist, and so on.
2. AI will complement these roles, enabling people to work more efficiently, with higher quality and significant impact.

Whichever option you choose, you’ll agree that a growth mindset and constant learning are key to staying competitive and being ready to pivot your career and pick up the right skills.

Our careers remind me of an underground subway escalator. While it’s going down, you’re moving up, step by step. You may falsely assume that you’ve reached the top, but forget that the escalator is constantly going down.
The bottom line is, as soon as you stop learning and growing, you de facto degrade and lose market value.

At the Surfalytics community, my primary objective is to stay up-to-date with modern directions in the industry, talk with people globally, and move in the same direction.

I feel a wave of power, energy, and momentum that will bring everyone to the right destination, saving them from wasting money and time. On the same note, I feel blessed to see how people are changing their lives forever.

Как работать с данными в 2024 году? Узнайте на VK Data Meetup!

VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях.

Митап 14 декабря посвящен Databases & Storage. Обсудим тренды наступающего 2024 года, разберем особенности реализации масштабных проектов миграции и трансформации хранилищ и баз данных.

⏰ 14.12.2023, 14:30 МСК
⚡️ Регистрация: https://bit.ly/3Ratdbd

В программе

🔹 Тренды хранения данных, актуальные в 2024 году.
🔹 Миграция хранилища на Greenplum с сохранением уровня SLA.
🔹 Разделение слоев Compute & Storage в Hadoop.
🔹 Перенос большого Hadoop-кластера с bare metal на самописную оркестрацию One-cloud.

Приглашаем дата-инженеров, специалистов по DWH, администраторов, архитекторов и разработчиков.

Регистрация: https://bit.ly/3Ratdbd

Резиновая уточка и GitHub - замечательное видео https://youtu.be/pBy1zgt0XPc

Лучший способ учиться это работать над проектами, вести проект/демо в роли инструктора и документировать процесс в GitHub/Блог.

Никита подготовил материал про Snowflake+dbt+hex+fivetran и провел мастеркласс. Ребята за сделали проект вместе.

Тцебек запостил подробную инструкцию в Github https://github.com/Tsebek/dbt_core_snowflake

А Катя написала блог https://medium.com/@kategera6/dbt-core-snowflake-and-github-actions-pet-project-for-data-engineers-815991a48b44

Тут важно не качество проекта или его описание, а сам процесс, изучения, интеграции разных аналитических инструментов, обзор традиционных кейсов.

Все это большой труд и занимает много время, но зато и результат соотвествующий.

Хотите узнать, как улучшить пользовательский опыт? Анализ поведения пользователей - вот что вам нужно!

Присоединяйтесь к нашему вебинару, где мы расскажем:

🔸 Почему анализ поведения пользователей на сайте и в приложении так важен;

🔸 Какие бизнес-цели можно достичь с помощью анализа поведения (увеличение конверсии, сокращение оттока, улучшение пользовательского опыта);

🔸 Как использовать маркетинговые и продуктовые воронки для решения разных бизнес-задач;

🔸 Какие инструменты для анализа поведения предоставляет MyTracker;

🔸 Как исследовать пути пользователей с помощью нового инструмента "Пути".

Не упустите возможность узнать, какие изменения необходимо внести в ваш продукт, чтобы привлечь больше клиентов, повысить удержание пользователей и увеличить прибыль.

07.12 | 14:00 по Мск
Регистрируйтесь на вебинар уже сейчас!

Реклама. tracker.my.com. ИНН 7743001840

Можете проверить какой у вас Score на резюме https://resumeworded.com/upload-resume.php

У меня 59 из 100.

В MyTracker появилась аналитика заказов и товаров для онлайн торговли. Теперь с помощью инструмента Ecommerce вы можете:

✅Анализировать доход по заказам и товарам интернет-магазинов.
✅Получать данные о процессе оформления заказа, оплате и возврате товаров.
✅Анализировать доходы по статусу заказа и оценивать эффективность рекламных кампаний.

Решение позволяет сравнивать заказы пользователей, которые перешли на сайт интернет-магазина из рекламы в разных каналах. Таким образом проще оценить, как окупаются инвестиции в продвижение и какие площадки работают эффективнее для привлечения клиентов.

Быстрый переход из других систем.
MyTracker поддерживает разметку событий DataLayer, поэтому при переходе из этих систем вам не придется размечать события заново — после подключения наша система начнет собирать данные автоматически.

Подключайте MyTracker и инструмент Ecommerce уже сейчас по ссылке.

Реклама. tracker.my.com. ИНН 7743001840