Будущее за децентрализацией.

Я не про blockchain. Но идея похожа. Я думал о том, почему одни успешнее других? И пришел к такомы выводу, что децентрализация образования, заработка, внимания и всего остального намного эффективней централизации.

Note: в начале карьры важна централизация, чтобы овладедь минимальными навыками в профессии.

Давайте рассмотрим несколько примеров.

1. Учеба, курсы, тренинги, повышение квалификации.

Ни одна школа, ни одни платные курсы вам не помогут получить нужный результат. Их фокус прибыль. Их воронка продаж это 1-2 success stories, и "обещания" найти работу в data, front-end, AI, QA и тп. (Я заметил, что самый треш происходит в Data Science, там вообще концов не найти, что учить, зачем, для чего).

Децентрализация обучения это возможность использовать открытые ресурсы и комбинировать их вметсе. Пример - вендорские тренинги Snowflake/Databricks, tutorials dbt/Astro. Хорошие видео на youtube, конференции, опыт экспертов.

Список и конфигурация будет всегда менятся в зависимости от движения рынка, региона, экономической и политической ситуации. Сегодня одно, завтра другое.

2. Децентрализация зароботка.

3. Децентрализация фокуса и внимания.

Например до 2023 года мой фокус был направлен на изучения технологий. Книги и тренинги по технологиям. Каждый год появлялось что-то новое. Видео про технологии, конференции про технологии. С утра до вечера про технологии. Технологическая централизация, которая не позволяла расширить горизонт. В 2024 году я буду делать и читать, что угодно, но только не еще одна технологическая книга или конференция. Профита от этого мало.

Что еще можно децентрализировать?

Ладно, закрываем дискуссию про бабло! Всем хороших выходных! https://youtu.be/3uVDwerwoC0?si=ph1e--LhnEoIDsas

Чувак про Rust в контексте Инжиниринга Данных рассказывает https://seattledataguy.substack.com/p/behind-the-rust-hype-what-every-data

По-моему мнения это пока больше "по приколу" чем реально строить pipelines.

А вы как думаете?

Не всем зашло юмористическое видео Фитиль про вагоны, которое я расшарил выше.

История про взаимодействие с отечественным стартапом spenx, которые вроде как хотели делать аналитику на AWS и их заинтересовал сервис Rock Your Data и наша экспертиза в создании облачных аналитических решений.

После первого звонка на 2 часа, хотя оплатили только 1 час, был небольшой ping pong в Slack про следующие шаги, поис кандидатов и тп.

Насколько я понял, я уже должен был искать кандидатов и быть более активным в Slack. На мое возражение, что нужно более менее структурировать отношения и что я не готов бесплатно что-то делать, мужики написали, что они решили после нового года вернуться. И мне как раз и вспомнилась история про вагоны и я решил пошутить, но что-то пошло не по плану😂

В целом для подписчиков есть хорошая и плохая новость, хорошая у них возможно будут вакансии Data Engineer (я уже написал требования) и BI Engineer. Но плохая, вас могут послать😏

Вообще если мои посты и шутки вас бесят, то у вас будет конкурентное преимущество на собеседовнии!

В суббот прошла еще одна крутая сессия Surfalytics. Было 2 комнаты у нас:

1. Мы начали с Microsoft Fabric, оказалось не просто получить trial. Далее сделали в нем lakehouse, data pipeline, data model и дашборд. В качестве вывода оставили эту историю для темы про поговорить с hiring manager про современные инструменты и трудности preview от Microsoft.

Далее, показал Synapse Analytics, где мы посмотрели на Dedicated SQL Pool, Serverless SQL Pool, Spark Pool. Надеюсь все поняли разницу между Synapse и Fabric. Как раз картинка про это к посту. Ну только источники по идее будут в нем Fabric но все подключения настраиваются внутри.

А заодно изучили разницу между SQL и PySpark.

Далее, ребята решили дальше ковырять Azure. Насколько я понял в Европе Microsoft Azure популярен и много вакансий.

Вообще любой топик мы обсуждаем, мы смотрим через призму организации и реальных потребностей компании.

2. Продолжение прошлого проекта с dbt, Snowflake, GitHub actions, Astro, docker, Fivetran. Я там не участвовал, но жду блог посты и GitHub readme.md и кодом.

Суббота отличный день получить новые знания и закрыть пробелы. Далее будем дальше ковырять технологии для data engineer и bi/data analyst.

Non technical книги на 2024. Inspiration был от поста ранее, когда я спрашивал про soft skills. Пока начал с clear leadership, мощная штука, еще пойду к ним на тренинг за 3к$.

Пост про Liquid Clustering в Databricks.

В начале вообще говорят про партиции, что уже полезно, даже если вы не на Databricks. Далее показывают пример комманды в Spark и оценнка производительности.

Если вдруг ИТ и аналитика не подходят всегда есть интересные альтернативы https://dtf.ru/flood/2295618-kak-ya-rabotal-provodnikom-passazhirskogo-poezda-i-pochemu-eto-odna-iz-samyh-koshmarnyh-professiy-v-rossii

Одно из главных видео уходящего года - https://youtu.be/PMfn9_nTDbM?si=G7unvD4FIT8SXTGV

PS так же посмотрите, если что понравится в playlist https://www.youtube.com/playlist?list=PL2yQDdvlhXf-5R7VtNr9P4nosA7DiDtM1

Я сам хотел поехать на машине с семьей в Вегас на конференцию за свой счет, но не договорился с начальством. Можете считать, меня тоже послали, но вежливо!😜

Хороший креатив с AWS конференции. Я все никак не доберусь до Tabular.

Насколько я понял это как Athena, но для Iceberg. На одном проекте у нас Kafka пишет в S3 (JSON), далее мы используем Snowflake External Tables.

Задача писать кафкой сразу Iceberg в Snowflake Iceberg Managed table и как-то там использовать Tabular.

Кто-нибуть использовал?

На проекте Surfalytics обязательно попробуем.

В эту субботу будем:
- Snowflake 101 + Hex
- Just enough CLI and Shell for Data Roles

Охренительная ссылочка про написание комментариев, когда делаете code review.

https://conventionalcomments.org/

Если вы не знаете, что такое nitpick (OMG), теперь будете знать! И множество других.

PS есть у кого Spotify playlist крутой, скиньте в комментарии заценим!

Apress выпускает новую книгу "Mastering the Snowflake SQL API with Laravel 10: A Comprehensive Guide to the Essential Data Cloud Platform" и предложили быть Technical Reviewer, я же всегда и всему говорю "ДА!", вот теперь изучаю.

Не очень понятен выбор Laravel 10. Я даже не знал, что такое существует.

Кто в теме, это вообще используется?

Microsoft запустил бесплатный курс AI for Begineers- https://github.com/microsoft/AI-For-Beginners/blob/main/lessons/1-Intro/README.md

Единственный подкаст который слушаю All-In

В субботу у нас снова была сессия Surfalytics. В этот раз я решил проработать контент для будущего курса, что-то вроде вводного метериала и фокус был на:

1. Настройки CLI на Windows и MacOS, использование ZSH и плагина Oh My Zsh. Для Windows это конечно еще тот challenge.
2. Рассмотрели примеры простых и популярных CLI комманд и их назначение, standard output, standard error, standard input и тп
3. Редакоторы Vim, nano
4. Немножко про shell скрипты

Далее переключились на Git:
1. Use Cases для аналитиков и инженеров
2. Создание репозитория в GitHub и цикл разработки (простой)
3. Зачем нужен Code Review и как это работает
4. Pre-commit
5. Git Hub Actions (CI)
Ну и в целом поговорили про engineering excellence для аналитика и дата инженера.

В другой комнате Никита проводил Snowflake 101 введный курс и дальше изучали Hex (SQL IDE + Notebooks).

А в конце была дискуссия про будущее наших профессий, ведь вопрос для всех актуальный, как Gen AI повлияет на наши профессии. А сегодня я написал небольшой пост в Linkedin на эту тему, и теперь одна из задач Surfalytcs быть в теме Gen AI, LLMs в контексте профессий аналитика и инженера данных. Вместе будет легче brainstorming данный вопрос.

Вот сам пост на английском:

The primary question for every data professional out there is: How will Generative AI and LLMs reshape the industry, and what are the expectations for future data professionals?

The answer depends on two opposing options:
1. AI will replace roles like Data Engineer, BI Analyst, Data Scientist, and so on.
2. AI will complement these roles, enabling people to work more efficiently, with higher quality and significant impact.

Whichever option you choose, you’ll agree that a growth mindset and constant learning are key to staying competitive and being ready to pivot your career and pick up the right skills.

Our careers remind me of an underground subway escalator. While it’s going down, you’re moving up, step by step. You may falsely assume that you’ve reached the top, but forget that the escalator is constantly going down.
The bottom line is, as soon as you stop learning and growing, you de facto degrade and lose market value.

At the Surfalytics community, my primary objective is to stay up-to-date with modern directions in the industry, talk with people globally, and move in the same direction.

I feel a wave of power, energy, and momentum that will bring everyone to the right destination, saving them from wasting money and time. On the same note, I feel blessed to see how people are changing their lives forever.

Как работать с данными в 2024 году? Узнайте на VK Data Meetup!

VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях.

Митап 14 декабря посвящен Databases & Storage. Обсудим тренды наступающего 2024 года, разберем особенности реализации масштабных проектов миграции и трансформации хранилищ и баз данных.

⏰ 14.12.2023, 14:30 МСК
⚡️ Регистрация: https://bit.ly/3Ratdbd

В программе

🔹 Тренды хранения данных, актуальные в 2024 году.
🔹 Миграция хранилища на Greenplum с сохранением уровня SLA.
🔹 Разделение слоев Compute & Storage в Hadoop.
🔹 Перенос большого Hadoop-кластера с bare metal на самописную оркестрацию One-cloud.

Приглашаем дата-инженеров, специалистов по DWH, администраторов, архитекторов и разработчиков.

Регистрация: https://bit.ly/3Ratdbd

Резиновая уточка и GitHub - замечательное видео https://youtu.be/pBy1zgt0XPc

Лучший способ учиться это работать над проектами, вести проект/демо в роли инструктора и документировать процесс в GitHub/Блог.

Никита подготовил материал про Snowflake+dbt+hex+fivetran и провел мастеркласс. Ребята за сделали проект вместе.

Тцебек запостил подробную инструкцию в Github https://github.com/Tsebek/dbt_core_snowflake

А Катя написала блог https://medium.com/@kategera6/dbt-core-snowflake-and-github-actions-pet-project-for-data-engineers-815991a48b44

Тут важно не качество проекта или его описание, а сам процесс, изучения, интеграции разных аналитических инструментов, обзор традиционных кейсов.

Все это большой труд и занимает много время, но зато и результат соотвествующий.