Инжиниринг Данных

В субботу у нас снова была сессия Surfalytics. В этот раз я решил проработать контент для будущего курса, что-то вроде вводного метериала и фокус был на:

1. Настройки CLI на Windows и MacOS, использование ZSH и плагина Oh My Zsh. Для Windows это конечно еще тот challenge.
2. Рассмотрели примеры простых и популярных CLI комманд и их назначение, standard output, standard error, standard input и тп
3. Редакоторы Vim, nano
4. Немножко про shell скрипты

Далее переключились на Git:
1. Use Cases для аналитиков и инженеров
2. Создание репозитория в GitHub и цикл разработки (простой)
3. Зачем нужен Code Review и как это работает
4. Pre-commit
5. Git Hub Actions (CI)
Ну и в целом поговорили про engineering excellence для аналитика и дата инженера.

В другой комнате Никита проводил Snowflake 101 введный курс и дальше изучали Hex (SQL IDE + Notebooks).

А в конце была дискуссия про будущее наших профессий, ведь вопрос для всех актуальный, как Gen AI повлияет на наши профессии. А сегодня я написал небольшой пост в Linkedin на эту тему, и теперь одна из задач Surfalytcs быть в теме Gen AI, LLMs в контексте профессий аналитика и инженера данных. Вместе будет легче brainstorming данный вопрос.

Вот сам пост на английском:

The primary question for every data professional out there is: How will Generative AI and LLMs reshape the industry, and what are the expectations for future data professionals?

The answer depends on two opposing options:
1. AI will replace roles like Data Engineer, BI Analyst, Data Scientist, and so on.
2. AI will complement these roles, enabling people to work more efficiently, with higher quality and significant impact.

Whichever option you choose, you’ll agree that a growth mindset and constant learning are key to staying competitive and being ready to pivot your career and pick up the right skills.

Our careers remind me of an underground subway escalator. While it’s going down, you’re moving up, step by step. You may falsely assume that you’ve reached the top, but forget that the escalator is constantly going down.
The bottom line is, as soon as you stop learning and growing, you de facto degrade and lose market value.

At the Surfalytics community, my primary objective is to stay up-to-date with modern directions in the industry, talk with people globally, and move in the same direction.

I feel a wave of power, energy, and momentum that will bring everyone to the right destination, saving them from wasting money and time. On the same note, I feel blessed to see how people are changing their lives forever.

❤‍🔥34🐳3💯2🍾1😈1🙈1🤷1

7.81K viewsDmitry, edited 02:35