Сидишь такой в четверг вечером и думаешь, что уже день прошел, а работа не сделана и все выбираешь, что сделать:

- Зафорсить Airflow DAG и сделать новый для Reverse ETL
- Поковыряться в Snowflake чужой команды, чтобы интегрировать через data share со своим
- Почитать best practices для Open Metadata
- Пофиксить косяки для EMR Serverless
- Узнать почему же у товарищей упал dbt поверх Databricks и помочь им его починить
- И еще надо бы люстру прикрутить
- И конечно закончить налоги!!!

В общем пока я думал, мне в Surfalytics прислали описание вакансий в Open AI:
- Data Engineer - 245k-390k
- Analytics Engineer- 210k-250k

Вакансии в SF.

Что используют:
- Hadoop на AWS, как я понимаю EMR + Spark, и предпочтение отдают Scala
- Tableau/Looker для BI
- упомянули про хранилище данных, но не сказали какой
- для оркестрации что-то из Airflow/Prefect/Dagster

Как понимаю есть и dbt, и обязательно будет классическое хранилище, не удивлюсь если по умолчанию Redshift. Оно и понятно, они не хотят вовлекать вендора, чтобы никто не хайповал, что у них клиент Open AI.

Ну я решил сразу хайпануть и записать обзор - Decoding Careers at OpenAI: Overview of Data & Analytics Engineer Opportunities

Как у вас там с эмпатией? Новый навык в резюме добавили в 2024?! В прошлом году мы добавляли DuckDB, Snowpark, Iceberg, и вычеркнули Firebolt. Ничего не забыл?

Инженер с высоким уровнем эмпатии, готов отнестись с понимаем к плохой архитектуре, кривым данных, и отсутствию документации и далее по списку!

Иногда такие фидбеки бывают!😎 (ЦАО это центр Москвы)

Road Map 2: Analytics Engineer - вы уже имеете опыт работы аналитиком или просто готовы выучить бОльший объем

Легенда:
- фиолетовый - data analyst/bi developer скилы
- желтый - analytics engineer
- зеленый - дальнейшее развитие в data engineer

Road Map 3: Data Engineer - вы уже хорошо ориентируетесь в хранилище данных, моделирование данных, у вас есть уже скилы инженера и вы можете уже полноценно покрыть data потребности организации end-to-end

Легенда:
- желтый - analytics engineer, включает (фиолетовый - data analyst/bi developer скилы)
- зеленый - data engineer
- красный - опцианально изучать ML, но обычно я рекомендую изучать use cases, как DE может работать с ML, это не значит, что надо ML модели строить

Road Map 4: Support Engineer (Data Products) - бонус

Прикольная позиция. Любой продукт (Snowflake, Databricks, Redshift, Flue, BigQuery, Tableau и тп) предоставляет услуги поддержки. Оплата такая как и обычных инженеров и от 30% времени вы тратите на обучение. Нет ни deadline, ни проектов, только support tickets, можно работать не напрягаюсь.

Road Map 5: Sales Engineer (Customer Engineer) - бонус

Кто-то должен делать демо продуктов и работать в паре с Sales? Вот это как раз sales engineer. И на конференциях выступать и на стенде стоять. Иногда еще роль называется Solution Architect, но для SA там уже может быть более глубокое погружение в проект на этапе внедрения)

Вы хорошо знаете продукт и понимаете как решение работает в аналитической экосистеме, можете быстро сделать демо продукта. Много встреч с клиентами и возможно поездок.

Однажды я получил офер от Microstrategy в Москве, но потом его отозвали и они закрыли офис. Еще я пытался в Канаде податься на это позицию, тоже получилось, но выбрал Амазон. И провалил собеседование в Канаде в Splunk на это позицию.

Вообще это была моя любимая позиция из всего спектра, но сейчас я стал уже ленивый для такого движа.

Road Map 6: Evangelist / Advocate - бонус, последний на сегодня.

Тут уже надо быть активным в сообществах. Например классные ребята у Snowflake, DuckDb, Astronomer и других продуктов.

Тоже прикольная вакансия, тоже много путешествий и выступлений. Но там уже сложней попасть, так как таких много не нужно.

Двойной бонус от чека Microsoft Azure, AWS и Google Cloud и бесплатная миграция при переходе на платформу VK Cloud

Microsoft и Amazon закрывают доступ к облачным сервисам в России с 20 марта. VK Cloud поддерживает российский бизнес в переходе на безопасную облачную платформу:

🔹 Грант, в два раза превышающий бюджет, который компания тратила на облачные сервисы Microsoft Azure, AWS или Google Cloud в феврале 2024-го.
🔹 Бесплатный перенос ИТ-системы (lift & shift) с зарубежного провайдера на облачную платформу VK Cloud.
🔹 Бесплатные лицензии на ПО для миграции, а также покрытие стоимости инфраструктуры, необходимой для работы агента ПО миграции.
🔹 Бесплатный консалтинг команды инженеров Professional Services для сложной миграции и любых ИТ-вопросов.

В течение 2 месяцев вы сможете оценить преимущества платформы VK Cloud бесплатно. Для этого оставьте заявку на миграцию до 10 апреля и отправьте чек об оплате сервисов Microsoft Azure, AWS или Google Cloud за февраль 2024 года. VK Cloud начислит на ваш бонусный счет в два раза больше средств для тестирования, а также поможет с бесплатной миграцией и быстрым запуском в облаке.

Оставить заявку

Попался такой курс - Data Engineering in R: How to Build Your First Data Pipeline with R, Mage, and Google Cloud Platform (in under 45 Minutes)

Вроде и Google Cloud, и Big Query, и новомодный орекстратор Mage (я его не использовал, надеюсь не придется).

В целом неплохая идея сделать проект, возможно можно и бесплатно его сделать без курса.

Но вот использовать R в data engineering мне кажется не ice.

Я лично сам работал в нескольких компаний, где главная боль была R pipelines.

Как у вас с R для data engineering? Кто-нибудь использует?

Я сейчас как раз смотрю его видосы по Airflow. Очень хорошо рассказывает, а тут он добавил новый курс про Airbyte.

Идеально для open-source и современного стека. Обязательно начну и добавлю идеи в проекты Surfalytics.

Airbyte это набор коннекторов, чтобы загрузить данные в хранилище данных и потом можно с dbt уже трансформировать данные.

Короче, это топ! Да еще бесплатно. Вот он афигеет, сколько народу сейчас придет на купон))

https://www.udemy.com/course/the-complete-hands-on-introduction-to-airbyte/?couponCode=EARLYBIRD

https://www.layoffmemos.com/ решил собрать письма CEO про увольнения, чтобы не забывать своем место в корпорации. Точнее, я то знаю, но много еще наивных людей, и я всем в Surfalytics присылаю на ознакомление. Как и Surfalytics.com, сайт сделала Lala

PS есть еще компании и письма, кидайте в комментарии

Яндекс выкатил YandexGPT 3 Pro, это первая языковая модель из большой линейки нейросетей третьего поколения.

Что известно: в дальнейшем моделей станет больше, каждая будет ориентирована на решение задач определённого типа.

Благодаря обновлению YandexGPT 3 Pro лучше понимает контекст беседы и более естественно ведёт диалог с пользователем. Теперь она допускает меньше стилистических и фактических ошибок, а еще умеет обрабатывать существенно больше запросов за единицу времени.

Для бизнеса стоимость использования нейросети снизилась почти в два раза. Заказчики смогут самостоятельно дообучить YandexGPT 3 Pro в сервисе ML-разработки Yandex DataSphere для того, чтобы она ещё лучше соответствовала потребностям конкретного бизнеса. А потом внедрить технологию в свои продукты через API.