Дата-инженерские заметки
1.4K subscribers
69 photos
17 videos
7 files
55 links
Пытаюсь выжить в корпоративных реалиях, делюсь вопросами с дата-инженерских собеседований и ссылочками для подготовки к ним

Написать мне: @aylin_gee
Download Telegram
она 10/10, но это ее компания мечты
21😁116🏆3
Сегодня подписала заявление на увольнение😱

Решение далось легко; принимаю ваши поздравления💳

P.S Альфа банк - лучший банк
Please open Telegram to view this post
VIEW IN TELEGRAM
🏆36🔥1381
Вот, что я сделаю иначе на новом месте работы, чтобы снова не словить вайб на картинке:

🤍 Если телеграм активно используется для рабочей коммуникации, создам отдельный аккаунт для работы.

Во-первых, это избавляет от информационного шума, когда нужно сконцентрироваться исключительно на работе.
Во-вторых, это позволит мне делиться в профиле всем, не задумываясь о мнении коллег (смогу, например, указать этот канал)

🤍 Начну запрашивать фидбэк сильно раньше и чаще.

В моей команде мой перворманс вообще ни на что не влиял. Работаешь - хорошо, не работаешь - ок. Сначала это тревожит, затем демотивирует и слишком расслабляет.

🤍 Постараюсь почаще приезжать в офис, если часть команды будет сконцентрирована в одном городе. Работать с людьми, зная их лично, намного проще.
Please open Telegram to view this post
VIEW IN TELEGRAM
23
писала ранее о списке рефералов и вот наконец создала свой.

Список сейчас открыт для редактирования. После редактирование закрою - нужно будет написать мне и я добавлю ваш контакт.
Если ваша компания уже есть в списке, добавьте свой контакт рядом с уже существующим рефералом.

📌В альфе рефералками заработала больше 100к, так что указывайте свои контакты.

💬Дата-инженерские заметки
ставим сердечки, кидаем бусты🫶
Please open Telegram to view this post
VIEW IN TELEGRAM
1210🔥81
Дата-инженерские заметки pinned «писала ранее о списке рефералов и вот наконец создала свой. Список сейчас открыт для редактирования. После редактирование закрою - нужно будет написать мне и я добавлю ваш контакт. Если ваша компания уже есть в списке, добавьте свой контакт рядом с уже существующим…»
Если вы задумывались над тем, чем же все-таки занимаются аналитики, рекомендую подписаться на канал Data Brew!

Канал ведет тот самый аналитик, который смог построить карьеру после курсов и сейчас продолжает расти профессионально.

Автор
🤗 помогает в поиске работы
😊пишет о полезных для аналитиков хардах
🎁делится реальными историями с собеседований
🤬 рассказывает о боли аналитиков
😇 скидывает аналитические мемы

Подписывайся на @data_brew
Please open Telegram to view this post
VIEW IN TELEGRAM
🏆21
This media is not supported in your browser
VIEW IN TELEGRAM
я 3 года назад
всё оказалось сильно проще, чем думала
115
Почему я не рассказываю о своей зарплате?

Вообще вот эта капиталистическая культура не говорить о заработке на самом деле не играет нам на пользу: намного легче не доплатить сотруднику, если он не знает, сколько на самом деле зарабатывают другие.

Но с другой стороны, если поставить личную выгоду над коллективной, плюсов от такой откровенности я не вижу.

Во-первых, мне не хочется, чтобы на мнение человека влиял мой заработок, даже если это мнение может улучшиться. Зарабатываешь по их мерках мало - недостаточно амбициозный или умный, много - осудят за потребительские привычки.

Во-вторых, у людей до сих пор есть вера в справедливый мир. Вас обязательно оценят по критериям, не имеющим ничего общего с реальным положением дел, и закинут в категорию ‘достойных’ или ‘недостойных’. Вторая всегда сопровождается завистью и поверьте вам в такой ситуации оказаться не захочется.

Свою зп я рассказываю друзьям и небольшому количеству приятных мне знакомых с зарплатной вилкой близкой к моей.
Мне просто хочется делиться с друзьями радостными и грустными моментами. К тому же, это взаимовыгодно. Для них полезно понимать ситуацию на рынке труда, мне же полезно понимать в рынке ли моя зарплата.
30147😁1
Продолжаю брать интервью у дата-инженеров, сегодня у нас мой первый руководитель - дата-архитектор из Procter&Gamble.

⭐️ Расскажи о себе: чем занимаешься сейчас, за что отвечаешь и где лежит основная зона влияния в компании.

Я работаю старшим дата архитектором в компании Procter & Gamble. Сейчас у меня три основных направления деятельности: поддержка и развитие нашей инфраструктуры для платформы данных (включая DevOps часть); ревью всех новых решений в области данных на предмет следования лучшим практикам, политикам компании т.д.; вовлечение в бизнес-проекты в роли старшего дата инженера, когда появляется такая необходимость.

⭐️ Немного бэкграунда: образование, первые шаги в ИТ и что подтолкнуло именно к данным и дата‑инжинирингу

Образование у меня совсем не айтишное: 4 года бакалавриата в СПбГЭУ на менеджменте и ещё 2 — магистратуры в ВШМ СПбГУ. Пока я учился 6 лет на менеджера, мне стали невыносимы многие аспекты менеджмента. Единственное, что меня заинтересовало — это маркетинг, но и то не весь, а связанный с аналитикой и статистикой. Так я потихоньку начал смотреть курсы на Stepik, где узнал о существовании языка R. Некоторое время все проекты в универе я делал с ним (никто не понимал что я делаю), а потом решил поучить ещё и Python. Когда подошло время искать работу, я подался на конкурс IT Business Challenge от Procter & Gamble, так и попал в компанию.

⭐️ Кто такой архитектор данных в твоём понимании?

В «академическом» понимании (вспоминаю свою сертификацию DAMA), архитекторы данных придумывают и описывают то, как данные должны быть организованы. В их арсенале имеются концептуальные, логические и физические модели, каталоги данных. Именно к архитектуру данных должен приходить бизнес и дата инженеры, чтобы получить от него знание о том, как правильно встроить новые данные в текущую архитектуру (или создать её с нуля). На деле я вижу (не только на своём примере), что Data architect может в себе содержать и Solution architect — выбирать какие технологии и как должны использоваться, строить платформу данных и даже самостоятельно инженерить.

⭐️ Ты — редкий пример роста от стажировки до архитектора внутри одной компании. Как это получилось: какие шаги, решения и люди сыграли ключевую роль? Что бы ты посоветовал тем, кто тоже хочет расти внутри одной организации

Мне кажется, что одним из очень важных факторов моего роста было то, что когда я пришёл в P&G, развитие дата инженеров только начиналось. Никто не знал, как работать с тем, что сейчас называют modern data stack, а я не знал и подавно, со своим менеджерским образованием. Поэтому я окунулся в этот океан с головой и вынужден был выплывать с минимально доступной помощью. К счастью руководство адекватно реагировало на неудачи — все понимали, что путь непростой.
Когда ты растёшь внутри одной организации, главное — это чтобы побольше людей о тебе узнало, в идеале через сотрудничество и помощь. Потом это поможет не только продвигаться по карьере, но и даст возможность «горизонтального» перемещения — смены ролей, проектов, области работы. Все будут хотеть заполучить тебя в свою команду.

⭐️ Из чего состоит твой рабочий день: типичные встречи, задачи и т.д?

Как правило есть минимум несколько встреч, где нужна моя экспертиза/совет: как что должно работать и как сделать правильно. Довольно часто приходится иметь дело с «операционными» вещами: например, майкрософт выкатил какое-то обновление и теперь нужно срочно искать новые решения, чтобы в восточной европе не упали все пайпланы данных, дата инженеры могли делать свою работу, а бизнес ничего не заметил. Несколько раз в неделю — ревью новых инструментов/пайплайнов. Ну и последнее время я снова вернулся к типичному дата инжинирингу, сижу пишу код на пайспарке.

❤️Дата-инженерские заметки
ставим сердечки, кидаем бусты
Please open Telegram to view this post
VIEW IN TELEGRAM
31🏆1310😭1
Как дата-инженеру проектировать хорошие ETL/ELT-процессы

ETL/ELT-процессы (они же пайплайны) — основа любой дата-инженерной системы. Именно пайплайны собирают и превращают сырые данные в структурированную информацию, на которую опираются аналитики и бизнес. Но как спроектировать процесс правильно, чтобы данные поставлялись стабильно, а пайплайны не ломались при каждом изменении на стороне источника?

На вебинаре c Георгием Семеновым разберём ключевые подходы к построению пайплайнов — разберем батч и стриминг, сравним ETL и ELT, а также посмотрим, как работают инструменты оркестрации, вроде Airflow и Dagster. Поговорим о важных инженерных деталях — партицировании, бэкфиллах, контрактах и тестах — и покажем, из чего складываются надёжные дата-процессы в крупных компаниях.

На вебинаре расскажем:
🟠Как устроен путь данных — от источников до аналитических витрин;
🟠Чем отличаются стриминг и батч, ETL и ELT, и когда какой применять;
🟠Какие инструменты помогают строить пайплайны — разберём Airflow и Dagster;
🟠Какие нюансы важно учитывать: партицирование, бэкфиллы, контракты, тесты;
🟠Как спроектировать надёжный и легко поддерживаемый пайплайн.

🕗 Встречаемся 22 октября в 19:00 МСК

💬 Подключайтесь к эфиру, чтобы задать Георгию вопросы про архитектуру данных, ETL/ELT и тонкости построения стабильных пайплайнов.

😶Зарегистрироваться на бесплатный вебинар
Please open Telegram to view this post
VIEW IN TELEGRAM
33😁2
hr коробки навыков: да стандартные у нас запросы

также hr коробки навыков: а как вы без юридического образования планируете витринки строить?
😁3212🏆2
🔥 Хочешь прокачаться в Apache Spark и стать сильнее как дата-инженер?

28 октября стартует Spark Scala DE – интенсивная онлайн-программа от New Professions Lab, где ты научишься решать реальные задачи с Apache Spark v 3.4.3


🧠 Для кого
Дата-инженеры, дата-сайентисты, backend-разработчики и все, кто хочет использовать Spark на уровне middle+ для продакшн-проектов


Что внутри
- 6 недель (28 окт – 9 дек)
- 12 онлайн-занятий в Zoom с преподавателями и ответы на вопросы
- 6 лабораторных с реальными данными и облачным кластером
- Поддержка координаторов и чат участников


📈 Чему научишься
1️⃣ Работа со Scala API – создание проектов, код на Scala, IntelliJ IDEA
2️⃣ Подготовка витрин данных – Parquet/ORC, ElasticSearch, Cassandra, PostgreSQL, DataFrames, DataSets
3️⃣ Real-time обработка – агрегации, джойны, потоковые данные, watermark, windows, кастомные источники
4️⃣ Единый пайплайн: от Kafka до обновления расширенной матрицы признаков
5️⃣ Работа с топ-инструментами: Apache Spark, Kafka, Elasticsearch, Cassandra, PostgreSQL, HDFS


👨‍🏫 Преподаватели – практики из ведущих компаний, объясняют сложные темы простыми словами и делятся опытом реальных проектов

🎯 Пройди интерактивный тест и получи персональные рекомендации и узнай о пользе программы для твоей роли.
🎁 Внутри промокод на скидку!


👉 Подробности и регистрация

Все вопросы можно писать Алексею @snitsa
5🏆32😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Будучи сейчас на испытательном сроке, я случайно наткнулась на видео о том, как правильно заходить в хату проходить этот самый испытательный срок.

Вообще, меня удивило, насколько содержательны тематические гайды Назарова.
Рекомендации понравились, но неожиданными для меня оказались советы по общению с коллегами-женщинами.

Если тезисы из видео не кажутся вам само собой разумеющимися, настоятельно рекомендую их запомнить и начать им следовать.

💬Дата-инженерские заметки
ставим сердечки, кидаем бусты🫶
Please open Telegram to view this post
VIEW IN TELEGRAM
18😁76🏆2
Сейчас был очень позитивный созвон с hr

Был скрининг, и на одном из обсуждений тех вопроса я слышу: ‘когда я ГОТОВИЛАСЬ К ЭТОМУ СОЗВОНУ, прочла …’

То есть она не тупо читает вопросы и записывает ответ, а старается подготовиться, чтоб лучше понимать кандидата??

Также обсудили необходимость софт собесов и тут hr выдает, как это важно, так как на ее прошлом месте работы, в Яндексе, орать друг на друга было нормой.😭

Самое интересное, что у меня уже был hr созвон в эту компанию, но на другую позицию. Прошлый hr перепутал мое имя и трижды забыл о созвоне…

Это еще одно подтверждение того, что сотрудник не репрезентирует всю компанию: в любой компании есть как хорошие команды, так и не очень, поэтому опираться на чужой опыт и мнение не стоит.
🔥1915
У нас тут дата-инженер сходил с ума по девушке, но не понимал, как же к ней подкатить. Мы решили помочь и посоветовали действовать по тем же принципам, что и при поиске работы.

💗начали с резюме инстаграма. Правила те же: малейшая ошибка - и прилетает отказ, поэтому профиль доводим до идеала.
Избавляемся от всех ‘спорных’ подписок, а все фотографии девушек и с девушками уходят в архив.

💗откликаемся подписываемся даже если кажется, что шансов немного. Вероятность успеха все равно выше, ведь при бездействии она равна нулю.

💗подход к поиску должен быть проактивным. Рынок сейчас высококонкурентный, поэтому просто откликнуться подписаться недостаточно. Пишем напрямую и уточняем, находится ли компания объект симпатии в поисках.

Данные рекомендации не гарантируют успех, но повышают его вероятность. И не забывайте: даже если сегодня открытых позиций нет, то завтра они могут появится, а ваше резюме может снова стать актуальным 🐾
Please open Telegram to view this post
VIEW IN TELEGRAM
😁331913
Который раз читаю посты, в которых авторы гордятся, что на этапе скрининга резюме отклонили менторов, которые сливают вопросы или учат накрутке.
Я могу еще понять отказ самим накрутчикам, но менторам…

Более яркого примера синдрома вахтера я не встречала. Понятное дело, что при отборе оцениваются не только навыки, и что вам вполне могут отказать по высосанным из пальца причинам, но вот так открыто это признавать…

К тому же, если ваш отбор может разрушится от слива вопросов, то может проблема не в ужасных кандидатах, а в том как проводятся собеседования?
Может стоит перестать задавать однотипные вопросы и мучить кандидатов оконками?

Если это новая норма, то я срочно становлюсь лидом и отбираю исключительно по вайбам и стилю.
После пишу пост о том, что не пропустила дата-инженера в скинни джинсах, а вы в комментах восхищаетесь, какой я крутой лидер!

PS: накрутку не поддерживаю, сама не накручиваю

Что думаете на этот счет?
❤️ - не поддерживаю такой отбор
😭 - считаю такой отбор абсолютно правильным
21😭81