Учить инженерию данных по курсам и роликам — это как собирать пазл без картинки на коробке: детали вроде бы есть, а как они складываются вместе — не всегда понятно

karpovꓸcourses сделали тест-квест, который эту картинку как раз и показывает: вы сами, шаг за шагом, собираете дата-платформу стартапа — от Excel до Kafka, Spark и ClickHouse — и видите, как отдельные инструменты складываются в цельную архитектуру.

Прохождение построено как игра: выбираете следующий шаг, растет уровень зрелости платформы, накапливается ваш опыт, от которого вы получается звание в инженерии данных.

Узнайте, какой вы инженер данных: https://clc.to/erid_2W5zFGaGrnd

Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFGaGrnd

Базовый минимум для VS CODE

Если у тебя нет этих расширений, то нам не о чем с тобой разговаривать. Это так на Патриках мне сказали, однажды, когда я убирал улицу от мусора. Еще и пять тысяч кинули в лицо из гелика.. Это был самый неоднозначный день в моей жизни.

Ближе к делу. Есть VSCode. Программа, где программисты-душнилы пишут свой никому ненужный код. Либо вайбокодят и делают вид, что работают.
Хочу поделиться самыми основными плагинами для этой програмы, которые помогают мне ПО СЕЙ ДЕНЬ БЫТЬ почти программистом.

Сразу скажу: я не собирал сюда 150 расширений, которые показывают погоду, настроение разработчика и фазу Луны во время деплоя. Только то, чем реально пользуюсь.

Black Formatter
Чтобы код не выглядел как будто его писали во время высадки в Камбодже.
Автоматически делает аккуратным. Пишете код ногами, сохраняете файл — Black его форматирует.

Можно включить форматирование при каждом сохранении:

"[python]": {
  "editor.defaultFormatter": "ms-python.black-formatter",
  "editor.formatOnSave": true
}

Flake8
Если Black молча исправляет форматирование, то Flake8 ходит за вами и говорит:

«Вообще-то здесь импорт не используется».
«Вообще-то переменная не определена».
«Вообще-то строка слишком длинная».
«Вообще-то ваш код нарушает правила».

То есть Flake8 — это линтер. Он анализирует код и показывает потенциальные ошибки, подозрительные места и нарушения стиля.
Открываете Python-файл — расширение автоматически запускает проверку.

DBCode
Чтобы не переключаться постоянно на DBeaver или DataGrip

DBCode превращает VS Code практически в программу для баз данных.
Можно подключиться к PostgreSQL, ClickHouse, MySQL, SQLite, MongoDB и ещё огромному количеству баз, открыть таблицы, посмотреть колонки, написать SQL-запрос и сразу увидеть результат.

По ощущениям — DBeaver встроили прямо в редактор. Очень удобно, когда одновременно пишете Python, SQL и смотрите данные.

Parquet-viewer
Чтобы посмотреть файл формата Parquet. Если что, паркет нельзя открыть и посмотреть содержимое.
Это вам не CSV или TXT. Там внутри из коробки будет нечеловекочитаемая ерунда.

Dracula Theme
Это просто тёмная тема. Там есть розовый цвет, поэтому если вы мощный мужик — это для вас.

Codex
Это coding agent от OpenAI, встроенный в VS Code.

Главное отличие от обычного ЧатаГПТ: ему не нужно вручную отправлять каждый файл по отдельности. Он может работать с репозиторием, находить нужные файлы, разбираться в связях между модулями, объяснять незнакомый код и вносить изменения.

Например, можно попросить:

- рассказать, как устроен новый репозиторий;
- найти, откуда запускается конкретный процесс;
- объяснить непонятный файл;
- добавить проверку;
- исправить ошибку;
- написать тесты;
- поменять логику сразу в нескольких связанных файлах;
- проверить изменения.

Особенно полезно, когда открываете чужой проект, видите 300 папок и понимаете, что сегодня можно было просто не просыпаться.
Но есть нюанс. Работает только, если вы не в РФ. А как быть не в РФ, но при этом в РФ — думаю все понимают.

Но кодекс правда у меня платный. Я плачу по 20 долларов в месяц на подписку GPT Plus. И я в восторге.

Если есть какие-то ваши находки, делитесь, че еще удобное можно использовать?

Типичные вопросы с собесов на Дата Инженера Часть 2

Hadoop | Spark | DWH

https://youtu.be/BWSXh1Ussms
https://youtu.be/BWSXh1Ussms
https://youtu.be/BWSXh1Ussms

Кстати, мы уже набираем поток на BootCamp сентябрь
Запись на поток

Не знаешь AWS — не получишь оффер!

Два дня назад в Тбилиси (Грузия) я пообщался с тимлидом DE из одной компании. Название не скажу. Это не банк. Сокращенная аббревиатура звучит как «Телевизор» на английском.

ИХ стек и стек на рынке РФ — это параллельные вселенные. Буквально, вы разговариваете на разных языках. Из общего у нас только Airflow. Дальше идут Glue, Glue Catalog, Redshift, Athena, Lambda и еще ряд сервисов, о которых я СЛЫШАЛ, но ДО СИХ ПОР НЕ ЗНАЮ! (это просто позор).

Конечно, под капотом это те же Spark, Greenplum и ClickHouse. Но знающие люди скажут, что я ЦКАТИНА такая и все неверно написал. Но кто, если не я, напишет вам понятным и доступным языком об этой душной теме?

Я спросил, как они нанимают.
Вы должны знать либо AWS, либо Azure, либо аналоги. Дальше можно будет уже вкатиться в процессы. Приоритет отдают тем кандидатам, которые могут привнести свою допэкспертизу в команду. Например, вы копали в своей карьере то, как работает Spark или Airflow (ну, прямо сильно копали), и можете закрыть какие-то пробелы в команде — тогда, может быть, возьмут.

Тут релокация в Тбилиси и ОФИС. Ну, либо гибрид. Компания вас перевезет. Ищут на LinkedIn, HH. Нанимают и из РФ соответственно... короче, если вы говорите на языке команды. Но не все соглашаются, потому что все хотят ВАЛЮТНУЮ УДАЛЕНКУ.

Хотя тут, возможно, играет большой фактор зарплаты. Например, а если вам предложат +1 млн долларов? Ладно... Короче, я думаю, насыпать денег — тоже может помочь завлечь.

Что еще? Я спросил, а где учить? Roadmap? Bootcamp?
Мне сказали, только курсы AWS внутри. Причем с сертификатом или без — это на твое усмотрение. Какие-то компании просят сертификат. Какой-то доступный ресурс, чтобы более-менее понятно было объяснено, я не услышал. Ну, возможно, Amazon действительно хорошо и так преподносят. Но для меня пока это все еще на уровне, когда я только начинал учить DE.

Есть идея зайти и на этот стек и познакомить вас с ним. Но сейчас все выглядит как огромное кол-во инструментов, у которых есть тысячи аналогов, и на тему выбора которых могут спорить в ТРУШНЫХ чатах DE-шников.

Вообще, иногда смотришь на все эти инструменты и кажется, что это инопланетные технологии, о которых должны знать только избранные. А обычные люди пусть страдают сами! Не гоже дело! Мы страдали и ты страдай!

Антон Чигур отчитывает Джуна Дата Инженера!

https://youtube.com/shorts/t5zUcI0_EVk?is=B2v211CnYhwm68EO

Кто не видел, срочно смотреть - этот шедевр потихоньку набирает свои просмотры уже!