Как Дата Аналитики работают с Дата Инженерами?

Аналитик пишет запрос для бизнеса здесь и сейчас. Дата Инженер разбирает этот запрос и оптимизирует. А почему сразу не писать готовый запрос? Тогда это получается какой-то Аналитикс Инженер?

ДА скрестили с ДЕ?

Помню на собесе в Газпромбанк мне сказали, что у них аналитики сразу пишут на спарк апи. Типа не даже ничего в коде делать.. ну однако может это просто ДЕшники были, которые начали общаться с бизнесом и просто научились считать метрики?:)

В видосе, кстати, одна из болей ДЕшников

https://youtube.com/shorts/zutxBoD0AWI?is=ORhcn8jMcTYxaqT1

ДЕ — это ИЗИ!

коммент на Youtube Shorts
ссылка на видос

Вообще, я думаю, что если ты свитчер и меняешь просто специализацию в IT, то ДЕ, вероятно, не самое сложное направление. А вот если вкатываться с нуля, то есть проблема огромного количества инструментов. Вот в этом скорее сложность. Как расставить приоритеты, что надо знать, а на что можно пока забить.

Отчасти поэтому я в свое время собирал Roadmap

Че думаете сами? СОГЛАШАЕМСЯ? Или просто IT это НЕ для ДЛЯ ТУПЫХ? :)

Почувствовал себя одиноким

YouTube предложил видео о том, как стать ДЕ без опыта. Зашел в комментарии, а там всего один — и то от меня.

Только 2% людей на планете знают об этом!

Если вы знаете об этой фишке, прошу только дополнить. Многим людям, кто с Airflow только знакомятся, эта инфа будет полезна.
О чем я?

Вот у вас есть DAG в Airflow, который запускает код по расписанию. Просто грузит данные за вчера или за прошлую неделю.
Но что если вам надо прогрузить РЕТРО данные, например за прошлый месяц или с 2026-01-10 по 2026-04-02?

Иногда это требуется, когда данные в источнике (например в Postgres) могли обновиться, а Стриминг для этой задачи излишен.
Короче, в Airflow можно добавить пару строчек и запускать ваш DAG с вашими параметрами вручную. Причем это может делать любой человек, даже без знания КОДА! Не надо идти в Jupyter Hub и запускать спарк джобу с конифгами. Любой аналитик зашел, вбил нужные даты и нажал кнопку PLAY

Понятное дело, что вы наверняка знали про это еще 15 лет назад и у вас даже сосед по лестничной клетке шарит за это и вообще тетя Люда на даче этим пользовалась во времена Петра Первого.. но дайте шанс новичкам, кто только знакомится с инструментом.

Че писать в коде?
Чтобы удобно было запускать DAG с параметрами, надо дописать параметр params

dag = DAG(
    dag_id="DEMO__API_to_S3_to_CH__weather_temp_rain_pipeline",
    default_args=default_args,
    schedule_interval="0 10 * * *",
    catchup=False,
    params={
        "start_date": Param(
            "",
            type="string",
            pattern=r"^$|^\d{4}-\d{2}-\d{2}$",
            description="Начальная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = ds.",
        ),
        "end_date": Param(
            "",
            type="string",
            pattern=r"^$|^\d{4}-\d{2}-\d{2}$",
            description="Конечная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = start_date.",
        ),
    },
    description="API weather to S3 and ClickHouse pipeline",
    tags=["demo", "weather", "temp", "rain", "api", "s3", "clickhouse", "pipeline"],
)

Кстати можно добавить еще и валидацию дат, чтобы нельзя было вбить случайно неправильно.
А ну еще придумал кейс. Вот представьте у вас работает витрина и там добавилось поле или чуть поменяли подсчет метрики.
Вы выкатили в прод изменения, а данные-то старые не обновлены. В этом случае можно просто запустить прям в Airflow с нужными датами и все обновиться. Ну и надо уточнить, чтобы ваш пайплайн не плодил дублей, а перезаписывал данные в хранилище. Это я так, просто уточнить.

Учить инженерию данных по курсам и роликам — это как собирать пазл без картинки на коробке: детали вроде бы есть, а как они складываются вместе — не всегда понятно

karpovꓸcourses сделали тест-квест, который эту картинку как раз и показывает: вы сами, шаг за шагом, собираете дата-платформу стартапа — от Excel до Kafka, Spark и ClickHouse — и видите, как отдельные инструменты складываются в цельную архитектуру.

Прохождение построено как игра: выбираете следующий шаг, растет уровень зрелости платформы, накапливается ваш опыт, от которого вы получается звание в инженерии данных.

Узнайте, какой вы инженер данных: https://clc.to/erid_2W5zFGaGrnd

Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFGaGrnd

Базовый минимум для VS CODE

Если у тебя нет этих расширений, то нам не о чем с тобой разговаривать. Это так на Патриках мне сказали, однажды, когда я убирал улицу от мусора. Еще и пять тысяч кинули в лицо из гелика.. Это был самый неоднозначный день в моей жизни.

Ближе к делу. Есть VSCode. Программа, где программисты-душнилы пишут свой никому ненужный код. Либо вайбокодят и делают вид, что работают.
Хочу поделиться самыми основными плагинами для этой програмы, которые помогают мне ПО СЕЙ ДЕНЬ БЫТЬ почти программистом.

Сразу скажу: я не собирал сюда 150 расширений, которые показывают погоду, настроение разработчика и фазу Луны во время деплоя. Только то, чем реально пользуюсь.

Black Formatter
Чтобы код не выглядел как будто его писали во время высадки в Камбодже.
Автоматически делает аккуратным. Пишете код ногами, сохраняете файл — Black его форматирует.

Можно включить форматирование при каждом сохранении:

"[python]": {
  "editor.defaultFormatter": "ms-python.black-formatter",
  "editor.formatOnSave": true
}

Flake8
Если Black молча исправляет форматирование, то Flake8 ходит за вами и говорит:

«Вообще-то здесь импорт не используется».
«Вообще-то переменная не определена».
«Вообще-то строка слишком длинная».
«Вообще-то ваш код нарушает правила».

То есть Flake8 — это линтер. Он анализирует код и показывает потенциальные ошибки, подозрительные места и нарушения стиля.
Открываете Python-файл — расширение автоматически запускает проверку.

DBCode
Чтобы не переключаться постоянно на DBeaver или DataGrip

DBCode превращает VS Code практически в программу для баз данных.
Можно подключиться к PostgreSQL, ClickHouse, MySQL, SQLite, MongoDB и ещё огромному количеству баз, открыть таблицы, посмотреть колонки, написать SQL-запрос и сразу увидеть результат.

По ощущениям — DBeaver встроили прямо в редактор. Очень удобно, когда одновременно пишете Python, SQL и смотрите данные.

Parquet-viewer
Чтобы посмотреть файл формата Parquet. Если что, паркет нельзя открыть и посмотреть содержимое.
Это вам не CSV или TXT. Там внутри из коробки будет нечеловекочитаемая ерунда.

Dracula Theme
Это просто тёмная тема. Там есть розовый цвет, поэтому если вы мощный мужик — это для вас.

Codex
Это coding agent от OpenAI, встроенный в VS Code.

Главное отличие от обычного ЧатаГПТ: ему не нужно вручную отправлять каждый файл по отдельности. Он может работать с репозиторием, находить нужные файлы, разбираться в связях между модулями, объяснять незнакомый код и вносить изменения.

Например, можно попросить:

- рассказать, как устроен новый репозиторий;
- найти, откуда запускается конкретный процесс;
- объяснить непонятный файл;
- добавить проверку;
- исправить ошибку;
- написать тесты;
- поменять логику сразу в нескольких связанных файлах;
- проверить изменения.

Особенно полезно, когда открываете чужой проект, видите 300 папок и понимаете, что сегодня можно было просто не просыпаться.
Но есть нюанс. Работает только, если вы не в РФ. А как быть не в РФ, но при этом в РФ — думаю все понимают.

Но кодекс правда у меня платный. Я плачу по 20 долларов в месяц на подписку GPT Plus. И я в восторге.

Если есть какие-то ваши находки, делитесь, че еще удобное можно использовать?