Самый быстрый вкат в IT, который я видел

Мой кореш из универа вкатился в DE быстрее, чем кто-либо другой.
Чтобы вы понимали, он вообще не из IT. Ему было ровным счетом по-барабану на это ваше программирование, он просто работал инженером в компании и все. Ну там электричество, энергетика... сами понимаете, денег там нет. Хорошо... я знаю, что какой-то сын маминой подруги работает в энергетике, купил Ламбу Урус и сейчас в МОНАКО, но везде есть исключения.

Знаете, что его сильно отличало? Вы скажете: ПРЕДРАСПОЛОЖЕННОСТЬ И СУДЬБА ЦКАТИНА!
Вообще нет. Он не ссал.

Как это выглядело. Где-то в январе-феврале он открыл наш Roadmap и начал потихоньку проходить SQL и Python (кстати у него уже был заход год назад, но он благополучно бросал это скучное дело). Поэтому честнее сказать, он вернулся к основам и начал все повторять. Дальше он записался на наш мартовский поток BootCamp.

Т.е. он тупо шел по roadmap, как по списку и не бросал. В буткемпе он взял самый простой пайплайн (связку инструментов) и буквально повторил за примером, немного добавляя свои идеи. БОЛЬШЕ НИЧЕГО ДОПОЛНИТЕЛЬНОГО! По Кликхаусу прошел наш огромный файлик сколько мог. По спарку аналогично занимался. Т.е. он не утопал в теории. Например в Clickhouse реально необходимо знать ТРИ движка базово - MergeTree, ReplacingMergeTree и ReplicatedMergeTree. Нет смысла сидеть и учить все движки подряд. Вас об этом на собесе не спросят.. потому что сами собеседующие об этом не знают.

По времени он занимался по 6–8 часов в неделю. На втором месяце BootCamp, ещё до лекции по резюме, он уже начал делать РЕЗЮМЕ. При этом за основу взял уже готовое резюме с HH, которое если что и вы можете найти и тупо списать. Так вот он взял и переделал уже хорошее релевантное резюме под себя. Я до сих пор не понимаю, почему люди не хотят делать АНАЛОГИЧНО?! Люди уже сто пицот раз писали эти CV... да скатайте просто у лучших.

В итоге. Он послушал лекцию → немного поправил → сразу вышел на рынок. СРАЗУ! На втором месяца BootCamp прям посередине потока. Пока остальные еще ждали мок собесы. Типа чувак вообще не парился и шел, как паровоз.

Естественно, первые три собеса он провалил. На каком-то даже его спалили с нейронкой, что он пользовался. Ну и ладно.. Где не получилось, идем дальше. Собеседующие забыли его в ту же секунду. Пошёл на следующее.

Примерно на 8–9 собеседовании получил оффер на 250 000 ₽ на руки на офис (это важно). Сейчас он уже работает и получает ЗП. Вы скажите, что ОФИС — это не тру. А ваше мнение кто-то спрашивает? :)
У человека задача получить работу и зарплату. Через полгода год выйдет на рынок и сменит на другое место. Тут факт, что он не тупил и действовал.

Самое забавное, что я сам на него особо не ставил. Не думал, что именно он так быстро вкатится. А он взял и оказался одним из первых. Пока другие ребята, в том числе те, кто уже работал в IT или около IT, продолжают готовиться, сомневаться и ждать подходящего момента.

1 сентября стартует новый поток BootCamp - @bootcampych_bot

Ребят, чек лист для общения с HR

Я понимаю, что не все доходят в Roadmap до Резюме и Работа
Там если что есть удобный чек лист. Когда общаетесь с рекрутером, задавайте пожалуйста, тоже вопросы. Это во первых показывает вашу реальную заинтересованность в позиции, а во вторых не надо вспоминать, какие условия в компании.

Ниже пример заполнения чек листа:

roadmappers.ru
 
1млн на руки
 
География: удаленка мир
Направления работы:  
  Ставки на кликстрима, проектирование ДАТА контура ОКОЛОРеайлтайм (в Clickhouse).
  Собирают команду. Платформенная команда.
Команда: Состав команды: 14 DE (1 руководитель)
Заказчики: Аналитики и Млщики
Источники данных: Cыряк из Кафки, PG, Оракл
Технологии: Hudi на HDFS, Kafka, CH, PG, Oracle
Техника: мак или винда выдают
Рабочий процесс: Agile, спринты
Задачи: Переезд на новую платформу. Есть база AeroSpike. Переезжают на Redis. 
Этапы: Тех скрининг - лайвкодинг (Spark + SQL) -> Софт собес
Оформление: ТК РФ

Все совпадения случайны. Все компании вымышлены.
Ссылка на roadmap

Как же мне было влом решать задачу!

Собес на деньги:
320к - 350к на руки

Скажу честно, когда вижу задачу на собесе с лайвкодингом, сразу хочется просто скопировать в LLM и выдать ответ. Потому что оно реально так и решается. Я просто потерял смысл попыток решений таких задач. Кто пишет код вручную.. ну скорее всего сын маминой подруги. И тот самый айтишник, который в ОЙТИ еще со времен Рюрика. Кстати, выражаю огромный респект всем трушным программистам. Сейчас ОЙТИ уже не то...

Я в этот раз решил честно все пройти, попробовать. Но, как же мне было влом... Ну буквально надо вырыть яму лопатой, когда рядом стоит эксаватор)
Я написал где-то четверть и полностью забил на все нюансы из условий задачи.
Задача на мой взгляд непростая. В плане надо сразу несколько условий держать в голове. Плюс это CLICKHOUSE.

Какая компания, говорить не буду. Ну либо за 1млн долларов.

Есть таблица ClickHouse:

CREATE TABLE default.migration_report
(
    RunId UUID,
    CollectionName String,
    DocumentName String,
    StartedAt Nullable(DateTime),
    CompletedAt Nullable(DateTime),
    LastError String
)
ENGINE = ReplacingMergeTree
ORDER BY RunId
SETTINGS index_granularity = 8192;

Необходимо посчитать количество успешных и неуспешных загрузок за последний календарный месяц.

Результат должен содержать два столбца:

| succeeded | failed |

Условия:

1. Расчёт выполняется отдельно для каждого источника (`CollectionName`) и каждого календарного дня.
2. В течение одного дня у одного источника может быть несколько загрузок.
3. Если у источника произошла неуспешная загрузка (`LastError != ''`), то эта загрузка учитывается как failed, а все последующие загрузки этого источника в этот же день не учитываются.
4. Успешной считается загрузка, у которой `LastError = ''`.
5. Для преобразования даты и времени можно использовать функцию `toDate()`.

Напишите SQL-запрос для ClickHouse.

Решение задачи

WITH
    toStartOfMonth(addMonths(today(), -1)) AS month_start,
    toStartOfMonth(today()) AS month_end
SELECT
    countIf(LastError = '' AND previous_failed = 0) AS succeeded,
    countIf(LastError != '' AND previous_failed = 0) AS failed
FROM
(
    SELECT
        CollectionName,
        toDate(StartedAt) AS upload_date,
        LastError,

        sum(LastError != '') OVER
        (
            PARTITION BY CollectionName, toDate(StartedAt)
            ORDER BY StartedAt, RunId
            ROWS BETWEEN UNBOUNDED PRECEDING AND 1 PRECEDING
        ) AS previous_failed
    FROM default.migration_report
    WHERE StartedAt >= month_start
      AND StartedAt < month_end
)

Что происходит с рынком DE?

его нет. все кончено. только на завод. надо было раньше. раньше было лучше.

ОТСТАВИТЬ ПАНИКУ!
У нас есть чат выпускников BootCamp, и я сгрузил оттуда сообщения и пропустил через ChatGPT.

Вот, что вышло:
Рынок живой, но неоднородный:
- вакансий достаточно, особенно в крупных банках, ритейле и интеграторах
- работодатели стали заметно строже проверять реальный опыт
- основной фильтр — SQL, Python, Spark и понимание DWH
- удалёнка по РФ встречается часто, но хорошие предложения конкурируют за сильных специалистов
- зарплаты для middle/senior в сильных командах находятся примерно в диапазоне 250–350 тыс. ₽ на руки
- одновременно сохраняется большой слой вакансий на 150–200 тыс. ₽, часто с более тяжёлыми требованиями;
- работодатели нередко ищут сразу нескольких инженеров, но вакансии могут долго висеть и пересматривать требования.

Зарплаты
150–170 тыс. ₽ - junior/middle, небольшие компании, локальные требования
около 200 тыс. ₽ - middle, аутсорсинг и банковские проекты
230–260 тыс. ₽ - middle с хорошим SQL/Python/Spark
300–350 тыс. ₽ - senior, streaming, ML-инфраструктура, крупные команды
350 тыс. ₽ и выше - сильный senior, удалёнка по миру, сложные data-платформы

Примеры из чатов:
Райффайзенбанк — от 300 тыс. ₽ на руки;
X5 — 320–350 тыс. ₽ на руки;
Selecty — 320–350 тыс. ₽ на руки;
Kostylworks — около 350 тыс. ₽ на руки;
Петрович Tech — 320–350 тыс. ₽ на руки;
Альфа-проекты — примерно 200–320 тыс. ₽;
отдельные вакансии — 150–170 тыс. ₽.

Самый востребованный стек
- SQL (Особенно CTE, оконные функции, JOIN, индексы, уровни изоляции, оптимизация запросов)
- Python (Часто проверяют структуры данных, ООП, итераторы, декораторы, асинхронность и простые алгоритмические задачи)
- Spark / PySpark (Партиционирование, shuffle, форматы Parquet/Avro, оптимизация, обработка больших объёмов данных)
- Airflow (Построение и сопровождение DAG, расписания, пайплайны, отказоустойчивость)
- Хранилища и DWH (ClickHouse, Greenplum, PostgreSQL, Hadoop, S3/MinIO, Trino, Iceberg)
- Streaming (Kafka, Flink, Debezium и real-time-пайплайны появляются в более дорогих вакансиях)
- Прочее (Мониторинг загрузок, поддержка продуктивных процессов, разбор инцидентов и качество данных становятся частью обычной работы DE)

Как проходят собеседования
HR-скрининг;
техническое интервью;
кейс или live coding;
интервью с заказчиком или командой;
иногда финальный этап непосредственно с банком;
в отдельных компаниях — проверка документов, полиграф или дополнительные анкеты

Типичные вопросы:
как обработать 100 ГБ данных в Spark;
почему Spark медленный;
как устроены партиции и shuffle;
отличие DWH от обычной БД;
индексы, JOIN и уровни изоляции;
проектирование схемы данных;
решение SQL-задач;
небольшие Python-задачи;
опыт с реальными объёмами и архитектурой.

При этом часть собеседований проходит без алгоритмов и live coding — только разговор по опыту и кейсам.

Продолжение в комментах...

Упаковка опыта

Друзья, если кому надо упаковать свой опыт для резюме, то рекомендую наш сервис

https://roadmappers.ru/resume-studio

Я специально его сделал. Под капотом LLM. Она берет ваш опыт (буквально любой) и переписывает под Дата Инженера. На скрине я показал, как это работает. При добавлении в HH у вас также может добавиться плашка "Конкретные достижения", что лучше влияет на внешний вид РЕЗЮМЕ.

из этого:

написал пет проект, где брал данные из PG и грузил их в Greenplum. Также сделал проект по загрузке из API в S3 а потом в Clickhouse. Все развернул в докер compose. Понимаю Airflow, могу написать на Spark. Также немного пробовал dbt модели для учебного проекта

Получилось:

- Спроектировал и развернул контейнеризованную инфраструктуру на Docker Compose, объединив PostgreSQL, Apache Airflow, Greenplum и ClickHouse в единый изолированный контур для разработки и тестирования ETL-процессов.
- Реализовал batch-пайплайн на Python и SQL для извлечения данных из PostgreSQL и загрузки в Greenplum, настроив оптимизированные дистрибутивные ключи и партиционирование таблиц для ускорения агрегационных запросов.
- Построил интеграционный модуль для получения данных из внешнего REST API, сериализации в Parquet и загрузки в S3, обеспечив идемпотентность и дедупликацию записей при повторных запусках процесса.
- Организационно настроил загрузку данных из S3 в ClickHouse с использованием columnar-формата, что позволило снизить время отклика на аналитические запросы примерно на 40% по сравнению с реляционным хранилищем.
- Разработал DAG в Apache Airflow для оркестрации сквозного процесса обработки, добавив механизмы retry, SLA и алертинга о сбоях, что повысило надежность пайплайнов до 98%.
- Провел черновой эксперимент с использованием Apache Spark (PySpark) для трансформации больших объемов данных, сравнив производительность с нативным SQL и подтвердив эффективность распределенной обработки.
- Спроектировал набор dbt-моделей для учебного проекта, внедрив тесты качества данных и документацию зависимостей, что позволило автоматизировать валидацию схем и снизить количество ошибок нагрузки на 25%.
- Настроил мониторинг состояния контейнеров и метрик выполнения задач через Prometheus и Grafana, обеспечивая прозрачность работы микросервисов данных и быстрое выявление узких мест.
- Оптимизировал SQL-запросы в Greenplum и ClickHouse, внедрив индексы и переработав планы выполнения, что сократило среднее время вычисления отчётов с 120 до 45 секунд.
- Подготовил финальные витрины данных для визуализации, интегрировав их с BI-инструментом, и обеспечил аналитиков актуальными данными с задержкой обновления менее 5 минут.

Технологический стек:
Python, SQL, PySpark, Apache Spark, Apache Airflow, dbt, PostgreSQL, Greenplum, ClickHouse, S3, Parquet, Docker, Docker Compose, Prometheus, Grafana