Я – Дата Инженер | Евгений Виндюков
5.56K subscribers
380 photos
40 videos
13 files
250 links
💵 Как стать Data Engineer
🗄 Смотри Roadmap в закрепе!
_____________________________
Автор @halltape
Все вопросы по рекламе @k_shredinger
Download Telegram
🚀 Data Engineer за 2 месяца

Не кликбейт. Мы реально сделали супер интенсив за 2 месяца в DE.
Это буквально копия вашей будущей работы.

Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого.

Так вот именно эту идею мы и вложили в Bootcamp!
За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме.

Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику.
Чтобы вы пришли на работу и сказали: "Мы это уже делали"

Что внутри буткемпа

Вы получаете доступ к инфраструктуре, максимально приближенной к продакшену:
• Postgres
• ClickHouse (распределённый, 2 шарда)
• GreenPlum (8 сегментов)
• Spark
• S3
• AirFlow
• Kafka
• DBT
• GitHub
• Jira
• Confluence

Как часто занятия?
• 3 раза в неделю (Живые лекции, на которых можно задать вопрос и сразу получить ответ)
• Вечером (после работы) в 20:00 по МСК
• Все лекции записываются и доступны навсегда

Поддержка и практика
• Чат с ответами почти 24/7
• Можно задать любой вопрос
• Можно попросить задачу сложнее
• Разбор ваших решений на созвонах

Подготовка к работе
• Mock собеседования
• Прожарка резюме
• Разбор реальных кейсов

После буткемпа все выпускники приглашаются в чат, где мы делимся ситуацией на рынке, вопросами с собесов, а также поддерживаем друг друга!

Кстати, мы добавили классную фишку — доступ к лекциям из новых потоков. Даже после окончания буткемпа вы остаетесь в обучении и можете следить за обновлениями.

А если не успеваете?
У нас есть InfraSharing. Это тот же самый буткемп, но без лекций. Просто готовая инфраструктура. Даже если не успеваете сделать все задачи в Bootcamp, можете продолжить в InfraSharing. Тем более для всех выпускников мы даем огромную скидку!

Ближайший старт потока — 1 июля
❗️Бот немного тупит, но мы видим ваши сообщения! Если что, напишем в ЛС каждому!

🔴 Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍9👏4😁2
Айсберг на буткемпе!

Поскольку в Буткемпе теперь есть и Iceberg, то по нему есть и лекции. Собственно, несколько дней назад я ее и читал впервые. Это самый свежий опыт. В компаниях, как я вижу, только задумываются или уже переходят на Iceberg, поэтому, если сейчас разобраться с базовыми принципами, потом будет намного проще втягиваться в работу.

Как именно мы рассказываем об инструменте на буткемпе?

Сначала рисуем в Miro очень доступные простые картинки, буквально показываем, что будет внутри папки-файла. Потом переходим в VS Code и начинаем по шагам выполнять основные запросы и команды. Параллельно можно задавать вопросы. Короче, мы не уходим с лекции, пока не ответим на все вопросы. Всё в реальном времени. Можете считать, что вам друг быстро и по делу рассказывает тему перед сдачей зачёта. НИКАКОЙ ВОДЫ.

Я в своё время хотел сделать лекции такими, чтобы условно даже моя бабушка смогла разобраться и начала строить пайплайны на удалёнке за 10 тысяч долларов.

Кстати, на лекции, помимо Iceberg, удалось ещё затронуть Trino. Потому что у нас это тоже есть, и читать таблицы Iceberg через Trino — это EASY. Просто заходишь в DBeaver, пишешь запрос и получаешь сразу результат. Не нужно никаких танцев с бубном, как в Spark.

При этом лекция про Iceberg вышла где-то на 2 часа. Всегда можно будет потом вернуться и пересмотреть. Плюс есть файл, где можно создать свои таблички, схемы и буквально примеры использования этой технологии.

Даже если вы не работали коммерчески с Iceberg, но разобрались на том уровне, который мы даём на буткемпе, этого будет достаточно, чтобы обменяться парой фраз на собеседовании. Всё же лучше, если у вас есть эрудиция, нежели её нет. Всё и сразу знать невозможно

Кстати, у нас старт потока BootCamp уже 1 июля!
Переходите в бота и нажимайте кнопку Хочу на Bootcamp

➡️ @bootcampych_bot
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13👏3😁3🔥1
🟠ВОТ ЧТО БЫЛО И ВОТ ЧТО СТАЛО🟠

На первом скрине — наш Буткемп год назад. На втором — то, во что он превратился сегодня.

Если честно, когда мы с Володей только начинали, всё было намного проще. Тогда мы работали со Spark, ClickHouse и Airflow, показывали ребятам реальные процессы из своей работы и вели всех через один небольшой и простой пет-проект. Для этого двух месяцев было более чем достаточно.

Мы сами ещё многого не знали. Учились, набивали шишки, меняли работу, попадали на новые проекты и каждый раз приносили этот опыт обратно в Буткемп.

За этот год программа сильно изменилась.

Появились:
🌟 GreenPlum
🌟 DBT
🌟 Trino
🌟 Iceberg + S3
🌟 дополнительные проекты
🌟 больше практики
🌟 больше домашних заданий

И это ещё не конец! Уже сейчас мы активно работаем со стримингом и практически уверены, что в будущих потоках появятся Kafka, Flink, NiFi и другие инструменты потоковой обработки данных.😈

Но вместе с этим появилась и другая проблема.🤢

Когда-то мы говорили, что для комфортного обучения понадобится 7–10 часов в неделю. Сегодня реальность такая, что многим требуется уже 10–15 часов.😠

Материала стало настолько много, что два месяца перестали быть идеальным форматом. Нам даже пришлось сократить количество мок-собеседований, чтобы успевать проходить всю техническую программу.

Поэтому после завершения 7 потока(июль-август) мы планируем взять паузу и подумать над дальнейшим развитием проекта.

🤔Возможно, Буткемп станет длиннее.
🤔Возможно, обучение инструментам и подготовка к собеседованиям станут отдельными продуктами.
🤔Возможно, появятся совершенно новые форматы.
😭А возможно его больше вообще не будет!

Но одно можем сказать точно.

За этот год Буткемп перестал быть просто набором лекций. Сегодня это уже полноценный путь от SQL и Python до современного Data Engineering стека.

И всё это благодаря Вам — людям, которые доверили нам своё обучение и свое будущее ❤️


Попасть на 7 поток можно здесь: @bootcampych_bot
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2911👍11
Как Дата Аналитики работают с Дата Инженерами?

Аналитик пишет запрос для бизнеса здесь и сейчас. Дата Инженер разбирает этот запрос и оптимизирует. А почему сразу не писать готовый запрос? Тогда это получается какой-то Аналитикс Инженер?

ДА скрестили с ДЕ?

Помню на собесе в Газпромбанк мне сказали, что у них аналитики сразу пишут на спарк апи. Типа не даже ничего в коде делать.. ну однако может это просто ДЕшники были, которые начали общаться с бизнесом и просто научились считать метрики?:)

В видосе, кстати, одна из болей ДЕшников

https://youtube.com/shorts/zutxBoD0AWI?is=ORhcn8jMcTYxaqT1
👍74🔥2
ДЕ — это ИЗИ!

коммент на Youtube Shorts
ссылка на видос

Вообще, я думаю, что если ты свитчер и меняешь просто специализацию в IT, то ДЕ, вероятно, не самое сложное направление. А вот если вкатываться с нуля, то есть проблема огромного количества инструментов. Вот в этом скорее сложность. Как расставить приоритеты, что надо знать, а на что можно пока забить.

Отчасти поэтому я в свое время собирал Roadmap

Че думаете сами? СОГЛАШАЕМСЯ? Или просто IT это НЕ для ДЛЯ ТУПЫХ? :)
😁20👍74🤯3
🔥ЗАПУСКАЕМ НОВЫЙ ПРОЕКТ🔥

Друзья, команда Roadmappers.ru официально запускает новый продукт "Буткемпик"!

Мы запускаем первый поток, где за 18 занятий вы не просто изучите SQL и Python, а пройдёте путь от базовых запросов до решения настоящих рабочих кейсов Инженера Данных, Аналитика Данных и т.д.

📅 Продолжительность программы — 2 месяца.

Формат обучения:

Формат обуения будет ОДИН в ОДИН, как на Буткемпе, а это значнит:
🔥Живые лекци. Не заканчиваем лекцию пока не закроем все вопросы!
🔥Чуть ли не круглосуточная поддержка с живым чатом
🔥Домашние задания и конечная проектная работа
🔥Доступная инфраструктура, нужен только браузер
🔥Обучение проходит на реальных кейсах
🔥Каждая лекция записывается, так что если даже пропустил занятие не парься

SQL-блок:

1. Первый SELECT и фильтрация → SELECT, типы данных, простые функции, WHERE, AND/OR, IN, BETWEEN, LIKE, ILIKE, CAST.
2. Трёхсостоятельная логика, NULL, CASE, сортировка, уникальность → NULL, NULLIF, COALESCE, CASE, ORDER BY, DISTINCT. NULL, ломающий NOT IN.
3. Соединение таблиц → INNER JOIN, LEFT/RIGHT JOIN, FULL JOIN, CROSS JOIN.
4. Агрегация данных → GROUP BY, агрегатные функции, HAVING, типы (DATE, TIMESTAMP, INTERVAL), функции (date_trunc, extract)
5. DDL (структура базы) + DML (манипуляция данными) → CREATE, ALTER, DROP, ограничения. INSERT, UPDATE, DELETE, UPSERT, кейсы загрузки данных.
6. Операции над выборками → UNION, UNION ALL, EXCEPT, INTERSECT, подзапросы, CTE.
7. Оконные функции → ранжирование, агрегации, смещения (LAG/LEAD).
8. Сложные аналитические кейсы → «последнее действие пользователя», «перевод хранения срез → интервалы», «скользящее окно»,«сравнение таблиц до и после преобразований».
9. Оптимизация запросов → порядок выполнения, EXPLAIN, планы запросов, виды JOIN, VACUUM, ANALYZE. Индексы и партиции → B-tree, кластерные индексы, партиционирование.

Python-блок:

1. Почему именно Python и наша первая строчка кода → пеhвый print, переменные, типы данных, операции над данными, условия if/elif/else, ввод данных input()
2. Структуры данных → списки, словари, кортежи, множества. (list, dict, tuple, set). Основные их методы.
3. Циклы и обработка данных → for для различных структур данных, while и бесконечные циклы.
4. Функции и структурирование кода → функции def, генераторы, передача аргументов (*args, **kwargs)
5. Работа с файлами → как считывать файлы, как их обрабатывать. Pandas – наше всё! Ехууууу.... Строим первый ETL-процесс.
6. Ошибки, исключения и логирование → try/except/finaly наше всё! Правильное логирование ошибок, залог успешного разработчика!
7. Работа с API и загрузка данных в БД → Библиотека requests, ну и познакомимся с загрузкой данных через psycopg и pandas
8. Рабочий кейс → по выгрузке, трансформации и загрузки данных. Посмотрим на реальную рабочую задачу Инженера Данных/Аналитика Данных.

Стоимость.

Вся эта красота стоит всего 12_000 рублей за весь поток. Также доступны беспроцентные рассрочки на 2 месяца.

Старт 1го июля!!

Подытожим, за эти деньги вы получаете:
18 полноценных занятий с преподавателями.
Проверку домашних заданий.
Поддержку в чате.
Итоговый проект.
Практические навыки, которые можно применять в работе уже во время обучения.

И всё это в десятки раз дешевле, чем индивидуальная работа с ментором или с репетитором. Всего 650 рублей за занятие.

🚀 Если давно хотели начать путь в IT, подтянуть SQL и Python или сделать первый шаг в сторону Data Engineering и Data Analytics — сейчас самое время.

Старт 1го июля!!. Приобретай и залетай на первый поток через бота @bootcampych_bot и выбирай "Хочу на БуткепИК"!

P.S.
Первый поток будет обкатываемый(где-то материал добавим, где то уберём), поэтому стоимость составляет всего 12
_000 ₽. В следующих потоках цена может быть пересмотрена. Кол-во мест ограничено!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9😁76👍5
▶️ Пет Проект для Дата Инженера

https://youtu.be/pC9AvMwv10Y
https://youtu.be/pC9AvMwv10Y
https://youtu.be/pC9AvMwv10Y

Презентация + код проекта уже доступны в нашем боте

Пиши боту /pet и он пришлет тебе материалы по пет проекту
➡️ @bootcampych_bot
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥63
Почувствовал себя одиноким

YouTube предложил видео о том, как стать ДЕ без опыта. Зашел в комментарии, а там всего один — и то от меня.
😁424👏2🤔1😱1
BootCamp Июль НАБРАН!

Друзья, мы набрали июльский поток полностью! Стартуем уже 1 июля.

Продажи на июльский поток мы АСТАНАВЛИВАЕМ!

Потому что BootCamp, как Москва, НЕРЕЗИНОВЫЙ. У нас с каждым новым потоком появляются все более свежие идеи. Теперь у нас есть ТРИ ПЕТ проекта, которые можно реализовать за время обучения. От простого к сложному. Т.е. буквально базовый делают все, а вот более сложные свзязки инструментов можно собрать добровольно.. но я рекомендую пробовать ВСЕ!

По поводу следующего потока! Он БУДЕТ! По датам сообщим в районе 10-15 июля. У нас есть мысли добавить опцию "Собираем легенду индивидуально". Это про то, чтобы переупаковать ваш опыт в релевантный и подходящий рассказ. Возможно мы сделаем буткемп длиннее и добавим дополнительные варианты оплаты в плане рассрочек. Также будет больше времени на тестирование своих пет проектов и постройку бОльшего числа пайплайнов.

Плюс я навайбкодил небольшой конструктор Пет Проектов, чисто для Дата Инженеров, чтобы можно было собрать связку под себя, под свой опыт. Потому что основная боль, которая возникает у ребят: "Много инструментов, но как все связано между собой, непонятно!"

КСТАТИ
Если вы хотите на BootCamp, но пока еще не знаете python и sql, то приглашаем на БуткемпИК!
Это для тех, кто совсем сейчас в нулевой точке и хочет спокойно со всеми разобраться в программировании. Старт 1 июля.

Записаться, оплатить и попасть сразу в чат можно тут
➡️ @bootcampych_bot
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍1👏1😱1
Только 2% людей на планете знают об этом!

Если вы знаете об этой фишке, прошу только дополнить. Многим людям, кто с Airflow только знакомятся, эта инфа будет полезна.
О чем я?

Вот у вас есть DAG в Airflow, который запускает код по расписанию. Просто грузит данные за вчера или за прошлую неделю.
Но что если вам надо прогрузить РЕТРО данные, например за прошлый месяц или с 2026-01-10 по 2026-04-02?

Иногда это требуется, когда данные в источнике (например в Postgres) могли обновиться, а Стриминг для этой задачи излишен.
Короче, в Airflow можно добавить пару строчек и запускать ваш DAG с вашими параметрами вручную. Причем это может делать любой человек, даже без знания КОДА! Не надо идти в Jupyter Hub и запускать спарк джобу с конифгами. Любой аналитик зашел, вбил нужные даты и нажал кнопку PLAY

Понятное дело, что вы наверняка знали про это еще 15 лет назад и у вас даже сосед по лестничной клетке шарит за это и вообще тетя Люда на даче этим пользовалась во времена Петра Первого.. но дайте шанс новичкам, кто только знакомится с инструментом.

Че писать в коде?
Чтобы удобно было запускать DAG с параметрами, надо дописать параметр params
dag = DAG(
dag_id="DEMO__API_to_S3_to_CH__weather_temp_rain_pipeline",
default_args=default_args,
schedule_interval="0 10 * * *",
catchup=False,
params={
"start_date": Param(
"",
type="string",
pattern=r"^$|^\d{4}-\d{2}-\d{2}$",
description="Начальная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = ds.",
),
"end_date": Param(
"",
type="string",
pattern=r"^$|^\d{4}-\d{2}-\d{2}$",
description="Конечная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = start_date.",
),
},
description="API weather to S3 and ClickHouse pipeline",
tags=["demo", "weather", "temp", "rain", "api", "s3", "clickhouse", "pipeline"],
)


Кстати можно добавить еще и валидацию дат, чтобы нельзя было вбить случайно неправильно.
А ну еще придумал кейс. Вот представьте у вас работает витрина и там добавилось поле или чуть поменяли подсчет метрики.
Вы выкатили в прод изменения, а данные-то старые не обновлены. В этом случае можно просто запустить прям в Airflow с нужными датами и все обновиться. Ну и надо уточнить, чтобы ваш пайплайн не плодил дублей, а перезаписывал данные в хранилище. Это я так, просто уточнить.
👍29👏6😁6🤔1