#BootCampDE — ноябрь-декабрь
Очередной оффер у буткемповцев.(оффер в комментах)
________
Запись на 7 поток(Июль-Август) уже в самом разгаре!
Записывайся @bootcampych_bot
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤6👏5😁1🤔1
Большой подкаст про дата-инжиниринг и аналитику!
Обсудили, чем на практике отличаются дата-инженеры, дата-аналитики и продуктовые аналитики, какие задачи у каждой роли, какие инструменты нужно знать и почему между аналитиками и инженерами иногда возникают конфликты.
▶️ https://youtu.be/rNkFGDsvCog
▶️ https://youtu.be/rNkFGDsvCog
▶️ https://youtu.be/rNkFGDsvCog
О чем:
— зарплаты Data Engineer и Data Analyst
— SQL, Python, Airflow, Spark и другие инструменты
— собеседования, резюме и карьерный рост
— AI в Data-сфере
— обучение, курсы и переход в IT после 30+
Про деньги, вход в профессию, накрутку опыта, возраст, курсы, софт-скиллы, ответственность и реальную работу с данными.
Если думаете, куда идти — в аналитику или дата-инжиниринг — этот выпуск поможет лучше понять обе профессии изнутри.
ссылки на авторов:
Я — Дата Инженер
Инженерообязанный
Аналитический джаз
Обсудили, чем на практике отличаются дата-инженеры, дата-аналитики и продуктовые аналитики, какие задачи у каждой роли, какие инструменты нужно знать и почему между аналитиками и инженерами иногда возникают конфликты.
О чем:
— зарплаты Data Engineer и Data Analyst
— SQL, Python, Airflow, Spark и другие инструменты
— собеседования, резюме и карьерный рост
— AI в Data-сфере
— обучение, курсы и переход в IT после 30+
Про деньги, вход в профессию, накрутку опыта, возраст, курсы, софт-скиллы, ответственность и реальную работу с данными.
Если думаете, куда идти — в аналитику или дата-инжиниринг — этот выпуск поможет лучше понять обе профессии изнутри.
ссылки на авторов:
Я — Дата Инженер
Инженерообязанный
Аналитический джаз
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17👍8😁4❤2
🚀 Data Engineer за 2 месяца
Не кликбейт. Мы реально сделали супер интенсив за 2 месяца в DE.
Это буквально копия вашей будущей работы.
Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого.
Так вот именно эту идею мы и вложили в Bootcamp!
За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме.
Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику.
Чтобы вы пришли на работу и сказали: "Мы это уже делали"
Что внутри буткемпа
Вы получаете доступ к инфраструктуре, максимально приближенной к продакшену:
• Postgres
• ClickHouse (распределённый, 2 шарда)
• GreenPlum (8 сегментов)
• Spark
• S3
• AirFlow
• Kafka
• DBT
• GitHub
• Jira
• Confluence
Как часто занятия?
• 3 раза в неделю (Живые лекции, на которых можно задать вопрос и сразу получить ответ)
• Вечером (после работы) в 20:00 по МСК
• Все лекции записываются и доступны навсегда
Поддержка и практика
• Чат с ответами почти 24/7
• Можно задать любой вопрос
• Можно попросить задачу сложнее
• Разбор ваших решений на созвонах
Подготовка к работе
• Mock собеседования
• Прожарка резюме
• Разбор реальных кейсов
После буткемпа все выпускники приглашаются в чат, где мы делимся ситуацией на рынке, вопросами с собесов, а также поддерживаем друг друга!
Кстати, мы добавили классную фишку — доступ к лекциям из новых потоков. Даже после окончания буткемпа вы остаетесь в обучении и можете следить за обновлениями.
А если не успеваете?
У нас есть InfraSharing. Это тот же самый буткемп, но без лекций. Просто готовая инфраструктура. Даже если не успеваете сделать все задачи в Bootcamp, можете продолжить в InfraSharing. Тем более для всех выпускников мы даем огромную скидку!
Ближайший старт потока — 1 июля
❗️Бот немного тупит, но мы видим ваши сообщения! Если что, напишем в ЛС каждому!
🔴 Переходите в наш бот @bootcampych_bot и жми Хочу на BootCamp
Не кликбейт. Мы реально сделали супер интенсив за 2 месяца в DE.
Это буквально копия вашей будущей работы.
Представьте, что вы приходите на новое место работы, и увольняющийся коллега передаёт вам дела. У него есть две недели, чтобы показать, что и как делать. Вы буквально впитываете всё как губка, потому что потом спрашивать будет не у кого.
Так вот именно эту идею мы и вложили в Bootcamp!
За короткое время вы погружаетесь в работу инженера данных, осваиваете современный стек и получаете навыки прохождения собеседований и составления резюме.
Мы реально вычеркнули большую часть бесполезной теории. Упор исключительно на практику.
Чтобы вы пришли на работу и сказали: "Мы это уже делали"
Что внутри буткемпа
Вы получаете доступ к инфраструктуре, максимально приближенной к продакшену:
• Postgres
• ClickHouse (распределённый, 2 шарда)
• GreenPlum (8 сегментов)
• Spark
• S3
• AirFlow
• Kafka
• DBT
• GitHub
• Jira
• Confluence
Как часто занятия?
• 3 раза в неделю (Живые лекции, на которых можно задать вопрос и сразу получить ответ)
• Вечером (после работы) в 20:00 по МСК
• Все лекции записываются и доступны навсегда
Поддержка и практика
• Чат с ответами почти 24/7
• Можно задать любой вопрос
• Можно попросить задачу сложнее
• Разбор ваших решений на созвонах
Подготовка к работе
• Mock собеседования
• Прожарка резюме
• Разбор реальных кейсов
После буткемпа все выпускники приглашаются в чат, где мы делимся ситуацией на рынке, вопросами с собесов, а также поддерживаем друг друга!
Кстати, мы добавили классную фишку — доступ к лекциям из новых потоков. Даже после окончания буткемпа вы остаетесь в обучении и можете следить за обновлениями.
А если не успеваете?
У нас есть InfraSharing. Это тот же самый буткемп, но без лекций. Просто готовая инфраструктура. Даже если не успеваете сделать все задачи в Bootcamp, можете продолжить в InfraSharing. Тем более для всех выпускников мы даем огромную скидку!
Ближайший старт потока — 1 июля
❗️Бот немного тупит, но мы видим ваши сообщения! Если что, напишем в ЛС каждому!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍9👏4😁2
Айсберг на буткемпе!
Поскольку в Буткемпе теперь есть и Iceberg, то по нему есть и лекции. Собственно, несколько дней назад я ее и читал впервые. Это самый свежий опыт. В компаниях, как я вижу, только задумываются или уже переходят на Iceberg, поэтому, если сейчас разобраться с базовыми принципами, потом будет намного проще втягиваться в работу.
Как именно мы рассказываем об инструменте на буткемпе?
Сначала рисуем в Miro очень доступные простые картинки, буквально показываем, что будет внутри папки-файла. Потом переходим в VS Code и начинаем по шагам выполнять основные запросы и команды. Параллельно можно задавать вопросы. Короче, мы не уходим с лекции, пока не ответим на все вопросы. Всё в реальном времени. Можете считать, что вам друг быстро и по делу рассказывает тему перед сдачей зачёта. НИКАКОЙ ВОДЫ.
Я в своё время хотел сделать лекции такими, чтобы условно даже моя бабушка смогла разобраться и начала строить пайплайны на удалёнке за 10 тысяч долларов.
Кстати, на лекции, помимо Iceberg, удалось ещё затронуть Trino. Потому что у нас это тоже есть, и читать таблицы Iceberg через Trino — это EASY. Просто заходишь в DBeaver, пишешь запрос и получаешь сразу результат. Не нужно никаких танцев с бубном, как в Spark.
При этом лекция про Iceberg вышла где-то на 2 часа. Всегда можно будет потом вернуться и пересмотреть. Плюс есть файл, где можно создать свои таблички, схемы и буквально примеры использования этой технологии.
Даже если вы не работали коммерчески с Iceberg, но разобрались на том уровне, который мы даём на буткемпе, этого будет достаточно, чтобы обменяться парой фраз на собеседовании. Всё же лучше, если у вас есть эрудиция, нежели её нет. Всё и сразу знать невозможно
Кстати, у нас старт потока BootCamp уже 1 июля!
Переходите в бота и нажимайте кнопку Хочу на Bootcamp
➡️ @bootcampych_bot
Поскольку в Буткемпе теперь есть и Iceberg, то по нему есть и лекции. Собственно, несколько дней назад я ее и читал впервые. Это самый свежий опыт. В компаниях, как я вижу, только задумываются или уже переходят на Iceberg, поэтому, если сейчас разобраться с базовыми принципами, потом будет намного проще втягиваться в работу.
Как именно мы рассказываем об инструменте на буткемпе?
Сначала рисуем в Miro очень доступные простые картинки, буквально показываем, что будет внутри папки-файла. Потом переходим в VS Code и начинаем по шагам выполнять основные запросы и команды. Параллельно можно задавать вопросы. Короче, мы не уходим с лекции, пока не ответим на все вопросы. Всё в реальном времени. Можете считать, что вам друг быстро и по делу рассказывает тему перед сдачей зачёта. НИКАКОЙ ВОДЫ.
Я в своё время хотел сделать лекции такими, чтобы условно даже моя бабушка смогла разобраться и начала строить пайплайны на удалёнке за 10 тысяч долларов.
Кстати, на лекции, помимо Iceberg, удалось ещё затронуть Trino. Потому что у нас это тоже есть, и читать таблицы Iceberg через Trino — это EASY. Просто заходишь в DBeaver, пишешь запрос и получаешь сразу результат. Не нужно никаких танцев с бубном, как в Spark.
При этом лекция про Iceberg вышла где-то на 2 часа. Всегда можно будет потом вернуться и пересмотреть. Плюс есть файл, где можно создать свои таблички, схемы и буквально примеры использования этой технологии.
Даже если вы не работали коммерчески с Iceberg, но разобрались на том уровне, который мы даём на буткемпе, этого будет достаточно, чтобы обменяться парой фраз на собеседовании. Всё же лучше, если у вас есть эрудиция, нежели её нет. Всё и сразу знать невозможно
Кстати, у нас старт потока BootCamp уже 1 июля!
Переходите в бота и нажимайте кнопку Хочу на Bootcamp
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13👏3😁3🔥1
На первом скрине — наш Буткемп год назад. На втором — то, во что он превратился сегодня.
Если честно, когда мы с Володей только начинали, всё было намного проще. Тогда мы работали со Spark, ClickHouse и Airflow, показывали ребятам реальные процессы из своей работы и вели всех через один небольшой и простой пет-проект. Для этого двух месяцев было более чем достаточно.
Мы сами ещё многого не знали. Учились, набивали шишки, меняли работу, попадали на новые проекты и каждый раз приносили этот опыт обратно в Буткемп.
За этот год программа сильно изменилась.
Появились:
И это ещё не конец! Уже сейчас мы активно работаем со стримингом и практически уверены, что в будущих потоках появятся Kafka, Flink, NiFi и другие инструменты потоковой обработки данных.
Но вместе с этим появилась и другая проблема.
Когда-то мы говорили, что для комфортного обучения понадобится 7–10 часов в неделю. Сегодня реальность такая, что многим требуется уже 10–15 часов.
Материала стало настолько много, что два месяца перестали быть идеальным форматом. Нам даже пришлось сократить количество мок-собеседований, чтобы успевать проходить всю техническую программу.
Поэтому после завершения 7 потока(июль-август) мы планируем взять паузу и подумать над дальнейшим развитием проекта.
Но одно можем сказать точно.
За этот год Буткемп перестал быть просто набором лекций. Сегодня это уже полноценный путь от SQL и Python до современного Data Engineering стека.
И всё это благодаря Вам — людям, которые доверили нам своё обучение и свое будущее ❤️
Попасть на 7 поток можно здесь: @bootcampych_bot
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥29❤11👍11
Как Дата Аналитики работают с Дата Инженерами?
Аналитик пишет запрос для бизнеса здесь и сейчас. Дата Инженер разбирает этот запрос и оптимизирует. А почему сразу не писать готовый запрос? Тогда это получается какой-то Аналитикс Инженер?
ДА скрестили с ДЕ?
Помню на собесе в Газпромбанк мне сказали, что у них аналитики сразу пишут на спарк апи. Типа не даже ничего в коде делать.. ну однако может это просто ДЕшники были, которые начали общаться с бизнесом и просто научились считать метрики?:)
В видосе, кстати, одна из болей ДЕшников
https://youtube.com/shorts/zutxBoD0AWI?is=ORhcn8jMcTYxaqT1
Аналитик пишет запрос для бизнеса здесь и сейчас. Дата Инженер разбирает этот запрос и оптимизирует. А почему сразу не писать готовый запрос? Тогда это получается какой-то Аналитикс Инженер?
ДА скрестили с ДЕ?
Помню на собесе в Газпромбанк мне сказали, что у них аналитики сразу пишут на спарк апи. Типа не даже ничего в коде делать.. ну однако может это просто ДЕшники были, которые начали общаться с бизнесом и просто научились считать метрики?:)
В видосе, кстати, одна из болей ДЕшников
https://youtube.com/shorts/zutxBoD0AWI?is=ORhcn8jMcTYxaqT1
YouTube
Как Дата Инженеры работают с Дата Аналитиками?
ссылки на авторов:Я — Дата Инженер: https://t.me/halltape_dataИнж...
👍7❤4🔥2
ДЕ — это ИЗИ!
коммент на Youtube Shorts
ссылка на видос
Вообще, я думаю, что если ты свитчер и меняешь просто специализацию в IT, то ДЕ, вероятно, не самое сложное направление. А вот если вкатываться с нуля, то есть проблема огромного количества инструментов. Вот в этом скорее сложность. Как расставить приоритеты, что надо знать, а на что можно пока забить.
Отчасти поэтому я в свое время собирал Roadmap
Че думаете сами? СОГЛАШАЕМСЯ? Или просто IT это НЕ для ДЛЯ ТУПЫХ? :)
коммент на Youtube Shorts
ссылка на видос
Вообще, я думаю, что если ты свитчер и меняешь просто специализацию в IT, то ДЕ, вероятно, не самое сложное направление. А вот если вкатываться с нуля, то есть проблема огромного количества инструментов. Вот в этом скорее сложность. Как расставить приоритеты, что надо знать, а на что можно пока забить.
Отчасти поэтому я в свое время собирал Roadmap
Че думаете сами? СОГЛАШАЕМСЯ? Или просто IT это НЕ для ДЛЯ ТУПЫХ? :)
😁20👍7❤4🤯3
Друзья, команда Roadmappers.ru официально запускает новый продукт "Буткемпик"!
Мы запускаем первый поток, где за 18 занятий вы не просто изучите SQL и Python, а пройдёте путь от базовых запросов до решения настоящих рабочих кейсов Инженера Данных, Аналитика Данных и т.д.
Формат обучения:
Формат обуения будет ОДИН в ОДИН, как на Буткемпе, а это значнит:
SQL-блок:
1. Первый SELECT и фильтрация → SELECT, типы данных, простые функции, WHERE, AND/OR, IN, BETWEEN, LIKE, ILIKE, CAST.
2. Трёхсостоятельная логика, NULL, CASE, сортировка, уникальность → NULL, NULLIF, COALESCE, CASE, ORDER BY, DISTINCT. NULL, ломающий NOT IN.
3. Соединение таблиц → INNER JOIN, LEFT/RIGHT JOIN, FULL JOIN, CROSS JOIN.
4. Агрегация данных → GROUP BY, агрегатные функции, HAVING, типы (DATE, TIMESTAMP, INTERVAL), функции (date_trunc, extract)
5. DDL (структура базы) + DML (манипуляция данными) → CREATE, ALTER, DROP, ограничения. INSERT, UPDATE, DELETE, UPSERT, кейсы загрузки данных.
6. Операции над выборками → UNION, UNION ALL, EXCEPT, INTERSECT, подзапросы, CTE.
7. Оконные функции → ранжирование, агрегации, смещения (LAG/LEAD).
8. Сложные аналитические кейсы → «последнее действие пользователя», «перевод хранения срез → интервалы», «скользящее окно»,«сравнение таблиц до и после преобразований».
9. Оптимизация запросов → порядок выполнения, EXPLAIN, планы запросов, виды JOIN, VACUUM, ANALYZE. Индексы и партиции → B-tree, кластерные индексы, партиционирование.
Python-блок:
1. Почему именно Python и наша первая строчка кода → пеhвый print, переменные, типы данных, операции над данными, условия if/elif/else, ввод данных input()
2. Структуры данных → списки, словари, кортежи, множества. (list, dict, tuple, set). Основные их методы.
3. Циклы и обработка данных → for для различных структур данных, while и бесконечные циклы.
4. Функции и структурирование кода → функции def, генераторы, передача аргументов (*args, **kwargs)
5. Работа с файлами → как считывать файлы, как их обрабатывать. Pandas – наше всё! Ехууууу.... Строим первый ETL-процесс.
6. Ошибки, исключения и логирование → try/except/finaly наше всё! Правильное логирование ошибок, залог успешного разработчика!
7. Работа с API и загрузка данных в БД → Библиотека requests, ну и познакомимся с загрузкой данных через psycopg и pandas
8. Рабочий кейс → по выгрузке, трансформации и загрузки данных. Посмотрим на реальную рабочую задачу Инженера Данных/Аналитика Данных.
Стоимость.
Вся эта красота стоит всего 12_000 рублей за весь поток. Также доступны беспроцентные рассрочки на 2 месяца.
Старт 1го июля!!
Подытожим, за эти деньги вы получаете:
✅ 18 полноценных занятий с преподавателями.
✅ Проверку домашних заданий.
✅ Поддержку в чате.
✅ Итоговый проект.
✅ Практические навыки, которые можно применять в работе уже во время обучения.
И всё это в десятки раз дешевле, чем индивидуальная работа с ментором или с репетитором. Всего 650 рублей за занятие.
🚀 Если давно хотели начать путь в IT, подтянуть SQL и Python или сделать первый шаг в сторону Data Engineering и Data Analytics — сейчас самое время.
Старт 1го июля!!. Приобретай и залетай на первый поток через бота @bootcampych_bot и выбирай "Хочу на БуткепИК"!
P.S.
Первый поток будет обкатываемый(где-то материал добавим, где то уберём), поэтому стоимость составляет всего 12_000 ₽. В следующих потоках цена может быть пересмотрена. Кол-во мест ограничено!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9😁7❤6👍5
https://youtu.be/pC9AvMwv10Y
https://youtu.be/pC9AvMwv10Y
https://youtu.be/pC9AvMwv10Y
Презентация + код проекта уже доступны в нашем боте
Пиши боту /pet и он пришлет тебе материалы по пет проекту
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥6❤3
BootCamp Июль НАБРАН!
Друзья, мы набрали июльский поток полностью! Стартуем уже 1 июля.
Продажи на июльский поток мы АСТАНАВЛИВАЕМ!
Потому что BootCamp, как Москва, НЕРЕЗИНОВЫЙ. У нас с каждым новым потоком появляются все более свежие идеи. Теперь у нас есть ТРИ ПЕТ проекта, которые можно реализовать за время обучения. От простого к сложному. Т.е. буквально базовый делают все, а вот более сложные свзязки инструментов можно собрать добровольно.. но я рекомендую пробовать ВСЕ!
По поводу следующего потока! Он БУДЕТ! По датам сообщим в районе 10-15 июля. У нас есть мысли добавить опцию "Собираем легенду индивидуально". Это про то, чтобы переупаковать ваш опыт в релевантный и подходящий рассказ. Возможно мы сделаем буткемп длиннее и добавим дополнительные варианты оплаты в плане рассрочек. Также будет больше времени на тестирование своих пет проектов и постройку бОльшего числа пайплайнов.
Плюс я навайбкодил небольшой конструктор Пет Проектов, чисто для Дата Инженеров, чтобы можно было собрать связку под себя, под свой опыт. Потому что основная боль, которая возникает у ребят: "Много инструментов, но как все связано между собой, непонятно!"
КСТАТИ
Если вы хотите на BootCamp, но пока еще не знаете python и sql, то приглашаем на БуткемпИК!
Это для тех, кто совсем сейчас в нулевой точке и хочет спокойно со всеми разобраться в программировании. Старт 1 июля.
Записаться, оплатить и попасть сразу в чат можно тут
➡️ @bootcampych_bot
Друзья, мы набрали июльский поток полностью! Стартуем уже 1 июля.
Продажи на июльский поток мы АСТАНАВЛИВАЕМ!
Потому что BootCamp, как Москва, НЕРЕЗИНОВЫЙ. У нас с каждым новым потоком появляются все более свежие идеи. Теперь у нас есть ТРИ ПЕТ проекта, которые можно реализовать за время обучения. От простого к сложному. Т.е. буквально базовый делают все, а вот более сложные свзязки инструментов можно собрать добровольно.. но я рекомендую пробовать ВСЕ!
По поводу следующего потока! Он БУДЕТ! По датам сообщим в районе 10-15 июля. У нас есть мысли добавить опцию "Собираем легенду индивидуально". Это про то, чтобы переупаковать ваш опыт в релевантный и подходящий рассказ. Возможно мы сделаем буткемп длиннее и добавим дополнительные варианты оплаты в плане рассрочек. Также будет больше времени на тестирование своих пет проектов и постройку бОльшего числа пайплайнов.
Плюс я навайбкодил небольшой конструктор Пет Проектов, чисто для Дата Инженеров, чтобы можно было собрать связку под себя, под свой опыт. Потому что основная боль, которая возникает у ребят: "Много инструментов, но как все связано между собой, непонятно!"
КСТАТИ
Если вы хотите на BootCamp, но пока еще не знаете python и sql, то приглашаем на БуткемпИК!
Это для тех, кто совсем сейчас в нулевой точке и хочет спокойно со всеми разобраться в программировании. Старт 1 июля.
Записаться, оплатить и попасть сразу в чат можно тут
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍1👏1😱1
Только 2% людей на планете знают об этом!
Если вы знаете об этой фишке, прошу только дополнить. Многим людям, кто с Airflow только знакомятся, эта инфа будет полезна.
О чем я?
Вот у вас есть DAG в Airflow, который запускает код по расписанию. Просто грузит данные за вчера или за прошлую неделю.
Но что если вам надо прогрузить РЕТРО данные, например за прошлый месяц или с 2026-01-10 по 2026-04-02?
Иногда это требуется, когда данные в источнике (например в Postgres) могли обновиться, а Стриминг для этой задачи излишен.
Короче, в Airflow можно добавить пару строчек и запускать ваш DAG с вашими параметрами вручную. Причем это может делать любой человек, даже без знания КОДА! Не надо идти в Jupyter Hub и запускать спарк джобу с конифгами. Любой аналитик зашел, вбил нужные даты и нажал кнопку PLAY
Понятное дело, что вы наверняка знали про это еще 15 лет назад и у вас даже сосед по лестничной клетке шарит за это и вообще тетя Люда на даче этим пользовалась во времена Петра Первого.. но дайте шанс новичкам, кто только знакомится с инструментом.
Че писать в коде?
Чтобы удобно было запускать DAG с параметрами, надо дописать параметр params
Кстати можно добавить еще и валидацию дат, чтобы нельзя было вбить случайно неправильно.
А ну еще придумал кейс. Вот представьте у вас работает витрина и там добавилось поле или чуть поменяли подсчет метрики.
Вы выкатили в прод изменения, а данные-то старые не обновлены. В этом случае можно просто запустить прям в Airflow с нужными датами и все обновиться. Ну и надо уточнить, чтобы ваш пайплайн не плодил дублей, а перезаписывал данные в хранилище. Это я так, просто уточнить.
Если вы знаете об этой фишке, прошу только дополнить. Многим людям, кто с Airflow только знакомятся, эта инфа будет полезна.
О чем я?
Вот у вас есть DAG в Airflow, который запускает код по расписанию. Просто грузит данные за вчера или за прошлую неделю.
Но что если вам надо прогрузить РЕТРО данные, например за прошлый месяц или с 2026-01-10 по 2026-04-02?
Иногда это требуется, когда данные в источнике (например в Postgres) могли обновиться, а Стриминг для этой задачи излишен.
Короче, в Airflow можно добавить пару строчек и запускать ваш DAG с вашими параметрами вручную. Причем это может делать любой человек, даже без знания КОДА! Не надо идти в Jupyter Hub и запускать спарк джобу с конифгами. Любой аналитик зашел, вбил нужные даты и нажал кнопку PLAY
Понятное дело, что вы наверняка знали про это еще 15 лет назад и у вас даже сосед по лестничной клетке шарит за это и вообще тетя Люда на даче этим пользовалась во времена Петра Первого.. но дайте шанс новичкам, кто только знакомится с инструментом.
Че писать в коде?
Чтобы удобно было запускать DAG с параметрами, надо дописать параметр params
dag = DAG(
dag_id="DEMO__API_to_S3_to_CH__weather_temp_rain_pipeline",
default_args=default_args,
schedule_interval="0 10 * * *",
catchup=False,
params={
"start_date": Param(
"",
type="string",
pattern=r"^$|^\d{4}-\d{2}-\d{2}$",
description="Начальная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = ds.",
),
"end_date": Param(
"",
type="string",
pattern=r"^$|^\d{4}-\d{2}-\d{2}$",
description="Конечная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = start_date.",
),
},
description="API weather to S3 and ClickHouse pipeline",
tags=["demo", "weather", "temp", "rain", "api", "s3", "clickhouse", "pipeline"],
)
Кстати можно добавить еще и валидацию дат, чтобы нельзя было вбить случайно неправильно.
А ну еще придумал кейс. Вот представьте у вас работает витрина и там добавилось поле или чуть поменяли подсчет метрики.
Вы выкатили в прод изменения, а данные-то старые не обновлены. В этом случае можно просто запустить прям в Airflow с нужными датами и все обновиться. Ну и надо уточнить, чтобы ваш пайплайн не плодил дублей, а перезаписывал данные в хранилище. Это я так, просто уточнить.
👍29👏6😁6🤔1