Анонс модуля

Люблю слушать фидбек от участников курса - для меня это полезный брейнсторминг.
Один из участников предложил составить карту навыков, которую можно использовать как справочник. А кто я такой, чтобы отказываться от хорошей идеи?

Сейчас на этапе составления: что должен знать Junior DE по Python и SQL.
Дальше будет по другим технологиям и грейдам.
Это будет отдельный справочный модуль в курсе.

#announce

Друзья, делюсь отзывом еще одного участника курса:

Привет! Удалось вчера наконец-то дойти до курса на чуть-чуть. Всё как и писали в отзывах, очень просто и понятно на реальных примерах.

Мне кажется такая подача материала это то, что реально работает на большинстве людей с разным бэкграундом, в отличии от некоторых крупных школ: там люди возможно и специалисты, но как это часто бывает, хороший специалист не всегда хороший преподаватель, я много раз расстраивался, что я тупой, пока не начал просить гугл мне объяснить.

#review

Что нового: модуль про чёрные дыры + карта навыков. И меняю цену
Накопилось, чем поделиться 👇

1. Новый модуль - Gravitational Waves. Полноценный практический проект на реальных научных данных: забираем каталог слияний чёрных дыр от обсерватории LIGO, поднимаем ClickHouse в Docker, грузим данные Python-скриптом, классифицируем слияния (чёрные дыры / нейтронные звезды), считаем SQL-аналитику и строим дашборд на Streamlit. Реальные события космического масштаба - на твоих графиках.

2. Карта навыков для Junior. Сначала замахивался на все три грейда, но решил сфокусироваться: сейчас полезнее вкладывать время в курс для новичков, чем распыляться на middle и senior. Сделал карту для Junior - что знать по Python, SQL, Git, Linux, Docker, dbt и остальному стеку, и до какой глубины. Без воды.

3. Про цену. Курс кусок за куском становится плотнее, и это повод сказать: ранний доступ сейчас стоит $30. Это стартовая цена для самых первых, и уже есть первая группа учеников.
👉 Беру ещё 12 человек по $30, дальше цена $40. Кто заходит сейчас, фиксирует доступ ко всему курсу навсегда: и к тому, что есть, и ко всему, что добавлю потом.
Вопросы или хотите глянуть, что внутри, - пишите в лс @storm_de
🙂

Напоминаю: осталось 4 места по $30, дальше цена $40.
Кто заходит сейчас - фиксирует доступ ко всему курсу навсегда.
Вопросы и оплата: @storm_de

Делюсь отзывом еще одного участника курса.
Кстати, речь как раз про новый модуль Gravitational Waves - забираем реальный научный каталог слияний чёрных дыр от обсерватории LIGO, поднимаем ClickHouse, считаем аналитику и строим дашборд. Космос на твоих графиках 🙂

И Вам спасибо) Мне понравилось. На самом деле я уже много курсов прошёл, пытаясь освоить и вкатиться в профессию. Но как правило, они очень узконаправленные. Везде пишут про ETL, ELT, но по итогу в заданиях часто делаешь крайне неполноценную задачу. А как собирать всё вместе, нужно догадаться самому) В этом модуле, пусть данных не много, но уже есть полноценный проект, с каким-то результатом.
Про Streamlit ещё не слышал, выглядит прикольно) От задания получил удовлетворение)

Со всеми отзывами можно ознакомиться по тегу #review

Про последний отзыв. Человек выделил две вещи: «есть полноценный проект» и «от задания получил удовлетворение». Это и есть цель курса.

Почему я вообще решил делать курс:
- По DE в целом мало курсов.
- Большинство оставляют после себя фрустрацию. Проходишь - и получаешь морально-эмоциональный урон.

Почему так? От курса ты ожидаешь, что попробуешь поработать так, как в реальной работе. Курс должен в смоделированной ситуации провести тебя по естественному циклу работы DE:

1. Есть проблема, которую нужно решить с помощью данных.
2. Как данные собираются.
3. Как, почему и для чего обрабатываются.
4. Как передать их потребителю - аналитику, DS-нику, менеджеру, кому угодно.
5. Какие инсайты эти данные дают.

То есть курс должен поместить тебя в рабочую ситуацию - сначала в максимально лайтовую.

А если он вместо этого занудно умничает про нормальные формы и моделирование данных - человек в недоумении (важные темы, но не прям на входе). Нет проблемы - нет понимания, зачем всё это учить.

Сухая теория не запоминается, сразу улетучивается. Поэтому мой курс даёт практику, а теорией её проясняет и закрепляет.

Какие мысли крутятся в голове у человека, который не понимает, чему его учат, и забывает материал:

«Я недостаточно умный для такого»
«Я плохо запоминаю, мне надо зубрить»

То есть человек начинает винить себя, его совесть потихоньку ест по кусочкам. Так быть не должно. После занятия человек должен получать моральное удовлетворение и позитивное подкрепление, и в голове должны крутиться совсем другие мысли:

«Да, была такая проблема - и у меня получилось её решить, используя подход X и инструмент Y»
«Ого, я ведь могу применить этот подход и для аналогичных задач»
«Я потрогал руками то, к чему боялся прикоснуться и что раньше изучал только теоретически»".

Цена курса выросла до $40

Платишь один раз - получаешь все модули навсегда: и нынешние, и будущие, без доплат.

Из свежего:

- Бесплатный демо-модуль - если хочешь посмотреть пример учебного модуля, напиши в лс.
- Карта навыков для Junior DE готова - что знать по Python, SQL, Git, Bash/Terminal, Docker, dbt, ClickHouse, PostgreSQL, Airflow/Dagster, Spark/PySpark, Data Modeling, DWH, ETL и Big Data концепциям. По каждому разделу - конкретная глубина, без воды. Не «изучи всё», а что именно и до какого уровня

Вопросы и оплата: @storm_de

Отзыв участника про новый модуль Gravitational Waves

Последнее - в точку. Это и есть суть профессии: данные могут быть про что угодно - чёрные дыры, продажи, заказы, клики - а кайф в том, как ты их собираешь, обрабатываешь и превращаешь в результат.

Модуль на реальном научном каталоге слияний чёрных дыр от обсерватории LIGO: поднимаем ClickHouse, грузим данные, классифицируем, строим дашборд.

Все отзывы по тегу #review

Обожаю автоматизировать рутину 🤖

Сделал бота для регистрации новых участников курса. Раньше приходилось заходить на сайт и вручную заполнять форму - создать аккаунт, сгенерировать пароль, собрать сообщение. Теперь делаю всё прямо из Telegram: пишу боту почту и сумму оплаты, а он сам:

- отправляет данные на сервер
- запускает скрипт регистрации
- возвращает мне готовые данные для входа участника

Меньше рутины - больше времени на контент курса.

Это то, чему учу на курсе: автоматизация, скрипты, работа с сервером. Сам живу по этим принципам 🙂

#backstage

«SQL я знаю» - думает почти каждый новичок. SELECT, JOIN, GROUP BY - база освоена.

Но для дата-инженера это только начало. На реальной работе с большими данными важнее другое: партиционирование, шардирование, колоночное хранение, коллокация данных. Это то, чего обычно не показывают в курсах "SQL с нуля", а на DE-вакансиях спрашивают.

В курсе я собрал карту навыков, где видно эту разницу - что нужно знать именно как дата-инженеру, а не просто аналитику. По SQL, и по всему остальному стеку: ClickHouse, dbt, Airflow, DWH, ETL, Spark.

Вот кусок по SQL 👆 (скрин)

Карта доступна участникам курса - @data_human
Вопросы: @storm_de

Анонс модуля

Представь: ты DE в нейротех-стартапе, который делает девайс против микросна за рулём и на опасных производствах.

Когда человек проваливается в дремоту, он закрывает глаза - и в мозге нарастает характерная волна. Устройство должно поймать этот момент и разбудить, пока не случился микросон.

Скоро новый модуль Data Brain: Data Engineer и нейроинтерфейсы 🧠 - ты анализируешь реальные данные мозга и учишься отлавливать момент закрытия глаз.

Область непростая, но топовая.
Про стек расскажу позже.

Модуль будет после Трекера позиции МКС. Скоро доступен участникам курса.

#announce

Лучшего примера для демонстрации Kafka не найти.

🧠 Модуль Data Brain: разгоняемся

Существуют реальные устройства, которые в реальном времени считывают сигналы мозга и отправляют их на сервер. Для работы с таким динамичным кейсом идеально подходит технология потоковых данных - Apache Kafka.

Определил финальный стек модуля:
- Сбор данных: настраиваем прием сигналов с нейроинтерфейса в режиме real-time.
- Пайплайн: ловим этот поток через Kafka, надежно сохраняем в ClickHouse и собираем наглядную витрину в Metabase.

По-моему, звучит довольно вкусно.

🎬 Скоро во всех кинотеатрах страны!

Представь, ты - junior DE в нейротех-стартапе Sign System. Продукт DataVision - носимый датчик, который ловит момент, когда человек начинает засыпать, и будит его до микросна.

Клиент - Kingsroad, автоперевозчик с 12000 фур. Боль клиента: дальнобойщик засыпает за рулём, и это стоит жизней. Разбудить - не твоя задача, это делает само устройство мгновенно. Твоя задача начинается дальше: данные с каждого датчика улетают в облако, и клиент хочет знать, где риск выше, у кого чаще эпизоды и в какие смены. Это уже аналитика на потоке, и строишь её ты.

Этот кейс ты проходишь руками на этом курсе.

Стек модуля:
Приём данных: настраиваем поток сигналов с датчика в реальном времени.
Пайплайн: ловим поток через Kafka, сохраняем в ClickHouse и собираем витрину в Metabase.

13 уроков: от ознакомления с данными до продакшн-пайплайна с контролем качества и надёжностью потока. На выходе - DE-скилл.
Это один из модулей курса - есть ещё трекер МКС (Airflow, ClickHouse) и другие модули.

Курс сейчас стоит 40 долларов - платишь один раз и получаешь все модули, включая будущие.

Сайт курса: datahuman.net
Вопросы и оплата: @storm_de