Обожаю автоматизировать рутину 🤖

Сделал бота для регистрации новых участников курса. Раньше приходилось заходить на сайт и вручную заполнять форму - создать аккаунт, сгенерировать пароль, собрать сообщение. Теперь делаю всё прямо из Telegram: пишу боту почту и сумму оплаты, а он сам:

- отправляет данные на сервер
- запускает скрипт регистрации
- возвращает мне готовые данные для входа участника

Меньше рутины - больше времени на контент курса.

Это то, чему учу на курсе: автоматизация, скрипты, работа с сервером. Сам живу по этим принципам 🙂

#backstage

«SQL я знаю» - думает почти каждый новичок. SELECT, JOIN, GROUP BY - база освоена.

Но для дата-инженера это только начало. На реальной работе с большими данными важнее другое: партиционирование, шардирование, колоночное хранение, коллокация данных. Это то, чего обычно не показывают в курсах "SQL с нуля", а на DE-вакансиях спрашивают.

В курсе я собрал карту навыков, где видно эту разницу - что нужно знать именно как дата-инженеру, а не просто аналитику. По SQL, и по всему остальному стеку: ClickHouse, dbt, Airflow, DWH, ETL, Spark.

Вот кусок по SQL 👆 (скрин)

Карта доступна участникам курса - @data_human
Вопросы: @storm_de

Анонс модуля

Представь: ты DE в нейротех-стартапе, который делает девайс против микросна за рулём и на опасных производствах.

Когда человек проваливается в дремоту, он закрывает глаза - и в мозге нарастает характерная волна. Устройство должно поймать этот момент и разбудить, пока не случился микросон.

Скоро новый модуль Data Brain: Data Engineer и нейроинтерфейсы 🧠 - ты анализируешь реальные данные мозга и учишься отлавливать момент закрытия глаз.

Область непростая, но топовая.
Про стек расскажу позже.

Модуль будет после Трекера позиции МКС. Скоро доступен участникам курса.

#announce

Лучшего примера для демонстрации Kafka не найти.

🧠 Модуль Data Brain: разгоняемся

Существуют реальные устройства, которые в реальном времени считывают сигналы мозга и отправляют их на сервер. Для работы с таким динамичным кейсом идеально подходит технология потоковых данных - Apache Kafka.

Определил финальный стек модуля:
- Сбор данных: настраиваем прием сигналов с нейроинтерфейса в режиме real-time.
- Пайплайн: ловим этот поток через Kafka, надежно сохраняем в ClickHouse и собираем наглядную витрину в Metabase.

По-моему, звучит довольно вкусно.

🎬 Скоро во всех кинотеатрах страны!

Представь, ты - junior DE в нейротех-стартапе Sign System. Продукт DataVision - носимый датчик, который ловит момент, когда человек начинает засыпать, и будит его до микросна.

Клиент - Kingsroad, автоперевозчик с 12000 фур. Боль клиента: дальнобойщик засыпает за рулём, и это стоит жизней. Разбудить - не твоя задача, это делает само устройство мгновенно. Твоя задача начинается дальше: данные с каждого датчика улетают в облако, и клиент хочет знать, где риск выше, у кого чаще эпизоды и в какие смены. Это уже аналитика на потоке, и строишь её ты.

Этот кейс ты проходишь руками на этом курсе.

Стек модуля:
Приём данных: настраиваем поток сигналов с датчика в реальном времени.
Пайплайн: ловим поток через Kafka, сохраняем в ClickHouse и собираем витрину в Metabase.

13 уроков: от ознакомления с данными до продакшн-пайплайна с контролем качества и надёжностью потока. На выходе - DE-скилл.
Это один из модулей курса - есть ещё трекер МКС (Airflow, ClickHouse) и другие модули.

Курс сейчас стоит 40 долларов - платишь один раз и получаешь все модули, включая будущие.

Сайт курса: datahuman.net
Вопросы и оплата: @storm_de

Цена курса вырастет до $50 после следующих 15 продаж.

Сейчас $40 - разовая оплата за все модули курса, включая будущие. Выпустил Data Brain - самый сложный модуль курса, полноценный streaming-пайплайн на Kafka, ClickHouse и Metabase. Все, кто купил курс раньше, получили его без доплаты.
Курс растёт, цена растёт вместе с ним. Следующие 15 участников заходят по $40 - дальше $50.
datahuman.net
Готов зайти сейчас - пиши: t.me/storm_de

Осталось 7 мест по $40. Дальше $50.

@storm_de

Манящая эстетика данных

У работы с данными есть своя притягательная, даже манящая эстетика:

1. Data Engineer работает на интеллектуальные процессы: принятие решений на основе данных, подготовка данных для Machine Learning - строишь то, на чём думают компании и ИИ.

2. Навыки DE - универсальный фундамент: весь IT так или иначе занимается обработкой, хранением и передачей данных. Из DE можно перекатиться почти в любую IT-профессию.

3. Если ты разобрался в Data-тулзах и умеешь строить Data-системы - твой мозг способен освоить почти всё что угодно. +1000 к уверенности.

4. Работа с данными вырабатывает привычку опираться на факты, а не на ощущения - это переносится и на решения в жизни.

5. Данные - это способ удовлетворить наше детское стремление узнавать скрытое.

6. Данные везде, не только в ИТ системах. Нейроны в мозге передают сигналы, ДНК хранит код жизни и некоторые физики идут дальше и говорят, что и материя в своей основе - это информация.

Данные - это двигатель мира и то, из чего мир состоит. It from bit - гипотеза физика Джона Уилера: всё сущее ("it") в своей основе рождается из информации ("bit"). Вселенная в этой картине - не материя, внутри которой есть данные, а данные, из которых складывается материя.

—
На фото: инсталляция Рюдзи Икеды data.flux [LED version], 2021

#blog

@data_human

Приятный отзыв от участника курса.

Осталось 4 места по $40. Дальше $50.

@storm_de

Программу можно посмотреть на datahuman.net, есть демо модуль.

#review

Страх перед новой технологией

Заметил на себе и на участниках: страх перед новой технологией лечится не чтением документации, а одним маленьким примером, который запустился и заработал. Дальше уже не страшно.

Это методология, на которой я стараюсь строить курс.

Я понимаю, почему курсы сложно устроены и в них много теории: технологии и задачи правда непростые, хочется охватить всё, ничего не забыть, дать полную картину. Но для автора курса это ментальная ловушка, которую надо видеть и обходить.

Чек-лист для первого, ознакомительного модуля - каким он должен быть, чтобы первый контакт с технологией не пугал:

- Простые слова вместо сложных терминов
- Коротко: минимум шагов до первого результата
- Практика, а не теория
- Задача из понятного бизнес-кейса - пиццерия, такси
- Конкретная проблема, которую решает технология

Последний пункт - самый важный. Абстрактная теория ради абстрактного знания стека - это зло. Учить надо решать проблему, а технология подтягивается следом.

#backstage
#blog

Это просто новая функция телеграмм: позволяет объединить чаты в одно пространство, сообщество.
Я объединил свои чаты и каналы.

Неделя тишины на канале - отвлёкся на другой проект по данным, в сфере дошкольного образования.
Подбирал разные лого и вот смотрите что я придумал! Мне кажется, лучше не может быть! Лого одновременно:

- Детская музыкальная игрушка ксилофон.
- Столбики диаграммы (данных).
- Деревянное ограждение садика - забор.

#backstage

Вам для вдохновения, как А. Миловидов создал аналитическую БД, которая сначала создавалась для одной конкретной задачи в Яндекс Метрике, теперь распространяется на весь мир и приносит деньги.
https://www.youtube.com/watch?v=FSGhaMmqWTA

Отзыв по модулю отслеживания движения МКС.
Стек: Airflow, ClickHouse.
В модуле определяем, на основе живых данных, над какими странами движется МКС, сколько над сушей, водой и т. д.
Участница курса ещё креативно сверила, под какими созвездиями летит МКС. ✨
Радуют идейность и инициативность. 💯

#review