Data Human
309 subscribers
32 photos
7 links
datahuman.net - Курс Data Engineering для тех, кто входит в профессию с нуля.
Доступ к курсу со скидкой раннего доступа.
@storm_de - автор
#review - отзывы
#backstage - закулисье проекта
#blog - разное про data
Download Telegram
Рассматривал возможность сделать модуль с обработкой данных стартапов, акселерируемых Y Combinator. В процессе узнал, что количество сотрудников в Stripe составляет 8 000–8 500 человек по всему миру, из них 40% - инженеры и разработчики. Удивлён такому большому количеству. Казалось бы, простой продукт: подкручиваешь платёжку на сайт - и готово. Как будто простой и тонкий слой между тем, кто платит, и тем, кто получает оплату. Но сколько людей трудится... Они точно там все работают? В таком количестве как будто бы можно затеряться и ничего не делать...
Это яркий пример принципа: колоссальный труд за кулисами, чтобы был простой и понятный UX/UI.

Я сам сейчас тоже вкладываю много труда в создание курса, чтобы для учеников сложные темы "заходили" легко и без боли. Ведь за кажущейся простотой стоит невидимый объем работы. 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
👏61
Цена 50 долларов - курс в разработке, модули выходят постепенно, поэтому пока так.

Платишь один раз и получаешь все модули навсегда: и нынешние, и будущие, без доплат. Цена растёт по мере выхода новых модулей - кто зашёл раньше, платит меньше.

Оплата принимается из любой страны.

Пишите @storm_de
🔥3
Data Human pinned «Цена 50 долларов - курс в разработке, модули выходят постепенно, поэтому пока так. Платишь один раз и получаешь все модули навсегда: и нынешние, и будущие, без доплат. Цена растёт по мере выхода новых модулей - кто зашёл раньше, платит меньше. Оплата принимается…»
Я давно делаю сайт курса, подбирал дизайн, фронтенд-стек и т. д. Пусть это всё требует времени, но я всё равно этим занимаюсь, потому что хочу удобный и приятный пользовательский интерфейс. Ещё свой сайт гибкий — можно легко добавлять новый функционал. Например, я захотел сделать так, чтобы при демонстрации структуры папок проекта можно было папки раскрывать и закрывать. Теперь это работает (скрин).
🔥6
Что меня радует - люди, которые помогали мне тестировать один из модулей, вернулись и купили доступ к полному курсу. Для меня это очень приятный и важный сигнал.

#review
🔥4
Анонс модуля

Люблю слушать фидбек от участников курса - для меня это полезный брейнсторминг.
Один из участников предложил составить карту навыков, которую можно использовать как справочник. А кто я такой, чтобы отказываться от хорошей идеи?

Сейчас на этапе составления: что должен знать Junior DE по Python и SQL.
Дальше будет по другим технологиям и грейдам.
Это будет отдельный справочный модуль в курсе.

#announce
👍6
Друзья, делюсь отзывом еще одного участника курса:

Привет! Удалось вчера наконец-то дойти до курса на чуть-чуть. Всё как и писали в отзывах, очень просто и понятно на реальных примерах.


Мне кажется такая подача материала это то, что реально работает на большинстве людей с разным бэкграундом, в отличии от некоторых крупных школ: там люди возможно и специалисты, но как это часто бывает, хороший специалист не всегда хороший преподаватель, я много раз расстраивался, что я тупой, пока не начал просить гугл мне объяснить.


#review
🔥5
Случайно обнаружил, что ровно год назад начал делать сайт для курса. За год - 682 коммита. 🙂

#backstage
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👏3
Что нового: модуль про чёрные дыры + карта навыков. И меняю цену
Накопилось, чем поделиться 👇

1. Новый модуль - Gravitational Waves. Полноценный практический проект на реальных научных данных: забираем каталог слияний чёрных дыр от обсерватории LIGO, поднимаем ClickHouse в Docker, грузим данные Python-скриптом, классифицируем слияния (чёрные дыры / нейтронные звезды), считаем SQL-аналитику и строим дашборд на Streamlit. Реальные события космического масштаба - на твоих графиках.

2. Карта навыков для Junior. Сначала замахивался на все три грейда, но решил сфокусироваться: сейчас полезнее вкладывать время в курс для новичков, чем распыляться на middle и senior. Сделал карту для Junior - что знать по Python, SQL, Git, Linux, Docker, dbt и остальному стеку, и до какой глубины. Без воды.

3. Про цену. Курс кусок за куском становится плотнее, и это повод сказать: ранний доступ сейчас стоит $30. Это стартовая цена для самых первых, и уже есть первая группа учеников.
👉 Беру ещё 12 человек по $30, дальше цена $40. Кто заходит сейчас, фиксирует доступ ко всему курсу навсегда: и к тому, что есть, и ко всему, что добавлю потом.
Вопросы или хотите глянуть, что внутри, - пишите в лс @storm_de
🙂
2👍2🔥2
Напоминаю: осталось 4 места по $30, дальше цена $40.
Кто заходит сейчас - фиксирует доступ ко всему курсу навсегда.
Вопросы и оплата: @storm_de
🔥4
Делюсь отзывом еще одного участника курса.
Кстати, речь как раз про новый модуль Gravitational Waves - забираем реальный научный каталог слияний чёрных дыр от обсерватории LIGO, поднимаем ClickHouse, считаем аналитику и строим дашборд. Космос на твоих графиках 🙂

И Вам спасибо) Мне понравилось. На самом деле я уже много курсов прошёл, пытаясь освоить и вкатиться в профессию. Но как правило, они очень узконаправленные. Везде пишут про ETL, ELT, но по итогу в заданиях часто делаешь крайне неполноценную задачу. А как собирать всё вместе, нужно догадаться самому) В этом модуле, пусть данных не много, но уже есть полноценный проект, с каким-то результатом.
Про Streamlit ещё не слышал, выглядит прикольно) От задания получил удовлетворение)


Со всеми отзывами можно ознакомиться по тегу #review
🔥5
Про последний отзыв. Человек выделил две вещи: «есть полноценный проект» и «от задания получил удовлетворение». Это и есть цель курса.

Почему я вообще решил делать курс:
- По DE в целом мало курсов.
- Большинство оставляют после себя фрустрацию. Проходишь - и получаешь морально-эмоциональный урон.

Почему так? От курса ты ожидаешь, что попробуешь поработать так, как в реальной работе. Курс должен в смоделированной ситуации провести тебя по естественному циклу работы DE:

1. Есть проблема, которую нужно решить с помощью данных.
2. Как данные собираются.
3. Как, почему и для чего обрабатываются.
4. Как передать их потребителю - аналитику, DS-нику, менеджеру, кому угодно.
5. Какие инсайты эти данные дают.

То есть курс должен поместить тебя в рабочую ситуацию - сначала в максимально лайтовую.

А если он вместо этого занудно умничает про нормальные формы и моделирование данных - человек в недоумении (важные темы, но не прям на входе). Нет проблемы - нет понимания, зачем всё это учить.

Сухая теория не запоминается, сразу улетучивается. Поэтому мой курс даёт практику, а теорией её проясняет и закрепляет.

Какие мысли крутятся в голове у человека, который не понимает, чему его учат, и забывает материал:

«Я недостаточно умный для такого»
«Я плохо запоминаю, мне надо зубрить»


То есть человек начинает винить себя, его совесть потихоньку ест по кусочкам. Так быть не должно. После занятия человек должен получать моральное удовлетворение и позитивное подкрепление, и в голове должны крутиться совсем другие мысли:

«Да, была такая проблема - и у меня получилось её решить, используя подход X и инструмент Y»
«Ого, я ведь могу применить этот подход и для аналогичных задач»
«Я потрогал руками то, к чему боялся прикоснуться и что раньше изучал только теоретически»".
3🔥3
Цена курса выросла до $40

Платишь один раз - получаешь все модули навсегда: и нынешние, и будущие, без доплат.

Из свежего:

- Бесплатный демо-модуль - если хочешь посмотреть пример учебного модуля, напиши в лс.
- Карта навыков для Junior DE готова - что знать по Python, SQL, Git, Bash/Terminal, Docker, dbt, ClickHouse, PostgreSQL, Airflow/Dagster, Spark/PySpark, Data Modeling, DWH, ETL и Big Data концепциям. По каждому разделу - конкретная глубина, без воды. Не «изучи всё», а что именно и до какого уровня

Вопросы и оплата: @storm_de
🔥7🤡4
Отзыв участника про новый модуль Gravitational Waves

Последнее - в точку. Это и есть суть профессии: данные могут быть про что угодно - чёрные дыры, продажи, заказы, клики - а кайф в том, как ты их собираешь, обрабатываешь и превращаешь в результат.

Модуль на реальном научном каталоге слияний чёрных дыр от обсерватории LIGO: поднимаем ClickHouse, грузим данные, классифицируем, строим дашборд.

Все отзывы по тегу #review
👍5🤡1
Обожаю автоматизировать рутину 🤖

Сделал бота для регистрации новых участников курса. Раньше приходилось заходить на сайт и вручную заполнять форму - создать аккаунт, сгенерировать пароль, собрать сообщение. Теперь делаю всё прямо из Telegram: пишу боту почту и сумму оплаты, а он сам:

- отправляет данные на сервер
- запускает скрипт регистрации
- возвращает мне готовые данные для входа участника

Меньше рутины - больше времени на контент курса.

Это то, чему учу на курсе: автоматизация, скрипты, работа с сервером. Сам живу по этим принципам 🙂

#backstage
🔥10🤡2
«SQL я знаю» - думает почти каждый новичок. SELECT, JOIN, GROUP BY - база освоена.

Но для дата-инженера это только начало. На реальной работе с большими данными важнее другое: партиционирование, шардирование, колоночное хранение, коллокация данных. Это то, чего обычно не показывают в курсах "SQL с нуля", а на DE-вакансиях спрашивают.

В курсе я собрал карту навыков, где видно эту разницу - что нужно знать именно как дата-инженеру, а не просто аналитику. По SQL, и по всему остальному стеку: ClickHouse, dbt, Airflow, DWH, ETL, Spark.

Вот кусок по SQL 👆 (скрин)

Карта доступна участникам курса - @data_human
Вопросы: @storm_de
🔥7👍3
#backstage

Помимо курса я веду DE-сообщества на 3600+ человек и нейротех-джоб-канал. Тема работы с данными в нейротехе всплывает регулярно - решил собрать ресурсы в одном месте.

Запилил на сайте страницу-базу: курсы, книги, инструменты (MNE, MOABB, YASA), датасеты, события - всё для тех, кто хочет работать с данными в нейротехе (нейроинтерфейсы, обработка ЭЭГ, анализ данных мозга).

К основному курсу по DE не относится, но вдруг среди вас есть те, кому тема близка - залетайте: datahuman.net/neuro

Обновлениями по курсу попозже будут 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍3🔥3
Анонс модуля

Представь: ты DE в нейротех-стартапе, который делает девайс против микросна за рулём и на опасных производствах.

Когда человек проваливается в дремоту, он закрывает глаза - и в мозге нарастает характерная волна. Устройство должно поймать этот момент и разбудить, пока не случился микросон.

Скоро новый модуль Data Brain: Data Engineer и нейроинтерфейсы 🧠 - ты анализируешь реальные данные мозга и учишься отлавливать момент закрытия глаз.

Область непростая, но топовая.
Про стек расскажу позже.

Модуль будет после Трекера позиции МКС. Скоро доступен участникам курса.

#announce
🔥10👍32