Я где я ваще

Я сейчас работаю в команде DWH и хотел бы в этом и последующих постах рассказать подробнее, что это такое, кто там есть, какие вообще задачи существуют

DWH (Data Warehouse или по русски Хранилище данных) - это специализированная система для хранения и управления большими объемами данных, которые объединяются из разных источников с целью анализа и построения отчетов

Короче, это место, где все нужные данные из разных мест собираются и потом ими уже удобно пользоваться - строить разные отчетики, строить ИИ на благо всему человечеству и подобные вещи

Грубо говоря, задача при построении хорошего DWH состоит в том, чтобы построить Базу Данных, в которой будут лежать правильные данные в удобном виде и в которую можно слать большие-сложные SQL запросы и не бояться, что что-то сломается

Если хотите подробнее посмотреть/почитать про DWH, то вот несколько ссылок:
- Все о корпоративных хранилищах данных (КХД, Data Warehouse, DWH)
- Data lake и DWH: практический опыт
- Что такое хранилище данных Data Warehouse и зачем оно бизнесу


Ютуб | Boosty

Роли в команде DWH

В прошлом посте я писал, о том, что такое DWH, а сейчас расскажу какие роли существуют в команде:

- CDO – это руководитель, который отвечает за управление и стратегическое использование данных в организации. Директор DWH, короче

- Архитектор данных - он разрабатывает общую архитектуру хранилища данных, определяет подходы к интеграции данных, модели данных и схемы и занимается различными другими архитектурными штучками

- Data Engineer - создаёт и поддерживает потоки данных, а также отвечает за их интеграцию и качество

- Бизнес-аналитик - собирает данные о бизнес-требованиях и проецирует их на технические требования

- BI-разработчик - разрабатывает и поддерживает отчеты, дэшборды и аналитические приложения

- Администратор баз данных - поддерживает и управляет базами данных

- Data Scientist - создает модели машинного обучения и прогнозные модели, чтобы помочь бизнесу принимать решения

- Project Manager - разрабатывает и внедряет стратегию управления данными

- DevOps - различные инфраструктурные вещи

Некоторых этих ролей может не быть в команде, например у DWH может не быть своего отдельного DevOps или Data Scientist и BI-разработчик могут быть частью других команд.

Это далеко не все роли, например, если дата инженеров много, то у них может быть свой lead. Также есть еще Data Steward, Data Governance Officer и другие специалисты, но они встречаются реже


Ютуб | Boosty

Все бегом смотреть, ставить лайки и подписываться!

Та-да-да-дам! Вышел первый выпуск подкаста IT'S Analysis.

Друзья, наконец-то закончил обработку, теперь первый выпуск подкаста доступен на нашем YouTube канале.

Гость подкаста - Михаил Павлюк, data engineer в Сбер Образовании. Поговорили про Big data и карьерный путь Михаила: обсудили как Михаил искал первую работу в сфере data science, пригодилось-ли высшее образование в IT, поговорили про процессы в корпорациях и небольших компаниях.

В заключении подкаста Михаил дал такой совет начинающим IT специалистам: "Делайте не напрягаясь, пытайтесь кайфовать от процесса обучения и получайте от этого удовольствие. Концентрируйтесь на процессе, а не на больших деньгах."

Согласны с Михаилом? Что для вас являлось мотивацией на старте карьеры?

Пишите в комментариях кого бы вы хотели видеть в следующем выпуске подкаста. Постараюсь записать с этим специалистом следующий выпуск.

Смотреть подкаст: https://youtu.be/XG62UJrQHdk 🔥

Не забывайте подписываться и ставить пальцы вверх :)

ИИ всех обманет

Тут недавно новость была о том как учитель физкультуры в одном из американских городов, с помощью ИИ, сгенерировал речь своего директора, где тот говорит якобы говорит всякие плохие штуки
После этого директора чуть не уволили, но все таки смогли доказать, что это не речь директора

Мне тут непонятна уникальность таких новостей. Кажется, что с развитием ИИ мошенничества или хотя бы попыток мошенничества должно быть достаточно много, но новостей об этом что-то не особо

Хороших каналов много не бывает

Вот папка с 5 каналами про data

Если хотите больше тг каналов, где крутые авторы пишут про data, то добавляйте папку себе и смотрите, что полезного там есть)

Откуда в DWH данные

Источники данных для DWH могут быть следующие:

- Базы данных - в компании могут быть множество разных баз данных и все данных из них мы можем забирать к себе хранилище

- Веб-сервисы и API - данные например из рекламных кабинетов и других подобных мест

- Файловые источники - не всегда приходится работать с какими-то «крутыми» данными, иногда необходимо просто иксельку загрузить

- CRM и подобные маркетинговые, бухгалтерские штуки

Конечно, у DWH может быть еще куча других источник, тут я привел только самые основные


Ютуб | Boosty

IT это золотая клетка

Многие считают, что работа в it - это профессия мечты: хорошая зп, возможность удаленной работы, не особо сложная в изучении. Все так, это очень крутая область. Все те плюсы о которых говорят тут действительно есть (в той или иной степени)

И часто при выборе работы мы обращаем внимания именно на эти вещи. Ведь гораздо проще сказать, что хочешь хорошую зарплату, чем ответить на вопрос чему конкретно хочешь посвятить свою жизнь

Спустя время начинаешь задумываться, анализировать свой путь - почему сделал тот или иной выбор, выбрал ту или иную профессию. Но эти вопросы остаются лишь вопросами - клетка комфорта уже захлопнулась

Я у мамы инфоцыган

Я завел машину onlyfanc животное девушку собаку boosty

Планирую туда выпускать много полезного обучающего материала, а еще будет чат в телеге

Там уже есть ролики по airflow и clickhouse и будет еще много

Стоимость подписки 298 ₽ или 398 ₽ смотря какая вам больше подходит

https://boosty.to/nodata_misha

БД для DWH

База данных для DWH обычно отличается от традиционных операционных баз данных (OLTP)
Объем данных в DWH обычно большой и вряд ли условный PostgresSQL сможет справиться со всей нагрузкой, он для этого не предназначен
А вот несколько БД которые были созданы как раз для этого:

ClickHouse – это колонно-ориентированная система управления базами данных, разработанная для аналитических запросов в режиме реального времени. Она поддерживает распределенную архитектуру, позволяя эффективно обрабатывать большие объемы данных. Основные преимущества ClickHouse включают высокую скорость выполнения запросов, сжатие данных и возможность масштабирования.

Greenplum – это распределенная аналитическая база данных, основанная на PostgreSQL. Она предназначена для обработки больших данных и использует параллельную обработку для ускорения выполнения запросов. Greenplum поддерживает масштабирование за счет добавления новых узлов и предлагает инструменты для интеграции с другими системами данных, что делает ее подходящей для крупных аналитических задач.

Hadoop – это платформа с открытым исходным кодом для распределенного хранения и обработки больших данных. В основе Hadoop лежит распределенная файловая система HDFS и фреймворк MapReduce для обработки данных. Hadoop обеспечивает надежное хранение и обработку больших объемов данных, поддерживает масштабирование и интеграцию с различными инструментами и экосистемами данных.


Ютуб | OnlyFans

ETL для DWH

Недавно мы говорили про источники данных для нашего DWH
ETL это вещь благодаря которой те данные попадают в наше хранилище

Делать это можно, например с помощью Airflow
Airflow — это платформа для создания, планирования и мониторинга рабочих процессов. Она широко используется для автоматизации ETL-процессов, обработки данных и управления задачами

Т.е. пишется python скрипт, где мы пишем запрос данных, их обработку и сохранение в БД. И все это ставим на расписание, чтобы данные заливались к нам в базу в автоматическом режими

Одним из главных преимуществ Airflow является уже множество уже готовых операторов для выполнения необходимых действий. Это можно сравнить с использованием библиотек в python
Например есть оператор PostgreSql. Он предназначен для работы с постгрессом. Мы, конечно, сами можем написать необходимый код на python, где конектимся с базе, создаем курсор, выполняем нужный SQL, но намного проще будет использовать уже готовый оператор, в который лишь необходимо передать конекшен к базе и необходимый sql, все остальное он выполнит сам


Ютуб | OnlyFans

Опять знаменит

Завтра в 21:00 буду в гостях у DigitalBerd

Будем обсуждать:
1. Как выучиться на инженера данных
2. Сложно ли сейчас устроиться инженером данных
3. Какая в принципе сейчас ситуация на рынке РФ
4. Поговорим по поводу деятельности на ютубе.

Все приходите на стрим!
https://www.youtube.com/live/WuQO42JjNuM

Мониторинг DWH

Мониторинг в DWH - это большая тема, но я расскажу с чем сталкиваюсь конкретно я:

- Алертинг в ДАГах Airflow. В наших ДАГах используется функция, которая, в случаи падения ДАГа, посылает сообщения в корпоративный мессенджер и тэгает владельца ДАГа. Это достаточно удобно, ведь нет необходимости самостоятельно проверять отработку ДАГов

- Мониторнг в Grafana. Grafana — система визуализации данных, ориентированная на данные систем ИТ-мониторинга. Тут можно мониторить все, а не только ДАГи, ведь часто поступление данных в DWH может быть происходить без участия airflow (например из kafka сразу в clickhouse)


Ютуб | OnlyFans

Новый ролик на канале 🎉

Это сэкономит 90% времени программиста!
https://youtu.be/I-Rw9EO21uA

Бег лучшая вещь для айтишника на удаленке

Я не так давно начал бегать. И это оказалось прям круто. Не буду тут говорить о пользе для здоровья и о том, что стал лучше себя чувствовать, а хотел бы сказать о чуть менее очевидной, но весьма важной штуке - отвлечение от работы

Многим знакома ситуация, когда заканчиваешь рабочий день, но продолжаешь думать о задаче, а если работаешь на удаленке, то рабочий день в какой-то степени, вообще может не заканчиваться, ведь ты в любой момент можешь открыть ноутбук, чтобы еще что-нибудь поделать. В итоге вечерний отдых от работы, не совсем является отдыхам. (Да иногда есть супер срочные или интересные задачи на которые готовы потратить силы, но, наверное, это должна быть редкая история)

Вечерняя пробежка стала отличным решением этой проблемы. 18:00 я закрываю ноутбук и бегу. Телефон при этом остается дома, и я смогу увидеть написали ли там что-то важное в рабочем чатике только через час.
Мне это очень сильно помогает отвлечься от работы, и даже если во время рабочего дня было слишком много мыслей которые грузили меня о том, что работы много, не получается или другие подобные, то вечером их совсем нет

Если тема интересна и хотите узнать как я продолжаю бегать регулярно, то поставьте 🔥


Ютуб | OnlyFans

Для чего вообще DWH?

Понятно, что ДВХ это про данные, но для чего эти данные, где они используются?

Самое частое это, конечно, различные отчеты, чаще всего в виде дашбордов в какой-нибудь Bi штуке (например в superset). Информация на этих дашбордах может быть различной, для разных потребителей:
- Маркетинговые команды могут смотреть на отчеты для анализа эффективности рекламных кампаний и повышения ROI
- Отелы продаж для оценки динамики продаж, анализа поведения клиентов и прогнозирования спроса
- Руководители для принятия каких-то важных стратегических решений

Помимо отчетов на самих дашбордах, часто кому-то необходимо просто получить какую-то небольшую инфу по нашим данным, хватает небольшого sql кода

Также данные из ДВХ нужны и дата сайентистам, которые с их помощью строят всякие модельки и ИИ, который всех нас убьет= сделает мир лучше


Ютуб | Дата уроки

Выложил на ютуб (пока он еще есть в России ) новое видео о минусах работы дата инженером
🎉🎉🎉

https://youtu.be/A3LDv8uFWiM

Беги, Миша, беги

Тут рассказал о том как круто бегать, а сейчас хочу рассказать о том как у меня получается делать это регулярно:

- Я почти всю жизнь не любил бегать. Это ведь сложно. Капец как устаешь. Я лучше пройду 20 километром, чем пробегу 2. И это правда так. Для организма, который более 2 лет вообще не чувствовал, что такое бег, пробежать хотя бы пару км. является больший стрессом, а если делать это регулярно, то ваще капец не круто. Зачем так сильно напрягаться? И первый совет в том, что напрягаться сильно не стоит. Оказывается совсем не обязательно (и даже вредно) быстро бежать и становиться капец каким устаревшим. Можно просто совершать легкую пробежку, бежать медленно. Что значит медленно? С той скоростью при которой ты можешь без особых трудностей разговорить во время бега. Когда только начинаешь бегать, то ты бежишь не сильно быстрее чем люди просто идут. Тебя будут обгонять 60-летние дедушки (потом убегут вперед, там где-то развернуться, побегут тебе навстречу и помашут рукой, но рано или поздно я его сделаю)

- Второй пункт вытекает из первого. Тут тоже про то, что это не тренировочные забеги ради результатов, а вечерняя пробежка, которая преследует совершенно другие вещи. А значит если например на улице сегодня идет дождь, то вообще ничего страшного нет, если пробежки сегодня не будет. Также и регулярность пробежек, я для себя понял, что мне норм бегать 3 раза в неделю, но ничего страшного нет, если получится побегать всего 2 раза, а если захочу пробежать 4 раз, то скорее всего откажусь от этой идеи, так во время этой 4 пробежки устану и не получу удовольствие

- А что делать если не хочется? В первую очередь ответить на вопрос «Почему тебе не хочется?», и если ответ будет «Бегаю уже 2 месяца и мне это вообще не нравится», то бросать. Бег это не что-то идеальное, что подойдет абсолютна всем, и возможно вам следует поискать другие занятия. Но когда я не хотел делать вечернюю пробежку и задавал вопрос «Почему?», то ответом было «Я сегодня как-то устал во время рабочего дня, а тут еще и бежать куда-то», то есть главная причина из-за которой я бегаю в некоторых случаях пытается работать в другую сторону, но меня так просто не проведешь, я все равно бегу

Это были 3 главне вещи, которые лично мне помогают бегать. Для кого-то скорее всего поможет что-то другое, например записаться на марафон через несколько месяцев и тогда просто становится необходимо бегать постоянно. Но лично для меня вещи, которые про делать что-то (бежать) ради чего-то (условного марафона) не работают, поэтому я стараюсь концентрироваться на процессе)


Ютуб | Дата уроки

Уже много уроков

7 дней бесплатного доступа к урокам, которые я выпускаю по data. Сейчас пока там по Airflow и не много clickhouse, но уроки постоянно пополняются

Вот список уроков которые там есть

Вот бесплатный доступ на 7 дней, чтобы вы посмотрели, поняли, что я ваще не шарю и отписались от канала

Выбор стула теперь реален

Все, наверное, уже видели, что случилось с многодетным отцом

Вот так вот бывает, ты либо за одних, либо ты плохой (работает в обе стороны)

И вот еще немного конспирологии: Дурова задержали после его прилета из Азербайджана, а знаете кто еще был в Азербайджане в это время - Путин