Вам нравится читать контент на этом канале?

Возможно, вы задумывались о том, чтобы купить на нем интеграцию?

Следуйте 3 простым шагам, чтобы сделать это:

1) Регистрируйтесь по ссылке: https://telega.in/c/datamisha
2) Пополняйтесь удобным способом
3) Размещайте публикацию

Если тематика вашего поста подойдет нашему каналу, мы с удовольствием опубликуем его.

Опять не уволили

Проработал на новом месте уже больше 3 месяцев, а значит испытательный срок уже прошел, и меня даже не уволили, теперь то им это будет сделать сложнее, когда поймут какой я на самом деле «работник»

И хоть для меня это уже 3 работа, но первое время все равно было немного тяжело, не понимал, что как тут происходит, чувствовал себя полнейшим новичком и это, наверное, нормально. Каким крутом спецом ты не был, приходя на новое место, все равно будешь чувствовать себя примерно так, как если только пришел в профессию

Главное чтобы процесс освоения не сильно затянулся. В этом, конечно, может сильно помочь документация на проекте, но вы как новичок вряд ли можете на это как-то сильно повлиять. А так больше всего тут, конечно, помогают обычные вопросы коллегам. Сильно их заваливать этим не стоит, но за всем, что качается какой-то общей проектной информации, а не технической, вы не просто должны, вы обязаны к ним ходить, ведь очень часто бывает так что этой инфой обладает лишь несколько человек во всей компании и вам самим этой информации не найти

Кто такой data engineer

Я тут на хабр статью написал о том кто такой дата инженер, что нужно знать и чем он занимается, а вы почему-то ее еще не прочитали

https://habr.com/ru/articles/801971/


Полезные материалы от туда:
- Cтатья на хабре с полезными ссылками https://habr.com/ru/companies/lamoda/articles/684658/
- Библиотека ссылок по инженерии информационных систем https://systems.wiki
- Куча курсов (в основном бесплатно) по python и sql есть на Stepik

Я куда-то попал

Завтра в 19:00 буду тут вроде шутку шутить (я сам еще не понял, что буду там делать)

Там еще будут другие порядочные it-блогеры Свят, Никита и Коля

Приходите!🎉🎊🗣️

Специально для тех, кто не умеет читать, опубликовал видео версию "Кто такой data engineer"

https://youtu.be/w61iJ_YOw64
https://youtu.be/w61iJ_YOw64
https://youtu.be/w61iJ_YOw64

Вопросы - ответы

Наверное, многие из вас часто задаются вопросами:
⁃ Что такое Интернет вещей?
⁃ Что такое блокчейн и какие его основные применения?
⁃ Что такое базы данных NoSQL?

Автор телеграм канала IT вопрос - IT ответ тоже задается такими вопросами, а после того как находил ответ, пытается объяснить термины простыми словами. (На самом деле автор искусственный интеллект, который хочет захватить мир)

Будет полезно как для новичках, так и для людей которые уже не первый день в it

Важность рабочего места или Что мешает плохому программисту

Важность рабочего места сложно переоценить. Особенно в условиях домашней работы. В офисе мы все сидим примерно в одинаковых условиях и мы там СИДИМ, ведь по другому быть не может. В офисе, чаще всего, нет рядом диванчика, который постоянно тянет к себе, а дома он есть, и рабочему месту постоянно приходится конкурировать с ним за наше внимание.

Поэтому так важно обустроить себе комфортное рабочее место. Как именно зависит от вашего желания и возможности. Но вас должно тянуть к этому месту, вы должны испытывать кайф от работы за ним. Мне кажется, одна из важнейших вещей это стул на котором вы сидите, а потом уже все остальное.

Тут, наверное, надо было бы еще сказать о том, что рабочее место сохранит ваше здоровье, но думаю вы сами знаете, а если нет, то например вот одна из множества статьей на эту тему

Вот еще пара ссылок на тему рабочего места:
- Идеальное рабочее место
- Много программистов про рабочее место

————
А вы паритесь о своем рабочем месте? Делитесь им в комментах

Ну все, теперь я знаменит

Вчера сходил на подкаст, и я там был в качестве гостя. Теперь звезда получается

Когда выйдет, я, конечно, скину это сюда, ну а пока можете посмотреть тг канал автора этого подкаста, он там вроде интересно про аналитику рассказывает)

https://t.me/data_analysis_it

Важность смены обстановки

Недавно я писал про рабочее место и как оно важно. Но, мне кажется, не менее важным является менять свое рабочее место

Я не про замену стола или покупку нового стула, а про смену рабочего места в течении дня. Например, часть времени вы работаете за своим привычном рабочем месте, часть за кухонным столом и оставшееся время еще где-нибудь

Лично мне это помогает больше сконцентрироваться на работе

Также если у вас есть возможность работать на удаленке, то считаю полезным раз или два выбираться в офис - эти дни у меня выходят самые продуктивные

Ютуб | Boosty

Я сейчас пока на чиле

Пока идут майские, мой канал, в котором и так не так много постов что-то вообще затих. Стараюсь максимально отдохнуть даже в рабочие дни (естественно после работы (не увольняйте, пожалуйста))

Недавно был в другом городе и впервые поработал в коворкинге. Прикольно. Ничего отвлекает. Как будто в офисе, но без своих коллег. Очень жизнеспособный вариант, чтобы работать во время каких-то поездок или если всегда работаете только удаленно. Тем более стоит весьма недорого.

На фото если что обычный май на Урале (70 тысяч человек без электричества осталось из-за этого)

А если хотите быть немного в курсе где я, то вот

————
А как проходят ваши майские? «Работаете»?


Ютуб | Boosty

Я где я ваще

Я сейчас работаю в команде DWH и хотел бы в этом и последующих постах рассказать подробнее, что это такое, кто там есть, какие вообще задачи существуют

DWH (Data Warehouse или по русски Хранилище данных) - это специализированная система для хранения и управления большими объемами данных, которые объединяются из разных источников с целью анализа и построения отчетов

Короче, это место, где все нужные данные из разных мест собираются и потом ими уже удобно пользоваться - строить разные отчетики, строить ИИ на благо всему человечеству и подобные вещи

Грубо говоря, задача при построении хорошего DWH состоит в том, чтобы построить Базу Данных, в которой будут лежать правильные данные в удобном виде и в которую можно слать большие-сложные SQL запросы и не бояться, что что-то сломается

Если хотите подробнее посмотреть/почитать про DWH, то вот несколько ссылок:
- Все о корпоративных хранилищах данных (КХД, Data Warehouse, DWH)
- Data lake и DWH: практический опыт
- Что такое хранилище данных Data Warehouse и зачем оно бизнесу


Ютуб | Boosty

Роли в команде DWH

В прошлом посте я писал, о том, что такое DWH, а сейчас расскажу какие роли существуют в команде:

- CDO – это руководитель, который отвечает за управление и стратегическое использование данных в организации. Директор DWH, короче

- Архитектор данных - он разрабатывает общую архитектуру хранилища данных, определяет подходы к интеграции данных, модели данных и схемы и занимается различными другими архитектурными штучками

- Data Engineer - создаёт и поддерживает потоки данных, а также отвечает за их интеграцию и качество

- Бизнес-аналитик - собирает данные о бизнес-требованиях и проецирует их на технические требования

- BI-разработчик - разрабатывает и поддерживает отчеты, дэшборды и аналитические приложения

- Администратор баз данных - поддерживает и управляет базами данных

- Data Scientist - создает модели машинного обучения и прогнозные модели, чтобы помочь бизнесу принимать решения

- Project Manager - разрабатывает и внедряет стратегию управления данными

- DevOps - различные инфраструктурные вещи

Некоторых этих ролей может не быть в команде, например у DWH может не быть своего отдельного DevOps или Data Scientist и BI-разработчик могут быть частью других команд.

Это далеко не все роли, например, если дата инженеров много, то у них может быть свой lead. Также есть еще Data Steward, Data Governance Officer и другие специалисты, но они встречаются реже


Ютуб | Boosty

Все бегом смотреть, ставить лайки и подписываться!

Та-да-да-дам! Вышел первый выпуск подкаста IT'S Analysis.

Друзья, наконец-то закончил обработку, теперь первый выпуск подкаста доступен на нашем YouTube канале.

Гость подкаста - Михаил Павлюк, data engineer в Сбер Образовании. Поговорили про Big data и карьерный путь Михаила: обсудили как Михаил искал первую работу в сфере data science, пригодилось-ли высшее образование в IT, поговорили про процессы в корпорациях и небольших компаниях.

В заключении подкаста Михаил дал такой совет начинающим IT специалистам: "Делайте не напрягаясь, пытайтесь кайфовать от процесса обучения и получайте от этого удовольствие. Концентрируйтесь на процессе, а не на больших деньгах."

Согласны с Михаилом? Что для вас являлось мотивацией на старте карьеры?

Пишите в комментариях кого бы вы хотели видеть в следующем выпуске подкаста. Постараюсь записать с этим специалистом следующий выпуск.

Смотреть подкаст: https://youtu.be/XG62UJrQHdk 🔥

Не забывайте подписываться и ставить пальцы вверх :)

ИИ всех обманет

Тут недавно новость была о том как учитель физкультуры в одном из американских городов, с помощью ИИ, сгенерировал речь своего директора, где тот говорит якобы говорит всякие плохие штуки
После этого директора чуть не уволили, но все таки смогли доказать, что это не речь директора

Мне тут непонятна уникальность таких новостей. Кажется, что с развитием ИИ мошенничества или хотя бы попыток мошенничества должно быть достаточно много, но новостей об этом что-то не особо

Хороших каналов много не бывает

Вот папка с 5 каналами про data

Если хотите больше тг каналов, где крутые авторы пишут про data, то добавляйте папку себе и смотрите, что полезного там есть)

Откуда в DWH данные

Источники данных для DWH могут быть следующие:

- Базы данных - в компании могут быть множество разных баз данных и все данных из них мы можем забирать к себе хранилище

- Веб-сервисы и API - данные например из рекламных кабинетов и других подобных мест

- Файловые источники - не всегда приходится работать с какими-то «крутыми» данными, иногда необходимо просто иксельку загрузить

- CRM и подобные маркетинговые, бухгалтерские штуки

Конечно, у DWH может быть еще куча других источник, тут я привел только самые основные


Ютуб | Boosty

IT это золотая клетка

Многие считают, что работа в it - это профессия мечты: хорошая зп, возможность удаленной работы, не особо сложная в изучении. Все так, это очень крутая область. Все те плюсы о которых говорят тут действительно есть (в той или иной степени)

И часто при выборе работы мы обращаем внимания именно на эти вещи. Ведь гораздо проще сказать, что хочешь хорошую зарплату, чем ответить на вопрос чему конкретно хочешь посвятить свою жизнь

Спустя время начинаешь задумываться, анализировать свой путь - почему сделал тот или иной выбор, выбрал ту или иную профессию. Но эти вопросы остаются лишь вопросами - клетка комфорта уже захлопнулась

Я у мамы инфоцыган

Я завел машину onlyfanc животное девушку собаку boosty

Планирую туда выпускать много полезного обучающего материала, а еще будет чат в телеге

Там уже есть ролики по airflow и clickhouse и будет еще много

Стоимость подписки 298 ₽ или 398 ₽ смотря какая вам больше подходит

https://boosty.to/nodata_misha

БД для DWH

База данных для DWH обычно отличается от традиционных операционных баз данных (OLTP)
Объем данных в DWH обычно большой и вряд ли условный PostgresSQL сможет справиться со всей нагрузкой, он для этого не предназначен
А вот несколько БД которые были созданы как раз для этого:

ClickHouse – это колонно-ориентированная система управления базами данных, разработанная для аналитических запросов в режиме реального времени. Она поддерживает распределенную архитектуру, позволяя эффективно обрабатывать большие объемы данных. Основные преимущества ClickHouse включают высокую скорость выполнения запросов, сжатие данных и возможность масштабирования.

Greenplum – это распределенная аналитическая база данных, основанная на PostgreSQL. Она предназначена для обработки больших данных и использует параллельную обработку для ускорения выполнения запросов. Greenplum поддерживает масштабирование за счет добавления новых узлов и предлагает инструменты для интеграции с другими системами данных, что делает ее подходящей для крупных аналитических задач.

Hadoop – это платформа с открытым исходным кодом для распределенного хранения и обработки больших данных. В основе Hadoop лежит распределенная файловая система HDFS и фреймворк MapReduce для обработки данных. Hadoop обеспечивает надежное хранение и обработку больших объемов данных, поддерживает масштабирование и интеграцию с различными инструментами и экосистемами данных.


Ютуб | OnlyFans