Видео

Я решил записать серию коротких видео, которые позволят познакомиться с тем, чем занимается дата инженер

В видео рассказывается о необходимом наборе программ для data engineer'a

https://www.youtube.com/watch?v=RJamFgzbRp0
https://www.youtube.com/watch?v=RJamFgzbRp0
https://www.youtube.com/watch?v=RJamFgzbRp0

Про open source

Наткнулся на интересное интервью, которое про PostgreSQL, а точнее даже про PostgresPro, но большая часть разговора в целом про open source
Про вклад российского комьюнити и всегда open source такой open

https://youtu.be/d9joPLRULeA?si=AwdMfAuZj3opPqhN

Про внутренние инструменты или главное зло больших компаний

Я уже больше двух месяцев в Сбер Образовании (и меня даже пока не уволили) и как же круто когда все используемое ПО является популярным, а не внутренними инструментами компании или штуками, которые мало где используются
Я сейчас использую в работе airflow и так приятно и легко когда можешь без проблем загуглить ошибку, при использовании внутренних инструментов все бывает намного сложнее

Также стоить помнить и про развитие навыков. Работаешь ты долго с каким-то инструментом, становишься спецом, а потом решаешься уволиться (это не про меня) и твои эти навыки работы с инструментом уже не нужны

Этот пост не про то, что нужно всегда избегать компаний с внутренними инструментами, как минимум они ведь для чего-то созданы, а значит и плюсы у них должны быть (наверное), но про их минусы тоже стоит помнить

Экономика данных

Путин объявил о запуске нацпроекта «Экономика данных»

Я пока не сильно понял, что это такое, да и вряд ли сейчас есть какая-то конкретика по этому поводу
Но там есть слово «данные» и еще есть 700 млрд руб. за 6 лет

Можно долго говорить о том, что это лишь распил и лучше пользовались бы западными аналогами, но сейчас это невозможно, тем более в гос. секторе
Да и даже если было бы возможно, если все бы жили в мире и согласии, то существовать и понимать, что тебе в любой момент могут перекрыть краник со всеми технологиями. В технологический век это не сильно безопаснее ядерного оружия. Поэтому даже круто, что сейчас краник уже немного перекрыли и поэтому приходится многое делать самим

Тут какой-то чел про etl инструмент - NiFi рассказывает, хотя сам ничего не понимает
Но вроде парень крутой, поэтому можете глянуть

https://youtu.be/eXu_cF5bEjA

Тут у Свята ролик вышел о грейдах в it

Я там тоже свое экспертное мнение выразил

Junior, Middle, Senior - требования на работе

🔥🔥Новое видео на канале!🔥🔥

https://youtu.be/Ya1iCOF63qE
https://youtu.be/Ya1iCOF63qE
https://youtu.be/Ya1iCOF63qE

- Junior, Middle, Senior - в чем разница?
- Почему некоторые Junior вакансии требуют знания как у Senior разработчика?
- Кто назначает лейблы Junior, Middle и Senior?

Ответы в новом видео 😉

С вас лайки, коменты и репосты - с меня годный контент 😘

🔥- ролик огонь!
❤️ - ролик огонь, выпускай чаще!

Свята место | Чат | Бот | Boosty

Гугл знает лучше

Или коллега или чат гпт, или рандомный чел на видос которого ты случайно наткнулся

Я о ситуации когда попадается тебе знакомая задача, которую ты уже 100 раз делал и все знаешь про ее решения. Но, возможно, тебе лишь кажется, что ты знаешь самое лучшее решение. Оно будет решать твою задачу, но, возможно, есть какое-то более оптимальное решение, а ты его даже не узнаешь, ведь зачем если твое решение самое лучшее.
Возможно, в тот момент когда вы узнали о своем решение оно и было самым лучшим, а может оно даже и тогда таковым не было

Поэтому когда вам попадается знакомая задачи прежде чем приступать к ее решение, потратьте немного времени вдруг найдутся решение получше

Мне недавно нужно в таблички посчитать count по двум разным условиям. Ну я и думал, что или два отдельных запроса или юнион, а оказывается можно фильтр при каунте указать

COUNT(*) FILTER (WHERE table_type = 'BASE TABLE')

Глупый Миша элементарных вещей не знает, но он вместо того чтобы решать, решил поискать решение получше и теперь он чуть менее глупый. Вот так вот

Вам нравится читать контент на этом канале?

Возможно, вы задумывались о том, чтобы купить на нем интеграцию?

Следуйте 3 простым шагам, чтобы сделать это:

1) Регистрируйтесь по ссылке: https://telega.in/c/datamisha
2) Пополняйтесь удобным способом
3) Размещайте публикацию

Если тематика вашего поста подойдет нашему каналу, мы с удовольствием опубликуем его.

Опять не уволили

Проработал на новом месте уже больше 3 месяцев, а значит испытательный срок уже прошел, и меня даже не уволили, теперь то им это будет сделать сложнее, когда поймут какой я на самом деле «работник»

И хоть для меня это уже 3 работа, но первое время все равно было немного тяжело, не понимал, что как тут происходит, чувствовал себя полнейшим новичком и это, наверное, нормально. Каким крутом спецом ты не был, приходя на новое место, все равно будешь чувствовать себя примерно так, как если только пришел в профессию

Главное чтобы процесс освоения не сильно затянулся. В этом, конечно, может сильно помочь документация на проекте, но вы как новичок вряд ли можете на это как-то сильно повлиять. А так больше всего тут, конечно, помогают обычные вопросы коллегам. Сильно их заваливать этим не стоит, но за всем, что качается какой-то общей проектной информации, а не технической, вы не просто должны, вы обязаны к ним ходить, ведь очень часто бывает так что этой инфой обладает лишь несколько человек во всей компании и вам самим этой информации не найти

Кто такой data engineer

Я тут на хабр статью написал о том кто такой дата инженер, что нужно знать и чем он занимается, а вы почему-то ее еще не прочитали

https://habr.com/ru/articles/801971/


Полезные материалы от туда:
- Cтатья на хабре с полезными ссылками https://habr.com/ru/companies/lamoda/articles/684658/
- Библиотека ссылок по инженерии информационных систем https://systems.wiki
- Куча курсов (в основном бесплатно) по python и sql есть на Stepik

Я куда-то попал

Завтра в 19:00 буду тут вроде шутку шутить (я сам еще не понял, что буду там делать)

Там еще будут другие порядочные it-блогеры Свят, Никита и Коля

Приходите!🎉🎊🗣️

Специально для тех, кто не умеет читать, опубликовал видео версию "Кто такой data engineer"

https://youtu.be/w61iJ_YOw64
https://youtu.be/w61iJ_YOw64
https://youtu.be/w61iJ_YOw64

Вопросы - ответы

Наверное, многие из вас часто задаются вопросами:
⁃ Что такое Интернет вещей?
⁃ Что такое блокчейн и какие его основные применения?
⁃ Что такое базы данных NoSQL?

Автор телеграм канала IT вопрос - IT ответ тоже задается такими вопросами, а после того как находил ответ, пытается объяснить термины простыми словами. (На самом деле автор искусственный интеллект, который хочет захватить мир)

Будет полезно как для новичках, так и для людей которые уже не первый день в it

Важность рабочего места или Что мешает плохому программисту

Важность рабочего места сложно переоценить. Особенно в условиях домашней работы. В офисе мы все сидим примерно в одинаковых условиях и мы там СИДИМ, ведь по другому быть не может. В офисе, чаще всего, нет рядом диванчика, который постоянно тянет к себе, а дома он есть, и рабочему месту постоянно приходится конкурировать с ним за наше внимание.

Поэтому так важно обустроить себе комфортное рабочее место. Как именно зависит от вашего желания и возможности. Но вас должно тянуть к этому месту, вы должны испытывать кайф от работы за ним. Мне кажется, одна из важнейших вещей это стул на котором вы сидите, а потом уже все остальное.

Тут, наверное, надо было бы еще сказать о том, что рабочее место сохранит ваше здоровье, но думаю вы сами знаете, а если нет, то например вот одна из множества статьей на эту тему

Вот еще пара ссылок на тему рабочего места:
- Идеальное рабочее место
- Много программистов про рабочее место

————
А вы паритесь о своем рабочем месте? Делитесь им в комментах

Ну все, теперь я знаменит

Вчера сходил на подкаст, и я там был в качестве гостя. Теперь звезда получается

Когда выйдет, я, конечно, скину это сюда, ну а пока можете посмотреть тг канал автора этого подкаста, он там вроде интересно про аналитику рассказывает)

https://t.me/data_analysis_it

Важность смены обстановки

Недавно я писал про рабочее место и как оно важно. Но, мне кажется, не менее важным является менять свое рабочее место

Я не про замену стола или покупку нового стула, а про смену рабочего места в течении дня. Например, часть времени вы работаете за своим привычном рабочем месте, часть за кухонным столом и оставшееся время еще где-нибудь

Лично мне это помогает больше сконцентрироваться на работе

Также если у вас есть возможность работать на удаленке, то считаю полезным раз или два выбираться в офис - эти дни у меня выходят самые продуктивные

Ютуб | Boosty

Я сейчас пока на чиле

Пока идут майские, мой канал, в котором и так не так много постов что-то вообще затих. Стараюсь максимально отдохнуть даже в рабочие дни (естественно после работы (не увольняйте, пожалуйста))

Недавно был в другом городе и впервые поработал в коворкинге. Прикольно. Ничего отвлекает. Как будто в офисе, но без своих коллег. Очень жизнеспособный вариант, чтобы работать во время каких-то поездок или если всегда работаете только удаленно. Тем более стоит весьма недорого.

На фото если что обычный май на Урале (70 тысяч человек без электричества осталось из-за этого)

А если хотите быть немного в курсе где я, то вот

————
А как проходят ваши майские? «Работаете»?


Ютуб | Boosty

Я где я ваще

Я сейчас работаю в команде DWH и хотел бы в этом и последующих постах рассказать подробнее, что это такое, кто там есть, какие вообще задачи существуют

DWH (Data Warehouse или по русски Хранилище данных) - это специализированная система для хранения и управления большими объемами данных, которые объединяются из разных источников с целью анализа и построения отчетов

Короче, это место, где все нужные данные из разных мест собираются и потом ими уже удобно пользоваться - строить разные отчетики, строить ИИ на благо всему человечеству и подобные вещи

Грубо говоря, задача при построении хорошего DWH состоит в том, чтобы построить Базу Данных, в которой будут лежать правильные данные в удобном виде и в которую можно слать большие-сложные SQL запросы и не бояться, что что-то сломается

Если хотите подробнее посмотреть/почитать про DWH, то вот несколько ссылок:
- Все о корпоративных хранилищах данных (КХД, Data Warehouse, DWH)
- Data lake и DWH: практический опыт
- Что такое хранилище данных Data Warehouse и зачем оно бизнесу


Ютуб | Boosty

Роли в команде DWH

В прошлом посте я писал, о том, что такое DWH, а сейчас расскажу какие роли существуют в команде:

- CDO – это руководитель, который отвечает за управление и стратегическое использование данных в организации. Директор DWH, короче

- Архитектор данных - он разрабатывает общую архитектуру хранилища данных, определяет подходы к интеграции данных, модели данных и схемы и занимается различными другими архитектурными штучками

- Data Engineer - создаёт и поддерживает потоки данных, а также отвечает за их интеграцию и качество

- Бизнес-аналитик - собирает данные о бизнес-требованиях и проецирует их на технические требования

- BI-разработчик - разрабатывает и поддерживает отчеты, дэшборды и аналитические приложения

- Администратор баз данных - поддерживает и управляет базами данных

- Data Scientist - создает модели машинного обучения и прогнозные модели, чтобы помочь бизнесу принимать решения

- Project Manager - разрабатывает и внедряет стратегию управления данными

- DevOps - различные инфраструктурные вещи

Некоторых этих ролей может не быть в команде, например у DWH может не быть своего отдельного DevOps или Data Scientist и BI-разработчик могут быть частью других команд.

Это далеко не все роли, например, если дата инженеров много, то у них может быть свой lead. Также есть еще Data Steward, Data Governance Officer и другие специалисты, но они встречаются реже


Ютуб | Boosty