Данные — это новая нефть

А кто работает с этой нефтью?)

Думаю о некоторых data специальностях многие слышали:

• Data Engineer: инженер данных отвечает за создание и поддержку инфраструктуры, которая поддерживает приложения и системы, основанные на данных. Они проектируют, строят и поддерживают конвейеры данных, системы хранения данных и решения интеграции данных.

• Data Analyst: аналитик данных отвечает за сбор, анализ и интерпретацию данных. Они используют данные, чтобы ответить на вопросы, сделать прогнозы и улучшить бизнес-решения.

• Data Scientist: это специалист, который использует свои знания в области статистики и машинного обучения для создания прогнозов и ответов на ключевые бизнес-вопросы. Дата-сайентист все еще должен уметь очищать, анализировать и визуализировать данные, как и аналитик данных.


Но вот еще специальности, которые встречаются не так часто:

• Data Architect: архитектор данных отвечает за разработку общей архитектуры данных для организации. Они определяют модели данных, потоки данных и требования к обеспечению безопасности данных для организации.

• Data Solution Architect: архитектор решения данных отвечает за проектирование и внедрение конкретных решений для данных для организации. Они работают со заинтересованными сторонами, чтобы понять требования бизнеса, а затем проектируют и внедряют решения, которые соответствуют этим требованиям.

• Data Integration Manager: менеджер интеграции данных отвечает за управление процессом интеграции данных для организации. Они обеспечивают интеграцию данных из различных источников в согласованном и своевременном режиме.

• Big Data Engineer: инженер больших данных отвечает за проектирование, строительство и обслуживание инфраструктуры больших данных. Они используют технологии больших данных для хранения, обработки и анализа больших наборов данных.

• Data Manager: менеджер данных отвечает за управление активами данных организации. Они обеспечивают надлежащее хранение, организацию и защиту данных.

• Data Platform Team Lead: ведущий команды платформы данных отвечает за руководство командой инженеров данных и дата-сайентистов. Они несут ответственность за общий успех платформы данных, и они работают с заинтересованными сторонами, чтобы гарантировать, что платформа отвечает потребностям организации.

• Data Officer: должностное лицо по данным отвечает за надзор за управлением данными организации. Они обеспечивают сбор, использование и хранение данных ответственным и соответствующим образом.

• Data Steward: хранитель данных отвечает за обеспечение точности, полноты и актуальности данных. Они работают с владельцами и пользователями данных, чтобы обеспечить правильное использование данных.

А ведь часто эти все обязанности совмещают в себе один или пару-тройка людей)

Хочешь в it, но не хочешь быть программистом

Айтишники хорошо зарабатывают и они востребованы на рынки. Поэтому многие хотят попасть туда, но не все хотят заниматься именно программированием. По разным причинам. Но можно быть айтишником и при этом не писать код

Вот эти люди не являются программистами, но при этом являясь айтишниками:

• Тестировщик программного обеспечения отвечает за проверку программного обеспечения на наличие ошибок. Они тестируют программное обеспечение различными способами, чтобы убедиться, что оно работает должным образом.

• UI (User Interface) и UX (User Experience) — это два ключевых аспекта дизайна цифровых продуктов, таких как веб-сайты, приложения и программное обеспечение. UI отвечает за внешний вид и взаимодействие пользователя с продуктом, а UX — за общую удовлетворенность пользователя продуктом.

• Аналитик бизнес-информации: Аналитик бизнес-информации помогает компаниям собирать, хранить и анализировать данные. Они также создают отчеты и презентации, которые помогают компаниям принимать решения.
• Системный аналитик: Системный аналитик отвечает за проектирование, разработку и внедрение информационных систем. Они работают с клиентами, чтобы понять их потребности, а затем создают системы, которые удовлетворяют этим потребностям.

• Менеджер проектов в IT — это человек, который отвечает за планирование, управление и завершение проектов в сфере информационных технологий. Они работают с командой специалистов, чтобы обеспечить успешное выполнение проекта в соответствии с установленными бюджетом, сроками и качеством.

• IT-рекрутер — это человек, который помогает компаниям найти подходящих кандидатов на IT-вакансии. Они работают с клиентами, чтобы понять их потребности, а затем ищут и отбирают кандидатов, которые соответствуют этим потребностям. IT-рекрутеры также проводят собеседования с кандидатами и дают им обратную связь.

90 ДНЕЙ СПУСТЯ
Город

3 месяца назад я переехал в Москву и устроился дата инженером в Сбер. В этой небольшой серии постов хотел бы подвести небольшие итоги и поделиться личными впечатлениями этого трехмесячного периода и рассказать о городе, работе из офиса и работе de в Сбере

Начнем с города
Немного вводных обо мне: почти всю жизнь прожил в городке с населением меньше 1000 человек, не много жил в Екатеринбурге, выходные люблю проводить в квартире лежа на диване

Из этого может сложиться впечатление, что мне не должна была понравится Москва. Город с огромным количеством людей, а лежать на диване дешевле в регионе, чем в квартире в Москве. Да и я сначала так и думал и совсем не планировал тут оказаться. Думал куда-то переезжать, выбирал город, но принятое предложение по работе и я оказался тут

Только приехав, мне тут сразу понравилось. Не могу точно сказать что именно, но тут круто. Понимаю, что это просто мнение и никаких объективных фактов, но для них мне нужно было бы пожить во многих городах, чтобы привести объективные аргументы, а я успел только не много пожить в Екб, при этом в не самом хорошем районе

Также большим показателем для меня является, что я куда-то выбираюсь из дома в свободное время, диван из моей жизни никуда не делся, но его стало меньше, а если город может посоревноваться с диваном, то это о чем-то говорит)

Пока я тут, но понимаю, что как неожиданно тут оказался, также неожиданно могу исчезнуть из этого города. Но пока я тут и мне тут нравится)

—————————————————
А в комментариях было бы интересно услышать, если бы у вас была бы возможность выбрать любой город России или мира, то какой вы бы выбрали и почему?

90 ДНЕЙ СПУСТЯ
Работа в офисе

Об этом я решил рассказать, т.к. до этого приходилось работать только удаленно, а сейчас нужно идти своими ногами до офиса и там сидеть целый день

Наверное, если бы у меня был выбор, при прочих равных, я бы предпочел работать удаленно, по крайне мере такое решение я бы принял 3 месяца назад

Главным минусом работы из офиса я считаю дорогу в этот самый офис, ведь она, при не самых хороших условиях, может равняться чуть ли не половине твоего рабочего дня, и это стремно. Но в моем случаи она занимает всего 30 мин., а прогуляться пол часа даже в кайф, поэтому дорога до офиса не является для меня минусом.

А других больших минусов для меня и нет. Можно, конечно еще сказать и о том что если работаешь из офиса, нужно переезжать в крупный город, а лучше в Москву, но в предыдущем посте я написал, что мне тут пока нравится. Четкого распорядка пришел 9 ушел в 6 у нас нет. Видеть и общаться в живую с противными коллегами - да они вроде не противные

Не думал, что такое скажу напишу, но мне норм работать из офиса, тем более сейчас уже перехожу на гибридный формат

В будущем, мне бы, наверное, хотелось работать из дома, но ведь еще 4 месяца назад мне не нравилась офисная жизнь, а сейчас норм, поэтому не буду загадывать

—————————————————
А вам нравится работать в офисе или предпочитаете видеть коллег через монитор?

Новый канал

Запускаю ютуб канал

Первый ролик, в котором айти блогер Свят интервью дает уже на канале

Интервью ойтишников Свят 404 | Музыка, блогерство и ложь на собеседовании

Приятного просмотра!

https://youtu.be/O4nOTL6_RFw

90 ДНЕЙ СПУСТЯ
Сбер

Когда весной я менял работу и меня на руках были два оффера от Сбера и от еще одной компании поменьше. Я выбрал зелененькую организацию. Было непросто отказаться от тех 5 миллионов рублей в месяц, которые мне предлагали в другом оффере, но на тот момент я решил, что на данном этапе мне будет полезно поработать в более крупной компании, там ведь 100% все процессы уже отлажены и все работает идеально

Реальность оказалась не такой идеальной, тут есть свои проблемы и есть вещи, которые работают не так как хотелось бы.

Расстроило ли меня это? В первое время меня это действительно не много расстраивало, хотя в целом был доволен. А теперь мне ок

Возможно я просто привык, может из-за того, что вижу, что эти недостатки решаются. А может потому что я и сам не идеален и еще не готов работать в компании без недостатков, да не бред какой-то я идеален, еще поискать надо того кто идеальнее меня

Вообщем тут ок, и сейчас я совсем не сомневаюсь, что тогда весной принял правильное предложение

90 ДНЕЙ СПУСТЯ
Data engineer

До прихода в Сбер я занимался весьма разными вещами: Строил предсказательные модельльки, автоматизировал отчеты, строил визуализация в bi-инструментах, делал чат-бота и строил etl потоки. Из всего этого мне больше всего понравилось последнее, и именно этим я и захотел заниматься. Во многом из-за этого я и сменил предыдущую работу, так как хотел заниматься только этим

И вот теперь я дата инженер, перекладываю таблички строю etl потоки. Нравится ли мне это? Да. Но многим тут, наверное, будет скучно, ведь тут не делаешь сайты которые потом увидят много людей, или не делаешь игры в которые сам любим играть в детстве, ты просто работаешь с данными, но мне это и правда нравится)

Теперь мои задачи более узкие и благодаря этому я могу расти намного быстрее, а это для меня сейчас главное. Я не могу с полной уверенностью сказать, что теперь всю жизнь буду de, но на ближайшее время это точно та область в которой я хочу и буду развиваться и могу точно сказать, что сделал правильный выбор выбрав это направление


90 дней позади.
Пролог пройден.

А что учить?

Такой вопрос возникает у многих людей которые только хотят войти в айти. Я считаю, что нужно учить то, что написано в вакансиях, после изучения основ, конечно

Достаточно только посмотреть требования и сразу станет понятно, что должен знать специалист желающий работать в этой должности

Чтобы вручную не просматривать вакансии, пытаясь понять, что именно необходимо знать, можно воспользоваться сайтом wehh.ru. После ввода желаемой должности выведется список необходимых навыков и можно приступать к их изучению

На скриншоте выведены необходимые навыки для data engineer


—————————
Согласны, что с таким подходом или считаете, что список необходимых для изучения навыков должен формироваться иным образом

Опять говорю с человеком

Пообщались с Настей в новом выпуске интервью ойтишников

Все бегом смотреть

Интервью ойтишников miracl6 | data science, девушки в it, свои курсы
https://youtu.be/mmNl0AFXoWo

Давненько я ничего не писал сюда, но может хоть истории повыставляю по возможности

Поэтому кому интересно, поддержите меня в этом, проголосуйте, пожалуйста)

https://t.me/datamisha?boost

Ну раз вы не захотели чтобы я спамил вас историями, то значит буду спамить вас постами

За последние 30 дней я написал ровно 0 постов, если не считать анонса видоса и просьбу проголосовать за меня (спасибо что сделали это) пора исправлять это

Значит так в ближайшие 30 дней я буду писать по посту в день, но у вас есть возможность все это прекратить раньше, если разрешите мне постить истории

———————————
Если все это надоело то тыкни сюда

«Любимый понедельник»

Недавно прочитал пост о том почему понедельники многие люди так не любят

Автор утверждает, что все из-за того, что на выходных мы думаем о делах которые нужно сделать в понедельник утром и чтобы избежать этого лишнего стресса можно просто не планировать серьезные дела на утро понедельника, а лучше и на весь понедельник

Я согласен с этим утверждением, но вот я по понедельникам заявляюсь в релиз, можно конечно сделать это заранее, чтобы не бегать с утра, но ведь это неинтересно

Не будьте как я, не делайте важные дела утром понедельника


А как проходит ваш первый рабочий день на неделе?)

———————————
Если все это надоело то тыкни сюда

КТО ТЫ

Это я почему ничего не пишу хотя обещал, а это потому что:

1) Я выставил историю, после этого чувак забрал свой голос и я не могу теперь больше выставлять истории

2) А для кого писать. Я вас не знаю, представьтесь пожалуйста, ответьте на вопрос ниже, а если еще и в коментах что-то про себя напишите, то будет ваще супер

———————————
Если все это надоело то тыкни сюда

А зачем это все?

Зачем пишу в тг канал? А я и не знаю? Может когда смогу ответить на этот вопрос, то и писать станет легче

Но не смотря на то что сам не знаю зачем это делаю, вам советую тоже попробовать. Каждому из нас есть что сказать. КАЖДОМУ

И вот есть еще прикольный видосик, в котором рассказывается как и зачем ввести свой телеграмм канал, там у автора, в отличии от меня есть более четкий ответ)

———————————
Если все это надоело то тыкни сюда

ETL (Extract, Transform, Load — извлечение, преобразование, загрузка) — это процесс миграции данных из одного источника в другой. Он включает в себя три основных этапа: извлечение данных из источника, их трансформацию и загрузку в целевую систему

Знать ETL необходимо каждому специалисту так или иначе работающему с данными, особенно дата инженеру

Одним из самых популярных ETL инструментов является Airflow, рекомендую начать с него, но если ваш уровень знания python не высок, то можете также посмотреть в сторону инструментов, где не требуются знания языков программирования, например NiFi

Иногда в больших компаниях используются собственные ETL инструменты, но какие-то общие знания о том, что такое ETL и знание каких-либо инструментов будут необходимы


Доп. Материалы:
https://www.youtube.com/watch?v=3IRU-E_BnYc
https://www.youtube.com/watch?v=jxwbrjhLz38
https://cloud.yandex.ru/blog/posts/2023/02/extract-transform-load