А что учить?

Такой вопрос возникает у многих людей которые только хотят войти в айти. Я считаю, что нужно учить то, что написано в вакансиях, после изучения основ, конечно

Достаточно только посмотреть требования и сразу станет понятно, что должен знать специалист желающий работать в этой должности

Чтобы вручную не просматривать вакансии, пытаясь понять, что именно необходимо знать, можно воспользоваться сайтом wehh.ru. После ввода желаемой должности выведется список необходимых навыков и можно приступать к их изучению

На скриншоте выведены необходимые навыки для data engineer


—————————
Согласны, что с таким подходом или считаете, что список необходимых для изучения навыков должен формироваться иным образом

Опять говорю с человеком

Пообщались с Настей в новом выпуске интервью ойтишников

Все бегом смотреть

Интервью ойтишников miracl6 | data science, девушки в it, свои курсы
https://youtu.be/mmNl0AFXoWo

Давненько я ничего не писал сюда, но может хоть истории повыставляю по возможности

Поэтому кому интересно, поддержите меня в этом, проголосуйте, пожалуйста)

https://t.me/datamisha?boost

Ну раз вы не захотели чтобы я спамил вас историями, то значит буду спамить вас постами

За последние 30 дней я написал ровно 0 постов, если не считать анонса видоса и просьбу проголосовать за меня (спасибо что сделали это) пора исправлять это

Значит так в ближайшие 30 дней я буду писать по посту в день, но у вас есть возможность все это прекратить раньше, если разрешите мне постить истории

———————————
Если все это надоело то тыкни сюда

«Любимый понедельник»

Недавно прочитал пост о том почему понедельники многие люди так не любят

Автор утверждает, что все из-за того, что на выходных мы думаем о делах которые нужно сделать в понедельник утром и чтобы избежать этого лишнего стресса можно просто не планировать серьезные дела на утро понедельника, а лучше и на весь понедельник

Я согласен с этим утверждением, но вот я по понедельникам заявляюсь в релиз, можно конечно сделать это заранее, чтобы не бегать с утра, но ведь это неинтересно

Не будьте как я, не делайте важные дела утром понедельника


А как проходит ваш первый рабочий день на неделе?)

———————————
Если все это надоело то тыкни сюда

КТО ТЫ

Это я почему ничего не пишу хотя обещал, а это потому что:

1) Я выставил историю, после этого чувак забрал свой голос и я не могу теперь больше выставлять истории

2) А для кого писать. Я вас не знаю, представьтесь пожалуйста, ответьте на вопрос ниже, а если еще и в коментах что-то про себя напишите, то будет ваще супер

———————————
Если все это надоело то тыкни сюда

А зачем это все?

Зачем пишу в тг канал? А я и не знаю? Может когда смогу ответить на этот вопрос, то и писать станет легче

Но не смотря на то что сам не знаю зачем это делаю, вам советую тоже попробовать. Каждому из нас есть что сказать. КАЖДОМУ

И вот есть еще прикольный видосик, в котором рассказывается как и зачем ввести свой телеграмм канал, там у автора, в отличии от меня есть более четкий ответ)

———————————
Если все это надоело то тыкни сюда

ETL (Extract, Transform, Load — извлечение, преобразование, загрузка) — это процесс миграции данных из одного источника в другой. Он включает в себя три основных этапа: извлечение данных из источника, их трансформацию и загрузку в целевую систему

Знать ETL необходимо каждому специалисту так или иначе работающему с данными, особенно дата инженеру

Одним из самых популярных ETL инструментов является Airflow, рекомендую начать с него, но если ваш уровень знания python не высок, то можете также посмотреть в сторону инструментов, где не требуются знания языков программирования, например NiFi

Иногда в больших компаниях используются собственные ETL инструменты, но какие-то общие знания о том, что такое ETL и знание каких-либо инструментов будут необходимы


Доп. Материалы:
https://www.youtube.com/watch?v=3IRU-E_BnYc
https://www.youtube.com/watch?v=jxwbrjhLz38
https://cloud.yandex.ru/blog/posts/2023/02/extract-transform-load

Про виды БД

Думаю, многие из вас знакомы с реляционными БД

Реляционные базы данных - это тип баз данных, который используется для хранения информации в виде таблиц. Каждая таблица состоит из строк и столбцов. Каждая строка представляет собой запись, а каждый столбец представляет собой атрибут. Суть реляционных баз в хранении данных в связанных таблицах. 

Реляционные базы данных могут быть строковыми (PostgreSQL) и столбцовые (ClickHouse), которые лучше подходят для аналитических операциях

Реляционные БД являются самыми распространенными, но помимо них есть другие, например Key-value

Key-value базы данных - это тип баз данных, который хранит данные в виде пар ключ-значение. Ключ - это уникальный идентификатор, а значение - это данные, связанные с этим ключом. Ключи и значения могут быть любого типа, от простых до сложных составных объектов. Key-value базы данных используются для кэширования данных, хранения сессий пользователей и т.д. Они обладают высокой скоростью работы и простой моделью хранения данных, но могут быть неэффективными при работе с группой записей. Пример такой БД является Redis

Есть еще много видов БД, например документо-ориентированные БД (MongoDB) и графовые базы данных (Neo4j), обо всех них вы можете сами нагуглить или посмотреть\почитать в доп. материалах

Доп. материалы
https://habr.com/ru/companies/amvera/articles/754702/
https://proglib.io/p/11-tipov-sovremennyh-baz-dannyh-kratkie-opisaniya-shemy-i-primery-bd-2020-01-07
https://www.youtube.com/watch?v=Xu4S2OX8Gb4

Отыскал книжку о том как делать разные штучки на python с помощью api ChatGPT

Не реклама, а рекомендация

Мой коллега ведет крутой канал про инвестиции. Рассказывает о новых размещениях на рынке, говорит о новостях, высказывает свое мнения, подводит итоги дня и что-то там еще делает. Полезный контент, короче
https://t.me/investmentsprofit

Ну и заодно вставлю ссылку на свой второй канал. На котором пока я писала только о фильмах и то не очень интересно
https://t.me/MihaVeryNiceOfficial

На чем пишет дата инженер

Помимо знания sql, дата инженеру также необходимо знать язык программирования, чаще всего это python. Иногда может так случиться, что и sql знать необязательно, достаточно одного питона. Например в этом посте видно, что python в вакансиях встречается даже чуть чаще чем sql

Помимо python также может потребоваться знания java или Scala, особенно если предстоит работать со spark

———
Как считаете, почему именно python является главным языком для работы с данными?

Hadoop

Если данных становится очень много и их становится невозможно обработать на одной машине, то на помощь придет Hadoop. Эта штука непросто устроена внутри, но для пользователей вся сложность скрыта и данными можно работать с помощью несложных инструментов

Например с помощью hive sql, который просто является одним из диалектов sql и не является каким-то сложным

Если хотите более официальное определение Hadoop, то вот
Apache Hadoop - это бесплатный фреймворк с открытым исходным кодом, который позволяет обрабатывать большие объемы данных на кластерах из сотен и тысяч узлов Он разработан для распределенной обработки больших наборов данных на кластерах компьютеров с использованием простых моделей программирования. Hadoop позволяет масштабироваться от одного сервера до тысяч машин, каждая из которых предлагает локальные вычисления и хранение. Вместо того, чтобы полагаться на аппаратное обеспечение для обеспечения высокой доступности, библиотека сама способна обнаруживать и обрабатывать сбои на уровне приложения, обеспечивая высокодоступный сервис поверх кластера компьютеров, каждый из которых может быть подвержен сбоям

Доп. материалы
Крутой курс - https://stepik.org/course/150/promo

https://bigdataschool.ru/wiki/hadoop
https://habr.com/ru/articles/240405/
https://www.youtube.com/watch?v=F4j9InmpbcE

Уволился.

Я устроился в Сбер 7,5 месяцев назад и сегодня был мой последний день тут

Хоть и проработал я в этом месте совсем не много, даже по айтишным меркам, но нельзя сказать, что я убегаю с ужасного места. Это было крутое место, веселое, я благодарен этому месту и своим коллегам, вы крутые

Почему же тогда ухожу? Я не чувствую, что это идеальное место для меня. Возможно этого идеального места и не существует, но пока молодой хочу все таки поискать его, попробовать)

Ухожу в Сбер образование. Окажется ли это место идеальным?) Узнаем

Ищи

Прошла моя первая неделя на новом рабочем месте. Не хочу делать каких-то выводов заранее, крутое ли это место, лучше ли оно предыдущего, но уже могу точно сказать, что точно не пожалею над решением уйти со старого места работы (не потому что оно было плохое)

Мне иногда в личку пишут с вопросом «Какое направление выбрать» я им всегда отвечаю, что не знаю и советовать что-то в этом плане вообще не хочу. Человек должен сам попробовать и понять, что ему нравится, а выбирать ту или иную область только лишь потому что там много платят или по какой-то другой причине, не считая той, что тебе нравится этим заниматься, я считаю неправильно

Когда я только хотел входить в айти, то захотел чтобы в моей работе кроме программирования были еще и данные, поэтому я выбрал data science (ds). Стал изучать это и на свою первую работу тоже устраивался как ds, но потом захотелось больше попробовать себя в роли data engineer’a и я стал им. Потом я решил что мое предыдущее место мне не очень подходит и перешел в Сбер Образование, что будет дальше я пока не знаю

О чем вообще я)
Может и не существует идеальной работы с идеальными задачами, но поискать все таки стоит попробовать)

——————————————
Меняли ли вы ту область в которой вы работаете? Искали ли вы идеальное место?)