А зачем это все?

Зачем пишу в тг канал? А я и не знаю? Может когда смогу ответить на этот вопрос, то и писать станет легче

Но не смотря на то что сам не знаю зачем это делаю, вам советую тоже попробовать. Каждому из нас есть что сказать. КАЖДОМУ

И вот есть еще прикольный видосик, в котором рассказывается как и зачем ввести свой телеграмм канал, там у автора, в отличии от меня есть более четкий ответ)

———————————
Если все это надоело то тыкни сюда

ETL (Extract, Transform, Load — извлечение, преобразование, загрузка) — это процесс миграции данных из одного источника в другой. Он включает в себя три основных этапа: извлечение данных из источника, их трансформацию и загрузку в целевую систему

Знать ETL необходимо каждому специалисту так или иначе работающему с данными, особенно дата инженеру

Одним из самых популярных ETL инструментов является Airflow, рекомендую начать с него, но если ваш уровень знания python не высок, то можете также посмотреть в сторону инструментов, где не требуются знания языков программирования, например NiFi

Иногда в больших компаниях используются собственные ETL инструменты, но какие-то общие знания о том, что такое ETL и знание каких-либо инструментов будут необходимы


Доп. Материалы:
https://www.youtube.com/watch?v=3IRU-E_BnYc
https://www.youtube.com/watch?v=jxwbrjhLz38
https://cloud.yandex.ru/blog/posts/2023/02/extract-transform-load

Про виды БД

Думаю, многие из вас знакомы с реляционными БД

Реляционные базы данных - это тип баз данных, который используется для хранения информации в виде таблиц. Каждая таблица состоит из строк и столбцов. Каждая строка представляет собой запись, а каждый столбец представляет собой атрибут. Суть реляционных баз в хранении данных в связанных таблицах. 

Реляционные базы данных могут быть строковыми (PostgreSQL) и столбцовые (ClickHouse), которые лучше подходят для аналитических операциях

Реляционные БД являются самыми распространенными, но помимо них есть другие, например Key-value

Key-value базы данных - это тип баз данных, который хранит данные в виде пар ключ-значение. Ключ - это уникальный идентификатор, а значение - это данные, связанные с этим ключом. Ключи и значения могут быть любого типа, от простых до сложных составных объектов. Key-value базы данных используются для кэширования данных, хранения сессий пользователей и т.д. Они обладают высокой скоростью работы и простой моделью хранения данных, но могут быть неэффективными при работе с группой записей. Пример такой БД является Redis

Есть еще много видов БД, например документо-ориентированные БД (MongoDB) и графовые базы данных (Neo4j), обо всех них вы можете сами нагуглить или посмотреть\почитать в доп. материалах

Доп. материалы
https://habr.com/ru/companies/amvera/articles/754702/
https://proglib.io/p/11-tipov-sovremennyh-baz-dannyh-kratkie-opisaniya-shemy-i-primery-bd-2020-01-07
https://www.youtube.com/watch?v=Xu4S2OX8Gb4

Отыскал книжку о том как делать разные штучки на python с помощью api ChatGPT

Не реклама, а рекомендация

Мой коллега ведет крутой канал про инвестиции. Рассказывает о новых размещениях на рынке, говорит о новостях, высказывает свое мнения, подводит итоги дня и что-то там еще делает. Полезный контент, короче
https://t.me/investmentsprofit

Ну и заодно вставлю ссылку на свой второй канал. На котором пока я писала только о фильмах и то не очень интересно
https://t.me/MihaVeryNiceOfficial

На чем пишет дата инженер

Помимо знания sql, дата инженеру также необходимо знать язык программирования, чаще всего это python. Иногда может так случиться, что и sql знать необязательно, достаточно одного питона. Например в этом посте видно, что python в вакансиях встречается даже чуть чаще чем sql

Помимо python также может потребоваться знания java или Scala, особенно если предстоит работать со spark

———
Как считаете, почему именно python является главным языком для работы с данными?

Hadoop

Если данных становится очень много и их становится невозможно обработать на одной машине, то на помощь придет Hadoop. Эта штука непросто устроена внутри, но для пользователей вся сложность скрыта и данными можно работать с помощью несложных инструментов

Например с помощью hive sql, который просто является одним из диалектов sql и не является каким-то сложным

Если хотите более официальное определение Hadoop, то вот
Apache Hadoop - это бесплатный фреймворк с открытым исходным кодом, который позволяет обрабатывать большие объемы данных на кластерах из сотен и тысяч узлов Он разработан для распределенной обработки больших наборов данных на кластерах компьютеров с использованием простых моделей программирования. Hadoop позволяет масштабироваться от одного сервера до тысяч машин, каждая из которых предлагает локальные вычисления и хранение. Вместо того, чтобы полагаться на аппаратное обеспечение для обеспечения высокой доступности, библиотека сама способна обнаруживать и обрабатывать сбои на уровне приложения, обеспечивая высокодоступный сервис поверх кластера компьютеров, каждый из которых может быть подвержен сбоям

Доп. материалы
Крутой курс - https://stepik.org/course/150/promo

https://bigdataschool.ru/wiki/hadoop
https://habr.com/ru/articles/240405/
https://www.youtube.com/watch?v=F4j9InmpbcE

Уволился.

Я устроился в Сбер 7,5 месяцев назад и сегодня был мой последний день тут

Хоть и проработал я в этом месте совсем не много, даже по айтишным меркам, но нельзя сказать, что я убегаю с ужасного места. Это было крутое место, веселое, я благодарен этому месту и своим коллегам, вы крутые

Почему же тогда ухожу? Я не чувствую, что это идеальное место для меня. Возможно этого идеального места и не существует, но пока молодой хочу все таки поискать его, попробовать)

Ухожу в Сбер образование. Окажется ли это место идеальным?) Узнаем

Ищи

Прошла моя первая неделя на новом рабочем месте. Не хочу делать каких-то выводов заранее, крутое ли это место, лучше ли оно предыдущего, но уже могу точно сказать, что точно не пожалею над решением уйти со старого места работы (не потому что оно было плохое)

Мне иногда в личку пишут с вопросом «Какое направление выбрать» я им всегда отвечаю, что не знаю и советовать что-то в этом плане вообще не хочу. Человек должен сам попробовать и понять, что ему нравится, а выбирать ту или иную область только лишь потому что там много платят или по какой-то другой причине, не считая той, что тебе нравится этим заниматься, я считаю неправильно

Когда я только хотел входить в айти, то захотел чтобы в моей работе кроме программирования были еще и данные, поэтому я выбрал data science (ds). Стал изучать это и на свою первую работу тоже устраивался как ds, но потом захотелось больше попробовать себя в роли data engineer’a и я стал им. Потом я решил что мое предыдущее место мне не очень подходит и перешел в Сбер Образование, что будет дальше я пока не знаю

О чем вообще я)
Может и не существует идеальной работы с идеальными задачами, но поискать все таки стоит попробовать)

——————————————
Меняли ли вы ту область в которой вы работаете? Искали ли вы идеальное место?)

С наступающим Новым годом!!!

В этот год, лично у меня, много что произошло, но об итогах года позже

А сейчас я бы хотел пожелать вам и себе заниматься в новом году тем, чем больше всего хочется заниматься
В моем случаи во многом речь про этот телеграмм канал, хотелось буду в новом году больше писать сюда
А также про 2 ютуб канала
Что в новом году будут выходить на канале noData Миша я пока точно не знаю, но обязательно что-нибудь буду пробовать
А вот на канале Ойтишники уже в январе выйдет 2 новых интервью и в течении года продолжит выходить контент, в том числе и новые форматы

Всех еще раз с наступающим и до встречи в следующем году!!!

Слепая печать

Год назад я пытался научиться слепой и даже достиг каких-то результатов

Сейчас решил проверить улучшились ли результаты за этот год и оказалось что да. Результаты выросли, хотя после января в сам тренажер я не заходил, а только оттачивал навык на практике

Я, конечно, далеко не идеально это делаю, неправильно ставлю пальцы и все такое, но в целом печатаю в слепую, так что тот месяц страданий того стоил

Если вы не мало времени проводите за печатанием и все еще не умеете делать это вслепую, то советую попробовать научиться

Тренажер
Тут проверял скорость

——————————————
А вы считаете навык слепой печати необходимостью или просто поводом понтоваться?)

Подвел итоги за 2023 год

https://telegra.ph/Itogi-2023-goda-01-05-2

Опять говорю с айтишником

На канале вышло интервью с Антоном Павленко
Поговорили про devops, идеальное место жительства и конечно же про деньги

https://www.youtube.com/watch?v=jdKt0CzG8iY

Новое интервью на канале ОЙтишники

На этот раз в гостях был Михаил Фленов с канала Програмысли
Поговорили про долгую карьеру, жизнь в Канаде и конечно про деньги)

https://www.youtube.com/watch?v=w0fQlegW2ME

Про свою первую стажировку. Падать не больно

Ближе к концу второго курса универа, я считал, что знаю достаточно, чтобы искать свою первую стажировку. Откликался я на все с подряд где были слова data science (он меня тогда интересовал больше), анализ данных и все такое. Но результата особо не было и в надежде найти хоть какую-то работу даже пробовался в поддержку Яндекс - не взяли)
К концу июня Мегафон сказал, что готов прособеседовать меня, а я на тот момент уже и забыл, что откликался на их вакансию. Прошел собес, выполнил тестовое и наконец-то оказался

Стажировка шла 3 месяца и по ее итогам
Я стал единственным из 6 людей, кого не взяли в штат. Так что если вы когда-нибудь почувствуете, что вы не справляетесь и что это все вообще не для вас, то, возможно, это правда, а может и нет, откуда мне то знать

Меньше чем через полгода я нашел новую стажировку, а там и полноценную работу. Поднялся после падания, получается