На чем пишет дата инженер

Помимо знания sql, дата инженеру также необходимо знать язык программирования, чаще всего это python. Иногда может так случиться, что и sql знать необязательно, достаточно одного питона. Например в этом посте видно, что python в вакансиях встречается даже чуть чаще чем sql

Помимо python также может потребоваться знания java или Scala, особенно если предстоит работать со spark

———
Как считаете, почему именно python является главным языком для работы с данными?

Hadoop

Если данных становится очень много и их становится невозможно обработать на одной машине, то на помощь придет Hadoop. Эта штука непросто устроена внутри, но для пользователей вся сложность скрыта и данными можно работать с помощью несложных инструментов

Например с помощью hive sql, который просто является одним из диалектов sql и не является каким-то сложным

Если хотите более официальное определение Hadoop, то вот
Apache Hadoop - это бесплатный фреймворк с открытым исходным кодом, который позволяет обрабатывать большие объемы данных на кластерах из сотен и тысяч узлов Он разработан для распределенной обработки больших наборов данных на кластерах компьютеров с использованием простых моделей программирования. Hadoop позволяет масштабироваться от одного сервера до тысяч машин, каждая из которых предлагает локальные вычисления и хранение. Вместо того, чтобы полагаться на аппаратное обеспечение для обеспечения высокой доступности, библиотека сама способна обнаруживать и обрабатывать сбои на уровне приложения, обеспечивая высокодоступный сервис поверх кластера компьютеров, каждый из которых может быть подвержен сбоям

Доп. материалы
Крутой курс - https://stepik.org/course/150/promo

https://bigdataschool.ru/wiki/hadoop
https://habr.com/ru/articles/240405/
https://www.youtube.com/watch?v=F4j9InmpbcE

Уволился.

Я устроился в Сбер 7,5 месяцев назад и сегодня был мой последний день тут

Хоть и проработал я в этом месте совсем не много, даже по айтишным меркам, но нельзя сказать, что я убегаю с ужасного места. Это было крутое место, веселое, я благодарен этому месту и своим коллегам, вы крутые

Почему же тогда ухожу? Я не чувствую, что это идеальное место для меня. Возможно этого идеального места и не существует, но пока молодой хочу все таки поискать его, попробовать)

Ухожу в Сбер образование. Окажется ли это место идеальным?) Узнаем

Ищи

Прошла моя первая неделя на новом рабочем месте. Не хочу делать каких-то выводов заранее, крутое ли это место, лучше ли оно предыдущего, но уже могу точно сказать, что точно не пожалею над решением уйти со старого места работы (не потому что оно было плохое)

Мне иногда в личку пишут с вопросом «Какое направление выбрать» я им всегда отвечаю, что не знаю и советовать что-то в этом плане вообще не хочу. Человек должен сам попробовать и понять, что ему нравится, а выбирать ту или иную область только лишь потому что там много платят или по какой-то другой причине, не считая той, что тебе нравится этим заниматься, я считаю неправильно

Когда я только хотел входить в айти, то захотел чтобы в моей работе кроме программирования были еще и данные, поэтому я выбрал data science (ds). Стал изучать это и на свою первую работу тоже устраивался как ds, но потом захотелось больше попробовать себя в роли data engineer’a и я стал им. Потом я решил что мое предыдущее место мне не очень подходит и перешел в Сбер Образование, что будет дальше я пока не знаю

О чем вообще я)
Может и не существует идеальной работы с идеальными задачами, но поискать все таки стоит попробовать)

——————————————
Меняли ли вы ту область в которой вы работаете? Искали ли вы идеальное место?)

С наступающим Новым годом!!!

В этот год, лично у меня, много что произошло, но об итогах года позже

А сейчас я бы хотел пожелать вам и себе заниматься в новом году тем, чем больше всего хочется заниматься
В моем случаи во многом речь про этот телеграмм канал, хотелось буду в новом году больше писать сюда
А также про 2 ютуб канала
Что в новом году будут выходить на канале noData Миша я пока точно не знаю, но обязательно что-нибудь буду пробовать
А вот на канале Ойтишники уже в январе выйдет 2 новых интервью и в течении года продолжит выходить контент, в том числе и новые форматы

Всех еще раз с наступающим и до встречи в следующем году!!!

Слепая печать

Год назад я пытался научиться слепой и даже достиг каких-то результатов

Сейчас решил проверить улучшились ли результаты за этот год и оказалось что да. Результаты выросли, хотя после января в сам тренажер я не заходил, а только оттачивал навык на практике

Я, конечно, далеко не идеально это делаю, неправильно ставлю пальцы и все такое, но в целом печатаю в слепую, так что тот месяц страданий того стоил

Если вы не мало времени проводите за печатанием и все еще не умеете делать это вслепую, то советую попробовать научиться

Тренажер
Тут проверял скорость

——————————————
А вы считаете навык слепой печати необходимостью или просто поводом понтоваться?)

Подвел итоги за 2023 год

https://telegra.ph/Itogi-2023-goda-01-05-2

Опять говорю с айтишником

На канале вышло интервью с Антоном Павленко
Поговорили про devops, идеальное место жительства и конечно же про деньги

https://www.youtube.com/watch?v=jdKt0CzG8iY

Новое интервью на канале ОЙтишники

На этот раз в гостях был Михаил Фленов с канала Програмысли
Поговорили про долгую карьеру, жизнь в Канаде и конечно про деньги)

https://www.youtube.com/watch?v=w0fQlegW2ME

Про свою первую стажировку. Падать не больно

Ближе к концу второго курса универа, я считал, что знаю достаточно, чтобы искать свою первую стажировку. Откликался я на все с подряд где были слова data science (он меня тогда интересовал больше), анализ данных и все такое. Но результата особо не было и в надежде найти хоть какую-то работу даже пробовался в поддержку Яндекс - не взяли)
К концу июня Мегафон сказал, что готов прособеседовать меня, а я на тот момент уже и забыл, что откликался на их вакансию. Прошел собес, выполнил тестовое и наконец-то оказался

Стажировка шла 3 месяца и по ее итогам
Я стал единственным из 6 людей, кого не взяли в штат. Так что если вы когда-нибудь почувствуете, что вы не справляетесь и что это все вообще не для вас, то, возможно, это правда, а может и нет, откуда мне то знать

Меньше чем через полгода я нашел новую стажировку, а там и полноценную работу. Поднялся после падания, получается

Про свою вторую стажировку. Я просто сделал это

После эпичного провала, о котором я рассказывал в предыдущем посте, я попал на стажировку в компанию Норбит. Я уверен, что мало из тех, кто читает вообще знает о такой компании. Но там было круто. Слышали, наверное, о таком, что стажировка это как учеба, но только тебе еще и деньги платят. Там реально так было. У нас было более 30 вебинаров, которые проводили сами сотрудники по разным темам (базы данных, ml, etl, визуализация данных, линукс и др.), потом были дз по этим темам, задачи по программированию и работа над собственными проектами

Я не знаю как проходят стажировки в других компаниях, но эта была просто офигенная. Ну и и тут я не стал тем лохом и смог остаться работать после окончания стажировки

Возможно, это должен был быть пост о том как выбрать крутую стажировку и остаться в компании после ее завершения, но я не знаю как это сделать. На стажировку я шел туда, куда меня брали. Удалось остаться на полноценную работу, я тоже не знаю почему, видимо норм на стажировке себя вел

Короче, пробуйте. Подавайте сотни откликов, проваливайте десятки собеседований и тогда у вас обязательно получится, а может и нет, откуда мне то знать

Видео

Я решил записать серию коротких видео, которые позволят познакомиться с тем, чем занимается дата инженер

В видео рассказывается о необходимом наборе программ для data engineer'a

https://www.youtube.com/watch?v=RJamFgzbRp0
https://www.youtube.com/watch?v=RJamFgzbRp0
https://www.youtube.com/watch?v=RJamFgzbRp0

Про open source

Наткнулся на интересное интервью, которое про PostgreSQL, а точнее даже про PostgresPro, но большая часть разговора в целом про open source
Про вклад российского комьюнити и всегда open source такой open

https://youtu.be/d9joPLRULeA?si=AwdMfAuZj3opPqhN

Про внутренние инструменты или главное зло больших компаний

Я уже больше двух месяцев в Сбер Образовании (и меня даже пока не уволили) и как же круто когда все используемое ПО является популярным, а не внутренними инструментами компании или штуками, которые мало где используются
Я сейчас использую в работе airflow и так приятно и легко когда можешь без проблем загуглить ошибку, при использовании внутренних инструментов все бывает намного сложнее

Также стоить помнить и про развитие навыков. Работаешь ты долго с каким-то инструментом, становишься спецом, а потом решаешься уволиться (это не про меня) и твои эти навыки работы с инструментом уже не нужны

Этот пост не про то, что нужно всегда избегать компаний с внутренними инструментами, как минимум они ведь для чего-то созданы, а значит и плюсы у них должны быть (наверное), но про их минусы тоже стоит помнить

Экономика данных

Путин объявил о запуске нацпроекта «Экономика данных»

Я пока не сильно понял, что это такое, да и вряд ли сейчас есть какая-то конкретика по этому поводу
Но там есть слово «данные» и еще есть 700 млрд руб. за 6 лет

Можно долго говорить о том, что это лишь распил и лучше пользовались бы западными аналогами, но сейчас это невозможно, тем более в гос. секторе
Да и даже если было бы возможно, если все бы жили в мире и согласии, то существовать и понимать, что тебе в любой момент могут перекрыть краник со всеми технологиями. В технологический век это не сильно безопаснее ядерного оружия. Поэтому даже круто, что сейчас краник уже немного перекрыли и поэтому приходится многое делать самим

Тут какой-то чел про etl инструмент - NiFi рассказывает, хотя сам ничего не понимает
Но вроде парень крутой, поэтому можете глянуть

https://youtu.be/eXu_cF5bEjA

Тут у Свята ролик вышел о грейдах в it

Я там тоже свое экспертное мнение выразил

Junior, Middle, Senior - требования на работе

🔥🔥Новое видео на канале!🔥🔥

https://youtu.be/Ya1iCOF63qE
https://youtu.be/Ya1iCOF63qE
https://youtu.be/Ya1iCOF63qE

- Junior, Middle, Senior - в чем разница?
- Почему некоторые Junior вакансии требуют знания как у Senior разработчика?
- Кто назначает лейблы Junior, Middle и Senior?

Ответы в новом видео 😉

С вас лайки, коменты и репосты - с меня годный контент 😘

🔥- ролик огонь!
❤️ - ролик огонь, выпускай чаще!

Свята место | Чат | Бот | Boosty

Гугл знает лучше

Или коллега или чат гпт, или рандомный чел на видос которого ты случайно наткнулся

Я о ситуации когда попадается тебе знакомая задача, которую ты уже 100 раз делал и все знаешь про ее решения. Но, возможно, тебе лишь кажется, что ты знаешь самое лучшее решение. Оно будет решать твою задачу, но, возможно, есть какое-то более оптимальное решение, а ты его даже не узнаешь, ведь зачем если твое решение самое лучшее.
Возможно, в тот момент когда вы узнали о своем решение оно и было самым лучшим, а может оно даже и тогда таковым не было

Поэтому когда вам попадается знакомая задачи прежде чем приступать к ее решение, потратьте немного времени вдруг найдутся решение получше

Мне недавно нужно в таблички посчитать count по двум разным условиям. Ну я и думал, что или два отдельных запроса или юнион, а оказывается можно фильтр при каунте указать

COUNT(*) FILTER (WHERE table_type = 'BASE TABLE')

Глупый Миша элементарных вещей не знает, но он вместо того чтобы решать, решил поискать решение получше и теперь он чуть менее глупый. Вот так вот

Вам нравится читать контент на этом канале?

Возможно, вы задумывались о том, чтобы купить на нем интеграцию?

Следуйте 3 простым шагам, чтобы сделать это:

1) Регистрируйтесь по ссылке: https://telega.in/c/datamisha
2) Пополняйтесь удобным способом
3) Размещайте публикацию

Если тематика вашего поста подойдет нашему каналу, мы с удовольствием опубликуем его.