👀 Все есть в интернете, но ничего нет!

Когда я только начинал учиться, я находил курсы по python, sql и даже по Hadoop. Но абсолютно ничего не находилось по Spark.
И нет, у меня не было желания смотреть tutorial от Индусов. Это треш! Я не переношу их акцент.

Я хотел доступного объяснения, без душноты на русском языке и чтобы это было для начинающих, а не для ученых! Я отчасти веду канал именно для этого! Чтобы и самому разобраться и другим помочь!

Поэтому ближе к концу лета, а может и вовсе в сентябре я планирую записать урок по Spark. Это будет видос на youtube. Точно такой же, как вот этот про HADOOP (HDFS) или вот этот про docker. И если вы не видели, то вот этот про data engineering. Подписывайтесь!

Плюс у меня есть крутая идея. Я сделаю пробный видос про Spark для всех, кто подписан на мой бусти. Там я в прямом эфире покажу, как работает Spark и что он из себя представляет. Это будет видос-тестовый прогон. Его я сделаю в 27-28 июля!

Вы сможете в прямом эфире задать любой вопрос по Spark!

Поэтому кому не терпится побыстрее уже познакомиться со Spark, то подписывайтесь на мой бусти. Я покажу вам, как работают DE со Spark на работе.
А на что не смогу ответить, то войдет в финальный чистовой ролик уже на Youtube! Но уже осенью!

🅱️🩸🩸🩸🩸❓
Ссылка на BOOSTY
https://boosty.to/halltape_data

👩‍💻 UNION vs UNION ALL

Взял из курса на степике по DE

https://stepik.org/lesson/893154/step/1?auth=login&unit=898095

В целом для совсем нулевого уровня курс норм. Но если вы уже шарите за нормальные формы и знаете отличие OLTP vs OLAP, тогда не стоит.

🎸 Москва!

Можем встретиться на IT пикнике, если есть желание))
Если кто был уже, отпишитесь насколько прикольно или интересно. Я в целом иногда бываю на таких мероприятиях. Как минимум можем все увидеться вживую, а не сидеть в своих домах за компуктерами.

https://it-picnic.ru

Не реклама!

😘 Если ничего не делать, то точно не получится!

Это комменты на ютубе к моему видосу про то, кто такие data engineer

Например стать айтишником или пробиться со своим треком в чарты – две разные цели. И там и там есть ошибка выжившего.

Но в первой вероятность успеха намного выше. Тупо айтишников больше, чем успешных артистов. Я такой пример привожу, потому что в прошлом занимался продюссированием треков и понимаю, насколько это сложнее. Там должны все звезды сойтись.

А в айти понятный путь. Делаешь резюме, ходишь на собес. Удачно проходишь собес. Если не зовут на собес, значит корректируешь так резюме, чтобы оно попадало в фильтр. И проходишь эту игру поэтапно. Здесь четкие правила игры и есть ОКЛАД. Это ваш гарантированный доход по ТК РФ.

Не сдаемся и работаем! Те, кто двигаются, те доходят до своей цели!

🔄 Пример крутого пет проекта!

ССЫЛКА НА YOUTUBE
ССЫЛКА НА GITHUB

Чувак в реальном времени поднимает сервисы в docker compose и пишет код в airflow. На мой взгляд, если просто повторите за ним и придумаете сами несколько источников, то можно смело говорить, что у вас есть опыт работы с инструментами.

Отличие от комм опыта будет в нагрузке. Вычисления на больших данных конечно требует и контроля ресурсов в Спарке и правильный подход к партициям, кэшированию, сохранениям по слоям и так далее. Но базово понять принцип дата инженера точно получится!

Я рекомендую просто перепечатывать за ним, параллельно закидывая в cht gpt то, что вам непонятно. А еще лучше, если вы будете парсить данные с тех сайтов, которые вам интересны, чтобы было не скучно!

А я пошел смотреть другие видосы у него. Это прям находка!

➡️ Смело забивайте на задачи!

Объявление для тех, кто решает сейчас задачи на степике по python и так далее.

Если вы видите тупорылые задачи на шахматы, на матрицы или в описании задачи вообще описана какая-то история (типа олимпиадная задача), то смело пропускайте это днище и не засирайте себе мозг!

На работе нет таких задач! DE работает с таблицами, строками, списками, словарями и кортежами большую часть времени. У нас данные. У нас нет матриц или шахмат. У нас даже сортировка уже зашита внутрь мозгов питона, спарка и скл.

Не слушайте умников, которые вам затирают про БАЗУ. Типа надо сначала разобраться, как это работает на низком уровне, а только потом уже можно приступать к более сложному.

Решайте то, что решается. Сели за задачу. Если сидите над ней уже 2 часа, смело пропускайте и идите дальше. Вполне вероятно, что вы к ней сможете вернуться уже, когда получите оффер. Но вам тогда будет уже наплевать. А время идет и возраст уходит.

Пожалуйста, будьте прагматичнее и срезайте путь, как можете. В нашей жизни часто играет большую роль удача, а не умение решать олимпиадные задачи!

У меня кипит! 👨‍💻

🔤🔤🔤🔤🔤 Стрим по Spark!

Уже завтра я буду вести стрим по казино spark!

🟡 Мы соберем самую настоящую витрину данных
🟡 Покажу некоторые проблемы при расчете, а также обсудим их оптимальное решение
⚫️ Если останется время, то запустим скрипт за несколько дней и подключим логгирование

Это пример реальной задачи на работе.

Важно:
Это будет тестовый прогон в реальном времени. Можно будет задать любые вопросы по коду, настройке и так далее.
Чистовик я выпущу только осенью на своем Youtube канале (будет доступно всем бесплатно)
Более того, данные и сам скрипт я добавлю в свой проект на github, поэтому любой из вас сможет повторить это у себя дома!

Проводить стрим буду на своем Boosty!
Подписывайся, если не хочешь пропустить!

🅱️🩸🩸🩸🩸❓
https://boosty.to/halltape_data

😥 Я ничего из этого не знал!

Это 27 июля 2022. Я почти в самом начале. Я тогда пробежался по вакансиям на hh.ru и просто выписал слова из вакансий Data Engineer.

Для меня это были просто слова, ну кроме Git и python. Git я знал из школы21, а питон и так на слуху у всех. Тогда я с ужасом смотрел на этот список и сразу впадал в кому. Ментально казалось, что эти технологии надо начинать учить еще со школы, класса так с 5 (ладно, я уже утрирую), с шестого.

Т.е. видно, что я пишу PostgreSQL, а потом СУБД Postgres, хотя это одно и тоже. Или пишу Hive, хотя он входит в Hadoop. А еще мне нравится, как я написал Spark, а потом сразу же уточнил, что PySpark)) Кстати SSIS я до сих пор не знаю что это (Это что-то из MSSQL?). Если вы на этом этапе, то: "Не все технологии нужно знать сразу, какие-то догоните уже на работе"

Вот, как бы я рекомендовал идти:

1. SQL (postgre, mysql)
2. python
3. spark (pandas)
4. docker (+ Git)
5. Airflow
6. BI

Читаем теорию (по возможности тыкаем в технологию): Clickhouse, Kafka, Scala

Jira – это вообще трекер задач на работе. Максимум про него в Youtube можно глянуть.
Redis – это субд, можете в докере развернуть. Она вроде для кэша используется больше.

Короче говоря, если только начали, то не пытайтесь овладеть всем! Основа всегда одна, а там дальше соориентируетесь уже сами, когда будете на работе!

Обучаем IT-специалистов и берём в команду ⚡️

Приглашаем всех, кто любит работать с данными и имеет опыт работы с DWH от 6 месяцев, в Открытые школы Т1 — программу найма в формате ИТ-интенсива.

🚀 Это отличный шанс бесплатно прокачать навыки и присоединиться к одному из крупнейших проектов по созданию новой технологичной платформы данных в России в банковском секторе.

Лучшим участникам предложат оффер в команду Т1 — крупнейшей ИТ-компании в России по версии RAEX 2023, в портфеле которой 800+ масштабных проектов и 70+ продуктов и услуг.

Зачем участвовать?

🔹 Уникальный рыночный опыт. Т1 одни из первых на рынке, кто внедряет технологии для управления данными.

🔹 Попасть в число лучших. Проекты Т1 ежегодно получают лучшие награды на ИТ-конкурсах.

🔹 Поддержка. Тебя ждёт команда опытных профессионалов в области разработки хранилищ данных и аналитических систем, которые помогут расти и развиваться.

Выбирай:
📁 аналитик DWH
🖥 разработчик DWH

Для участия нужен опыт работы от 6 месяцев в DWH.

⏰ Быстрое обучение: 1 месяц
📱 Гибкий формат: онлайн по вечерам (от 8 часов в неделю на вебинары и практику)

Подавай заявку до 2 августа!
Предусмотрено входное тестирование.

Старт интенсива: 5 августа.

Реклама. Информация о рекламодателе

😞 Мем смешной, ситуация страшная!

Да ладно вам, расслабьтесь, вкатываться можно и в 100 лет. Но правда не в IT, а в другое место. Но не суть.

Я уже встречал в комментах под моими видосами, как люди вкатывались и в 40 и даже в 50 лет. Это конечно по сложнее задача, но все таки шанс есть. А еще есть шанс залететь на мой бусти!

Очередной раз вам напоминаю, что я раздаю там БАЗУ! А также мы проводим еженедельные созвоны на пылающие темы в DE. У нас мощнейший телеграм канал, который уже перевалил за несколько тысяч сообщений. Плюс у нас есть топик, где сохранены все аудио сообщения с созвонов, а также полезные материалы и самое главное вопросы с реальных собеседований! И их немало!

Вот список вопросов, которые мы очень глубоко обсудили и это уже доступно на бусти:
⚫️Какую зарплату просить на старте?
⚫️Сколько зарабатывают действующие DE?
⚫️Расскажи типичный день DE?
⚫️Как не спалиться в том, что не шаришь? И надо ли?
⚫️Что надо, а что точно не стоит учить для DE?
⚫️Тестовые - есть ли для данной специальности? И что в себя включают?
⚫️Отвечаем на классические вопросы с собесов (есть подготовленный список)
⚫️Показываю, как работать с Apache Spark.
⚫️Строим витрину данных с простым циклом
⚫️ Разбираем конкретный пет проект одного из участников

При этом у нас запланировано еще куча вопросов, которые мы разбираем каждую неделю по полтора-два часа. Все созвоны записываются и их можно прослушать в телеграме как подкаст!

Поэтому даже если вы залетите на бусти сегодня-завтра, вы сможете наверстать упущенное буквально в первый вечер!

🅱️🩸🩸🩸🩸❓
https://boosty.to/halltape_data