Собрали ссылки на бесплатные ресурсы, которые будут полезны при подготовке к нашей программе Apache Spark и Scala для дата-инжиниринга

📌Новый поток стартует уже 4 сентября https://newprolab.com/ru/spark-de, а до 30 июля действует промокод DE2023


Для прохождения программы потребуются знания по следующим темам: Scala (желательно, но если вы не знаете Scala, то рекомендуется уверенное знание Python или Java), Apache Spark, Linux, SQL, Kafka, HDFS для формирования витрин данных для последующего анализа, математическая статистика и линейная алгебра.

Ниже — ресурсы по каждой теме. Пожалуйста, готовьтесь до программы, чтобы во время обучения получить максимум новых знаний и не отвлекаться на базовые вещи.

📌Scala
- Базовый туториал по Scala
- Курс на Stepik

📌Apache Spark
- Памятка по Spark в Kubernetes

📌Linux
- курс на CodeAcademy
- курс на Stepik
- курс на edX

📌SQL
- Книга Бен Форта Освой самостоятельно SQL за 10 минут

📌Kafka
- Как работает Kafka в облаке

📌HDFS
- Какие еще есть способы хранения данных и чем S3 лучше HDFS: вебинар

📌Математическая статистика и линейная алгебра
Курсы на Stepik:
- Основы статистики
- Линейная алгебра: методы и задачи

#подборка #free #курсы #spark #scala #sql #linux #hadoop #hdfs #kafka #матстат #linalg #stepic
https://t.me/newprolab_news/149 #NewProLab

#рубрика "Что там у них в чатах?" #чтч

#чтч {


у междускобочников: https://t.me/backend_megdu_skobkah/30347 (точнее, что самый главный... предводитель междускобочников, короче, пишет))

и спорят насчёт DE-курса Карпова: https://t.me/dataengineering_chat_ru/90782 📝

Дима пожурил сегодня: сказал что канал у меня малюсенький ("подписчиков копьё»), и «надо канал вести нормально а не просто форвардить» (ну типа это + постов слишком много мелких, а надо их меньше, но чтобы посты длинее были! (Ох уж этот вечный вопрос «вам экзеютеров побольше, но маленьких? Или поменьше, но больших?»))
Не буду же я спорить с «глыбой»!? 😅 Так что остаётся только 🫡 и исправляться!..

Так вот по DE-курсам Карпова (и не только):

Это, наверное, повсеместно известный «человек-школа» 😁 ну точнее основатель школы с одноимённым каналом в тг, чьи курсы вроде как «золотой стандарт DA/DS-ных, ML-ных и около того тем»… ну может не стандарт (не оч компетентен по этому вопросу)), но, наверное, самая крупная школа с фокусом на этой специализации (не сравниваю с Отусами, Скиллбоксами, Нетологиями и ЯП, не пч они плохие (вот недавно оч дельный курс по spark-advanced проходил, но это прям точно из-за клёвого препода – @Egorios), а пч это другое)

Ну точно бы подметил, что почти уверен, что, напр, аналогичный курс от NewProLab нельзя назвать менее хорошим, просто там немного других датаинжей учат (то есть проблема в терминологии – data engineer стал эдаким buzzword’овым «загрязнънным термином» – профессией, куда пытаются запихнуть всю дата-работу связанную с кодированием (ну то есть без DG и подобных), за исключением BI / DataViz, DA и собственно непреходяще хайповым ML’ем…

Отсюда, думаю, и возникает путанница и неоправданные иногда ожидания.

Думаю (мельком глянув программу), что Карповский курс можно назвать курсов по подготовке к одной из след профессий:
– Business Data Engineer
– Analytics Engineer
– я бы ещё добавил / частично вернул обновив термин Data Warehouse Engineer (не слышал такой в отличие от двух других выше) Бывают Были ещё, конечно, всякие DWH Developer’ы, ETL Developer’ы, но данные именования безвозвратно устарели, так что ни один здаромыслящий лид с вакансией / HH не будет так называть позицию, рискуя потерять в конверсии, хотя это может и лучше отражать суть…

а НьюПроЛабовксие:
– Data Platform Engineer
– Big Data Engineer (ну это такое, конечное – холиварненькое))
– Data Lake Engineer
(ну то есть они не то чтобы не business-oriented – там всё это есть, но просто с другой стороны…)

ну и заметил бы, что 1-й смотрится по программе больше как Cloud-PaaS-Driven, а 2-й – как Open Source Driven

Если бы специализация начала больше пролезать в индустрию, и усекать таким образом проф-терминологический/маркетинговый булшит, то и путанницы бы было меньше, кмк (что можно заметить на примере с DS, в котором уже часто выделяются MLE, MLOps, программисты-математиков (не знаю АЯ-аналога)) и тпю

В общим, уверен, что много есть хороших курсов – главное быстрее отбросить название курса и специальности, к которой он готовит, и, штудируя программу, отзывы и обзоры, понять – то ли это, что тебе нужно? А не смотреть на регалии преподов, основателей, кол-во рекламы и тд

Вот, напр, если сравнить Карпова и НьюПроЛаба, то, ясно, что у 1-х маркетинг на порядок выше, но при этом говорит ли это о качестве курса? Нет, конечно. Уверен, что оба качественные (учился только на одном из них, а 2-й «не читал, но одобряю» 😁) – просто немного про разное, хоть и, понятно, во многом пересекающееся.

@dimoobraznii, так лучше? 😅

#longread #простопотокмыслейпотеме #freestyle #freestylewriting #надокакойтонормальныйтегпридумать… 🤔 #бап #специализация #AE #Матешук #ап

Родителям лайфхак:
Мы с супругой, уже 3 года как, создали 2 канала в телеге приватных, один для сына, второй для дочки. Мы в эти каналы скидываем периодически фото/видео детей. Как только им исполнится 18 лет, хотим их добавить в свои каналы, пусть радуются своей истории с рождения 🙈

Пс. Телега - живи 😁

Клёвый кейс! ❤️ (что-то слово "клёвый" прям привязалось))

Использовал телегу и как заметочник, и как тудулист, и как фото-хранилище, и как реймайндер, и голосовалку, и список отложенного чтения, и книгохранилище, и музыкальный плеер, и подкасто-хранилище, в тч ютубо-листнер, и "ChatGPT-прокси" (когда нельзя открыть сайт из-за корп VPN'a, использую тг-ботов вместо этого), и instagtam’озаменитель (в дополнение к приложениям, конечно, так как их всё же сложно заменить полностью телеграмом в этих фичах созданную специально для этого аппу, но иногда прям удобно))

Можно предложить такую аналогию, как, наверное, известную многим из вас – "лучший второй для всего"

А сегодня услышал краем уха про использование телеги как хралища для бэкапов чего угодно (с помощью нарезанных архивов) и даже как какое-то "распределённое хранилище.." для чего-то там! (это второе не расслышал / недопонял – попробую связаться с автором реплики, ну и погуглю пойду🚶‍♂️) #todo

I We ♥️ #telegram!

Немного мемов (в тч баянов) и схемов для улучшения понедельничного настроения, разминки мозгов и прогрева кэша)
Некоторые скажут "опять за своё", "надо поменьше [мусора] постить!", но мы то вами знаем, что дело полезное, да? 😁 (Вот даже #тег для навигации заведу, и позже более ранние подборки протегирую: #memes) #todo