Друзья, привет! В статьях выше писал о том, что такое spark, зачем он нужен и как его применяют в работе аналитики, data engineer'ы и data scientist'ы.

Сегодня делюсь подборкой материалов, по которым изучал Spark. Ставьте реакции, если хотите чтобы подобные подборки публиковались в канале чаще 😊

Книги:
Для изучения batch обработки данных на spark:
1. Learning Spark: Lightning-Fast Data Analytics
2. High Performance Spark: Best practices for scaling and optimizing Apache Spark

Для изучения потоковой обработки данных на spark:
1. Stream Processing with Apache Spark: Mastering Structured Streaming and Spark Streaming

Курс по spark (scala):
В курсе довольно понятно объясняют основные понятия spark-а и его преимущества + есть практические задания к темам:
https://www.coursera.org/learn/scala-spark-big-data

Лайфхак: курс можно проходить бесплатно слушателем (если не нужен сертификат) и без оформления заявки на денежную помощь, для этого на странице курса нужно нажать enroll for free, далее выбрать audit only.

Вчера был на конференции IT Purple от ФПМИ.

Выдали такую интересную брошюру с распределением ролей между участниками IT команд.

Из аналитиков на этой брошюре есть бизнес, системный и продуктовый аналитик.

На картинке можно посмотреть какие обязанности есть у каждой роли в командах.

Как по мне - прикольная вещь, показывает на каких этапах разработки какой специалист требуется. Позволяет посмотреть на всю картину разработки сверху в разрезе конкретной роли.

Кто такие дата инженеры ?

Вчера ходил на запись подкаста. В качестве первого гостя был Михаил Павлюк - дата инженер в СберОбразовании. Поговорили про профессию инженера данных и обсудили карьерный путь Миши.

В своих соц.сетях Миша рассказывает про инженерию данных, выкладывает обучалки и записывает интервью с IT специалистами.

Подписывайтесь, там много полезного контента про IT: Telegram канал Миши, Youtube (NOdata Misha), Youtube (ойтишники)

Запись первого подкаста уже находится в обработке. Следите за новостями - актуальную информацию буду постить сюда, а сам подкаст выйдет на моем YouTube канале 🔥🔥🔥

#ITA_podcast

Как спроектировать базу данных ?

Решил сделать серию постов про проектирование БД: подробно рассмотрим основные этапы проектирования, разберем процесс проектирования БД на конкретном кейсе.

Проектирование БД является важным этапом в создании информационной системы, поскольку от правильно спроектированной базы данных зависит эффективность и удобство работы с информацией.

Проектирование новой БД включает в себя несколько этапов и требует привлечение разных специалистов на каждом из этапов: аналитика, разработчика, архитектора.

Основные этапы проектирования БД включают следующие шаги:
1. Анализ и описание предметной области.
2. Концептуальное проектирование.
3. Построение логической модели базы данных.
4. Построение физической модели базы данных.

В следующих статьях подробно рассмотрим каждый из этапов проектирования баз данных 👇

#ITA_databases

Этап 1. Анализ предметной области (ПО).

Цель: изучение бизнес-процессов и требований заказчика для определения основных сущностей и их взаимосвязей.

Описание этапа: основой для анализа ПО служат проектные документы (примером таких документов могут являться бизнес-требования), и информация, которую можно получить от специалистов этой ПО в процессе общения с ними. На этом этапе аналитик выполняет анализ документов, а также общается со специалистами ПО для того, чтобы составить описание предметной области.

Результатом этапа может являться как текстовое описание ПО, так и графическое (например, составление диаграммы предметной области). Если анализ предметной области выполняется несколькими специалистами, то необходимо заранее договориться какой метод описания МПО будет использоваться на проекте, а также обсудить содержание создаваемых артефактов.

При разборе кейса мы будем использовать текстовое описание ПО.

#ITA_databases

Этап 2. Концептуальное проектирование.

Цель: создание модели данных на высоком уровне абстракции, определение ключевых сущностей и их связей.

Описание этапа: На этом этапе аналитик определяет все сущности, чтобы информационная система смогла выполнить все проектируемые функции. Для этого нужно выделить информационные объекты, которые будут храниться в базе данных. При выполнении этой операции мы будем опираться на нашу диаграмму Use Case из этапа 1. Обычно концептуальным проектированием в компаниях занимается аналитик.

Результатом этапа будет являться схема, на которой изображены информационные объекты в виде прямоугольников, а также проставлены все необходимые связи между выделенными сущностями.

#ITA_databases

Мои цели и результаты в спорте на 2024 год

Ранее писал пост о том как формулировать цели по фреймворку SMART, где в качестве примера привёл свою цель в спорте на 2024 год.

Цель заключалась в следующем: выбежать из 37:40 на 10км до конца 2024 года.

Завтра по всей стране будет проходить ЗабегРФ. Я буду принимать участие в Москве, планирую пробежать 10км по целевому темпу (из 37:40).

Год назад на московском марафоне бежал 10 км за 39:40. Как думаете, удастся завтра выбежать из 37:40?

А вы бежите завтра? Какую дистанцию? За какое время планируете пробежать?

UPD: Результат забега - 37:57 😢 До 37:40 не хватило немного - 17 секунд. На этот год у меня запланировано ещё несколько стартов, до конца года думаю удастся выбежать из 37:40.

#ITA_life

✅ Первый практический вебинар по проектированию баз данных ✅

Друзья, прерываю серию постов анонсом о предстоящем вебинаре по проектированию баз данных. Навык проектирования БД является важным навыком для многих профессий: от аналитика до разработчика.

Вопросы про устройство баз данных спрашивают практически на каждом собеседовании на позицию системного аналитика. Приходите на бесплатный вебинар по проектированию баз данных, чтобы быть готовым к таким вопросам.

Этот вебинар точно будет для вас полезным, если вы только изучаете работу с базами данных.

📗Тема: Основы проектирования баз данных: как аналитику спроектировать базу данных ?

🧩План вебинара:
1. Разбираем теорию по проектированию БД
2. Изучаем практический кейс
3. Собираем требования и выполняем анализ предметной области
4. Разрабатываем концептуальную модель данных
5. Проектируем логическую модель данных

📅 30 МАЯ, 19:00 МСК 📅
♻️ ЗАРЕГЕСТРИРОВАТЬСЯ♻️

Подключайтесь на бесплатный вебинар в следующий четверг. До скорых встреч!

Та-да-да-дам! Вышел первый выпуск подкаста IT'S Analysis.

Друзья, наконец-то закончил обработку, теперь первый выпуск подкаста доступен на нашем YouTube канале.

Гость подкаста - Михаил Павлюк, data engineer в Сбер Образовании. Поговорили про Big data и карьерный путь Михаила: обсудили как Михаил искал первую работу в сфере data science, пригодилось-ли высшее образование в IT, поговорили про процессы в корпорациях и небольших компаниях.

В заключении подкаста Михаил дал такой совет начинающим IT специалистам: "Делайте не напрягаясь, пытайтесь кайфовать от процесса обучения и получайте от этого удовольствие. Концентрируйтесь на процессе, а не на больших деньгах."

Согласны с Михаилом? Что для вас являлось мотивацией на старте карьеры?

Пишите в комментариях кого бы вы хотели видеть в следующем выпуске подкаста. Постараюсь записать с этим специалистом следующий выпуск.

Смотреть подкаст: https://youtu.be/XG62UJrQHdk 🔥

Не забывайте подписываться и ставить пальцы вверх :)

Друзья, уже сегодня в 19:00 состоится вебинар по БД 🔥🔥🔥

На вебинаре:
1. Кратко разберём теорию по проектированию БД 📚
2. Решим кейс и разработаем модель данных для интернет магазина летних товаров 😎
3. Все участники вебинара получат подарок (подробнее узнаете на самом вебинаре) 🧐

📅 30 МАЯ, 19:00 МСК 📅
♻️ Ссылка для подключения♻️

‼️ По техническим причинам ссылка вебинара изменилась, в этом сообщении - актуальная ссылка на вебинар ‼️

Мы начинаем через 5 минут)

Ссылка для подключения:
https://www.youtube.com/watch?v=eXVv25oYL04

UPD: друзья, прошу прощения за технические неполадки: проблемы со звуком и видео (первый раз на ютубе трансляцию запускаю 😄). Предлагаю перенести вебинар на другую дату. В ближайшее время сообщу новую дату время.

Итак, новая дата вебинара по базам данных:

📅 3 июня, 19:00 📅
♻️ Ссылка для подключения ♻️

Желаю всем хорошо отдохнуть на выходных и в понедельник подключиться к трансляции заряженными на работу 💚

Начинаем трансляцию 🔥

UPD:
Друзья, всем спасибо, что присоединились к трансляции 💚
Без технических проблем опять не обошлось, но это только первый вебинар - дальше будем работать над улучшением качества трансляции и качества материалов на вебинаре.

Пожалуйста, заполните анкету по результатам вебинара, это поможет в дальнейшем делать более полезный материал:
♻️ Ссылка на анкету ♻️

Интересные data-каналы

Друзья, делюсь подборкой крутых каналов по data тематике.

Вот папка с каналами

@rzv_de: авторский канал про инжиниринг данных. Контент канала рассчитан как на новичков в DE, так и на senior инженеров.
@data_career: про карьеру в data-отрасли в целом, как расти и развиваться в компаниях, когда просить повышение и менять работу
@data_learn_women: чат взаимопомощи женщин, вкатывающихся в data роли в айти. Присоединяйся, если нужна поддержка на пути.