Друзья, привет! В статьях выше писал о том, что такое spark, зачем он нужен и как его применяют в работе аналитики, data engineer'ы и data scientist'ы.

Сегодня делюсь подборкой материалов, по которым изучал Spark. Ставьте реакции, если хотите чтобы подобные подборки публиковались в канале чаще 😊

Книги:
Для изучения batch обработки данных на spark:
1. Learning Spark: Lightning-Fast Data Analytics
2. High Performance Spark: Best practices for scaling and optimizing Apache Spark

Для изучения потоковой обработки данных на spark:
1. Stream Processing with Apache Spark: Mastering Structured Streaming and Spark Streaming

Курс по spark (scala):
В курсе довольно понятно объясняют основные понятия spark-а и его преимущества + есть практические задания к темам:
https://www.coursera.org/learn/scala-spark-big-data

Лайфхак: курс можно проходить бесплатно слушателем (если не нужен сертификат) и без оформления заявки на денежную помощь, для этого на странице курса нужно нажать enroll for free, далее выбрать audit only.

Вчера был на конференции IT Purple от ФПМИ.

Выдали такую интересную брошюру с распределением ролей между участниками IT команд.

Из аналитиков на этой брошюре есть бизнес, системный и продуктовый аналитик.

На картинке можно посмотреть какие обязанности есть у каждой роли в командах.

Как по мне - прикольная вещь, показывает на каких этапах разработки какой специалист требуется. Позволяет посмотреть на всю картину разработки сверху в разрезе конкретной роли.

Кто такие дата инженеры ?

Вчера ходил на запись подкаста. В качестве первого гостя был Михаил Павлюк - дата инженер в СберОбразовании. Поговорили про профессию инженера данных и обсудили карьерный путь Миши.

В своих соц.сетях Миша рассказывает про инженерию данных, выкладывает обучалки и записывает интервью с IT специалистами.

Подписывайтесь, там много полезного контента про IT: Telegram канал Миши, Youtube (NOdata Misha), Youtube (ойтишники)

Запись первого подкаста уже находится в обработке. Следите за новостями - актуальную информацию буду постить сюда, а сам подкаст выйдет на моем YouTube канале 🔥🔥🔥

#ITA_podcast

Как спроектировать базу данных ?

Решил сделать серию постов про проектирование БД: подробно рассмотрим основные этапы проектирования, разберем процесс проектирования БД на конкретном кейсе.

Проектирование БД является важным этапом в создании информационной системы, поскольку от правильно спроектированной базы данных зависит эффективность и удобство работы с информацией.

Проектирование новой БД включает в себя несколько этапов и требует привлечение разных специалистов на каждом из этапов: аналитика, разработчика, архитектора.

Основные этапы проектирования БД включают следующие шаги:
1. Анализ и описание предметной области.
2. Концептуальное проектирование.
3. Построение логической модели базы данных.
4. Построение физической модели базы данных.

В следующих статьях подробно рассмотрим каждый из этапов проектирования баз данных 👇

#ITA_databases

Этап 1. Анализ предметной области (ПО).

Цель: изучение бизнес-процессов и требований заказчика для определения основных сущностей и их взаимосвязей.

Описание этапа: основой для анализа ПО служат проектные документы (примером таких документов могут являться бизнес-требования), и информация, которую можно получить от специалистов этой ПО в процессе общения с ними. На этом этапе аналитик выполняет анализ документов, а также общается со специалистами ПО для того, чтобы составить описание предметной области.

Результатом этапа может являться как текстовое описание ПО, так и графическое (например, составление диаграммы предметной области). Если анализ предметной области выполняется несколькими специалистами, то необходимо заранее договориться какой метод описания МПО будет использоваться на проекте, а также обсудить содержание создаваемых артефактов.

При разборе кейса мы будем использовать текстовое описание ПО.

#ITA_databases

Этап 2. Концептуальное проектирование.

Цель: создание модели данных на высоком уровне абстракции, определение ключевых сущностей и их связей.

Описание этапа: На этом этапе аналитик определяет все сущности, чтобы информационная система смогла выполнить все проектируемые функции. Для этого нужно выделить информационные объекты, которые будут храниться в базе данных. При выполнении этой операции мы будем опираться на нашу диаграмму Use Case из этапа 1. Обычно концептуальным проектированием в компаниях занимается аналитик.

Результатом этапа будет являться схема, на которой изображены информационные объекты в виде прямоугольников, а также проставлены все необходимые связи между выделенными сущностями.

#ITA_databases

Мои цели и результаты в спорте на 2024 год

Ранее писал пост о том как формулировать цели по фреймворку SMART, где в качестве примера привёл свою цель в спорте на 2024 год.

Цель заключалась в следующем: выбежать из 37:40 на 10км до конца 2024 года.

Завтра по всей стране будет проходить ЗабегРФ. Я буду принимать участие в Москве, планирую пробежать 10км по целевому темпу (из 37:40).

Год назад на московском марафоне бежал 10 км за 39:40. Как думаете, удастся завтра выбежать из 37:40?

А вы бежите завтра? Какую дистанцию? За какое время планируете пробежать?

UPD: Результат забега - 37:57 😢 До 37:40 не хватило немного - 17 секунд. На этот год у меня запланировано ещё несколько стартов, до конца года думаю удастся выбежать из 37:40.

#ITA_life

✅ Первый практический вебинар по проектированию баз данных ✅

Друзья, прерываю серию постов анонсом о предстоящем вебинаре по проектированию баз данных. Навык проектирования БД является важным навыком для многих профессий: от аналитика до разработчика.

Вопросы про устройство баз данных спрашивают практически на каждом собеседовании на позицию системного аналитика. Приходите на бесплатный вебинар по проектированию баз данных, чтобы быть готовым к таким вопросам.

Этот вебинар точно будет для вас полезным, если вы только изучаете работу с базами данных.

📗Тема: Основы проектирования баз данных: как аналитику спроектировать базу данных ?

🧩План вебинара:
1. Разбираем теорию по проектированию БД
2. Изучаем практический кейс
3. Собираем требования и выполняем анализ предметной области
4. Разрабатываем концептуальную модель данных
5. Проектируем логическую модель данных

📅 30 МАЯ, 19:00 МСК 📅
♻️ ЗАРЕГЕСТРИРОВАТЬСЯ♻️

Подключайтесь на бесплатный вебинар в следующий четверг. До скорых встреч!

Та-да-да-дам! Вышел первый выпуск подкаста IT'S Analysis.

Друзья, наконец-то закончил обработку, теперь первый выпуск подкаста доступен на нашем YouTube канале.

Гость подкаста - Михаил Павлюк, data engineer в Сбер Образовании. Поговорили про Big data и карьерный путь Михаила: обсудили как Михаил искал первую работу в сфере data science, пригодилось-ли высшее образование в IT, поговорили про процессы в корпорациях и небольших компаниях.

В заключении подкаста Михаил дал такой совет начинающим IT специалистам: "Делайте не напрягаясь, пытайтесь кайфовать от процесса обучения и получайте от этого удовольствие. Концентрируйтесь на процессе, а не на больших деньгах."

Согласны с Михаилом? Что для вас являлось мотивацией на старте карьеры?

Пишите в комментариях кого бы вы хотели видеть в следующем выпуске подкаста. Постараюсь записать с этим специалистом следующий выпуск.

Смотреть подкаст: https://youtu.be/XG62UJrQHdk 🔥

Не забывайте подписываться и ставить пальцы вверх :)

Друзья, уже сегодня в 19:00 состоится вебинар по БД 🔥🔥🔥

На вебинаре:
1. Кратко разберём теорию по проектированию БД 📚
2. Решим кейс и разработаем модель данных для интернет магазина летних товаров 😎
3. Все участники вебинара получат подарок (подробнее узнаете на самом вебинаре) 🧐

📅 30 МАЯ, 19:00 МСК 📅
♻️ Ссылка для подключения♻️

‼️ По техническим причинам ссылка вебинара изменилась, в этом сообщении - актуальная ссылка на вебинар ‼️

Мы начинаем через 5 минут)

Ссылка для подключения:
https://www.youtube.com/watch?v=eXVv25oYL04

UPD: друзья, прошу прощения за технические неполадки: проблемы со звуком и видео (первый раз на ютубе трансляцию запускаю 😄). Предлагаю перенести вебинар на другую дату. В ближайшее время сообщу новую дату время.

Итак, новая дата вебинара по базам данных:

📅 3 июня, 19:00 📅
♻️ Ссылка для подключения ♻️

Желаю всем хорошо отдохнуть на выходных и в понедельник подключиться к трансляции заряженными на работу 💚

Начинаем трансляцию 🔥

UPD:
Друзья, всем спасибо, что присоединились к трансляции 💚
Без технических проблем опять не обошлось, но это только первый вебинар - дальше будем работать над улучшением качества трансляции и качества материалов на вебинаре.

Пожалуйста, заполните анкету по результатам вебинара, это поможет в дальнейшем делать более полезный материал:
♻️ Ссылка на анкету ♻️

Интересные data-каналы

Друзья, делюсь подборкой крутых каналов по data тематике.

Вот папка с каналами

@rzv_de: авторский канал про инжиниринг данных. Контент канала рассчитан как на новичков в DE, так и на senior инженеров.
@data_career: про карьеру в data-отрасли в целом, как расти и развиваться в компаниях, когда просить повышение и менять работу
@data_learn_women: чат взаимопомощи женщин, вкатывающихся в data роли в айти. Присоединяйся, если нужна поддержка на пути.

Что такое матрица RACI ?

Недавно на новом проекте нужно было составить описание бизнес процесса.  Процесс был задокументирован менеджером проекта с использованием матрицы RACI. Ранее я не сталкивался с таким фреймворком, поэтому стало интересно что-же такое эта матрица RACI.

Если коротко, то матрица RACI - это таблица, в которой перечислены все заинтересованные стороны проекта и уровень их вовлеченности в каждую задачу, обозначенный буквами R, A, C или I. Такая матрица удобна для сложных проектов, которые включают в себя множество заинтересованных сторон, задач и этапов, особенно если работы частично совпадают.

Если хотите подробнее изучить работу с матрицей RACI, то можете почитать статью, которую я недавно опубликовал на Habr. Во вложении находится пример матрицы для процесса "Сбор на пикник".

Ставьте 🔥, если понравился пост и Вы хотите больше постов в таком формате. Сохраняйте в избранное, делитесь постом с друзьями и применяйте новые знания на практике 💚

Как я проходил собеседование на позицию системного аналитика в 2024 году

Пару месяцев назад проходил интервью на позицию системного аналитика в поиске новой работы, решил поделиться своим опытом с вами. Расскажу об этапах процесса отбора на эту позицию в 2024.

Обычно процесс подбора кандидатов включает следующие этапы:
1️⃣ Отклик на вакансию
2️⃣ Собеседование с HR
3️⃣ Техническое интервью
4️⃣ Беседа с руководителем

Процесс будет отличаться в зависимости от компании. Например, в Т-Банк есть техническая секция по системному дизайну.

Теперь о каждом этапе подробнее.

1️⃣ Отклик на вакансию. На этом этапе нужно иметь резюме, которое максимально точно подходит под требования вакансии. Требования к системным аналитикам могут сильно отличаются, поэтому важно адаптировать резюме конкретно под каждую вакансию.

2️⃣ Интервью с HR. Здесь нужно будет кратко рассказать о своём опыте работы. Лайфхак: подготовьте небольшой план рассказа о себе заранее и при общении следуйте этому плану. HR иногда спрашивают технические вопросы: какие методы есть в REST API, что такое ESB, типы JOIN и т.д., поэтому к этому тоже нужно быть готовым.

3️⃣ Техническое собеседование. Оно длится примерно 1 час - 1.5 часа и обычно включает следующие блоки вопросов:
1️⃣ Обсуждение опыта работы
2️⃣ Работа с требованиями
3️⃣ Интеграции и архитектура
4️⃣ Базы данных и SQL

Вопросы из блоков могут идти не последовательно и какого-то из этих блоков может и не быть. Всё зависит от компании.

Заранее готовьтесь к этому интервью.
Лайфхак 2: погуглите и разберите вопросы для подготовки к собеседованию на системного аналитика.

4️⃣ Собеседование с руководителем. Этот этап направлен на проверку soft skills. Обычно он длится не дольше 30 минут, интервью проходит в формате беседы и технических вопросов здесь не спрашивают. Здесь проверяют насколько вы подходите компании, руководителю, а они вам. Тут могут дать задачу похожую на ту, что будет в работе. Чисто на подумать. Не бойтесь спрашивать вопросы! Ведь это и вы выбираете работу, а не только выбирают вас.

Во многих компаниях процесс отбора происходит именно так. Удачи в подготовке к собеседованиям! 🍀

Наберем 30 🔥 и выложу гайд как подготовиться к техническому этапу.

Гайд "Как подготовиться к техническому собеседованию на позицию системного аналитика?"🚀

Не ожидал, что наберётся столько реакций на предыдущем посте. Друзья, вы - лучшие! За 1 вечер набрали 30 🔥

Выкладываю гайд по прохождению технического этапа на позицию системного аналитика. Решил сохранить этот гайд в Notion.

Ссылка на гайд

Гайд включает в себя:
1️⃣ 100 вопросов для подготовки
2️⃣ 10 пошаговых инструкций
3️⃣ 7 советов на основе личного опыта

Важное правило из гайда: При подготовке важно не просто заучивать все вопросы, а понимать суть вопроса. Заучивание материала обычно не приводит к успеху, даже если удастся пройти этот этап собеседования.

Больше полезной информации в Notion - скорее переходи.

Делитесь постом с теми, кто сейчас находится в поиске работы. Удачной подготовки 💚

Наберём 50 🔥 и выкладываю подробно разобранные вопросы с собеседований на позицию системного аналитика.

Приму участие в двух классных IT мероприятиях в это воскресенье

В воскресенье буду участвовать в двух мероприятиях.

Первое - забег RunIT 🏃‍♂️ Это забег среди IT специалистов. Многие из вас знают, что я увлекаюсь легкой атлетикой, поэтому не мог пропустить это мероприятие. Цель остаётся прежней - 10км из 37:40.

Последний месяц тренировок был насыщенный, поэтому результаты забега должны быть лучше предыдущих. На прошлом забеге до цели мне не хватило 20 секунд. Надеюсь жара в Москве не помешает пробежать достойно.

Второе - летний фестиваль CU Fest от Центрального университета 👨‍💻 CU Fest - это мероприятие для IT специалистов на открытом воздухе. Обещают интересные лекции, воркшопы и различные игры.

Иду на фестиваль с целью узнать больше про направления магистратуры в Центральном университете. На сайте университета есть несколько интересных направлений. Причём у абитуриентов есть возможность получения гранта на обучение. Схожу, всё узнаю и расскажу вам.

Если планировали тоже посетить эти мероприятия и есть желание встретиться пообщаться - пишите @zapselsky_v. Соберёмся вместе, сходим куда-нибудь 🪩🎉🍹