IT analysis • Системный и бизнес анализ
1.43K subscribers
91 photos
1 video
3 files
38 links
Образовательный проект для IT специалистов в сфере системного анализа и проектирования ИТ-систем.

YouTube: https://youtube.com/@its_analysis
Автор: @zapselsky_v
Download Telegram
Друзья, привет!

Сделал "каркас" давнообещанной карты навыков для системного аналитика 📝
План на будущее: подробно расписать каждую тему карты и поделиться картой с вами.

Подробное описание каждой темы в посте ниже 👇
🔥5
Какие темы вошли в первую версию карты?
1. Базовые знания из Computer Science 💻 - этот раздел является обязательным для всех it специальностей (мое личное мнение)
2. Нотации моделирования бизнес процессов 🧩 - BPMN, UML и т.д. Практически во всех вакансиях от аналитика требуют владения этими навыками
3. Требования к программному обеспечению 📜 - аналитик должен понимать какие требования существуют, как правильно подходить к процессу сбора требований
4. Архитектура ПО 🏠 - системный аналитик - это мини архитектор в команде. Зачастую приходится решать различные архитектурные задачи (+если хотите развиваться в сторону архитектора, то знание архитектуры - must have)
5. Теория баз данных 📟 - надо понимать как устроены БД, какие виды БД существуют и т.д.
6. Интеграция - знание темы нужно для того, чтобы понимать какими способами системы могут обмениваться информацией между собой
7. Языки программирования 🐍 - как обязательный включил бы sql, Python - как приятное дополнение :) Сейчас выпала задачка, пишу компонент ПО на Python, поэтому знание какого-нибудь ЯП - будет плюсом.
8. Тестирование ПО 📌- да, системный аналитик ещё и немного тестировщик. Поэтому с основами тестирования стоит ознакомиться.
9. Методологии разработки 🔖 - в каждой компании/команде свои подходы к разработке. Аналитик работает с задачей от самого начала до сдачи её заказчику. Поэтому понимать по какой методологии работает ваша команда - обязательно.
10. Soft skills 🗣 - важный пункт, гибкие навыки помогают быстрее наладить контакты, продвигаться по карьерной лестнице
11. Основы UX/UI 🧬 - добавил раздел, потому что иногда аналитику приходится на "скорую" руку сделать какой-нибудь макет в Figma (но всё зависит от сферы. думаю, этот пункт больше относится к тем, кто занимается mobile)
12. Инструменты для работы 🔨 - список всяких ПО, которые стоит освоить аналитику

Фух, вроде бы всё. Если есть идеи по тому, что можно ещё закинуть в карту - пишите в комментарии, обсудим :)
Также буду ждать критику/пожелания/замечания в комментариях к посту.

В ближайшее время ещё выложу пару опросов (не пугайтесь 😄). Хочу понять, что вам будет интересно читать в канале.
🔥9
Остались последние часы уходящего 2023 года, самое время подвести итоги года и поставить цели на новый 2024 год. (да, я не забыл про свой канал, на 2024 год у меня на него большие планы:) )
Итак, мои итоги 2023 года:
1. Стал более техническим специалистом.
Что я имею ввиду?
В середине 2023 перешёл в другую компанию на позицию инженера данных. До этого работал с данными исключительно как аналитик. Но сейчас разработка стала скорее дополнением к моим обязанностам, так как обязанности аналитика всё равно остались.
2. Изучил новые для себя инструменты работы с большими данными, новые языки программирования.
2. Написал несколько статей на хабр
Скорее всего большинство участников канала как раз оттуда:)
3. Стал вести этот канал
Хоть и с перерывами))
4. Пробежал 2 старта за год полумарафон и 10км. Обновил личник на полумарафоне и на 10км.
5. Улучшил английский. Сейчас уровень B2. В новом 2024 году хочу довести английский до С1.

Хочу всем пожелать в Новом году ставить амбициозные цели и достигать их.
С Наступающим 2024 годом!
👍73
Что такое распределенные вычисления?

При работе с большими данными специалисты сталкиваются с проблемой, что вычисления с использованием одной машины становятся неэффективными.

В таком случае компании стараются внедрить инструменты для работы с большими данными, такие как Hadoop, Spark и т.д.

Основная идея таких инструментов - это использование мощностей нескольких машин (или нескольких "нод"). Вычисления на каждой ноде выполняются параллельно, что позволяет в несколько раз быстрее выполнить расчёты.

Как я написал выше, один из инструментов для работы с большими данными - это spark. Использование spark'a позволяет кратно уменьшить время вычислений.

Если хотите узнать о том за счёт чего достигается такая скорость вычислений в спарк - ставьте 🔥 на эту запись.

И в следующем посте я расскажу вам об этом, а ещё поделюсь своей историей о том как мне удалось в 10 раз оптимизировать загрузку данных с использованием spark (изменив при этом всего 1 строку кода 😁)
#hard_skills
🔥20
Как Spark может ускорить скорость вычислений в 10 раз?

Недавно столкнулся с задачей оптимизации загрузки данных в хранилище.

Был уже готовый поток загрузки данных, который прогружал 1 день исторических данных за 5 часов. Требовалось перегрузить 5 месяцев исторических данных. По расчётам поток грузил бы данные 30 дней.

Проблема такой долгой загрузки данных была в том,
предварительно данные предобрабатывались отдельным Bash скриптом на одной ноде (с использованием мощностей всего лишь одной машины) без распараллеливания вычислений.

Здесь как раз на помощь пришёл spark. Использовалась строка кода с регулярным выражением. После переноса всего лишь одной этой строки кода на spark скорость вычислений увеличилась в 10 раз. Поток стал отрабатывать за 30 минут.

Как использование spark'a помогает получить такие результаты?

Во-первых, Spark использует мощности не одной машины, а мощности всего кластера (то есть нескольких машин, работающих параллельно)

Во-вторых, Spark позволяет кастомизировать загрузку данных под каждую задачу. Это достигается благодаря гибкой настройки параметров.

В-третьих, все вычисления в spark происходят в оперативной памяти. Это позволяет выполнять вычисления за короткий промежуток времени.

На прошлом посте набралось 15 🔥. Если наберём под этим постом 25 🔥, то поделюсь своей подборкой материалов для изучения spark.
#hard_skills
🔥17👍1
Этот пост не про технические навыки и компетенции в IT, а про такой навык как целеполагание.

Для достижения определённого результата важно ставить правильные цели.

Карьера. Доход. Отношения. Социальные достижения. Не важно какая сфера.

Всё начинается с правильной постановки цели.

Но что такое правильная цель? Существует много разных фреймворков для постановки цели. Самый популярный - SMART.

В соответствии со SMART цель должна быть:
1. Specific - конкретной
2. Measurable -измеримой
3. Attainable -достижимой
4. Relevant - значимой
5. Timebound-ограничена во времени.

Приведу пример своей цели на 2024 год в соответствии с этим фреймворком.

Моя цель: до конца 2024 года (timeboud) пробежать 10км (specific) из 37:40 (measurable).

Достижима (attainable) ? Да! Т.к. личник в прошлом году был 39:30

Relevant (значима)? Да! Доказать, самому себе что всё в жизни достижимо.

Первый старт на 10км будет уже в марте. Посмотрим на результаты!
👍7🔥4
Друзья, привет! В статьях выше писал о том, что такое spark, зачем он нужен и как его применяют в работе аналитики, data engineer'ы и data scientist'ы.

Сегодня делюсь подборкой материалов, по которым изучал Spark. Ставьте реакции, если хотите чтобы подобные подборки публиковались в канале чаще 😊

Книги:
Для изучения batch обработки данных на spark:
1. Learning Spark: Lightning-Fast Data Analytics
2. High Performance Spark: Best practices for scaling and optimizing Apache Spark

Для изучения потоковой обработки данных на spark:
1. Stream Processing with Apache Spark: Mastering Structured Streaming and Spark Streaming

Курс по spark (scala):
В курсе довольно понятно объясняют основные понятия spark-а и его преимущества + есть практические задания к темам:
https://www.coursera.org/learn/scala-spark-big-data

Лайфхак: курс можно проходить бесплатно слушателем (если не нужен сертификат) и без оформления заявки на денежную помощь, для этого на странице курса нужно нажать enroll for free, далее выбрать audit only.
🔥6👍1
Вчера был на конференции IT Purple от ФПМИ.

Выдали такую интересную брошюру с распределением ролей между участниками IT команд.

Из аналитиков на этой брошюре есть бизнес, системный и продуктовый аналитик.

На картинке можно посмотреть какие обязанности есть у каждой роли в командах.

Как по мне - прикольная вещь, показывает на каких этапах разработки какой специалист требуется. Позволяет посмотреть на всю картину разработки сверху в разрезе конкретной роли.
👍10
Кто такие дата инженеры ?

Вчера ходил на запись подкаста. В качестве первого гостя был Михаил Павлюк - дата инженер в СберОбразовании. Поговорили про профессию инженера данных и обсудили карьерный путь Миши.

В своих соц.сетях Миша рассказывает про инженерию данных, выкладывает обучалки и записывает интервью с IT специалистами.

Подписывайтесь, там много полезного контента про IT: Telegram канал Миши, Youtube (NOdata Misha), Youtube (ойтишники)

Запись первого подкаста уже находится в обработке. Следите за новостями - актуальную информацию буду постить сюда, а сам подкаст выйдет на моем YouTube канале 🔥🔥🔥

#ITA_podcast
🔥4
Как спроектировать базу данных ?

Решил сделать серию постов про проектирование БД: подробно рассмотрим основные этапы проектирования, разберем процесс проектирования БД на конкретном кейсе.

Проектирование БД является важным этапом в создании информационной системы, поскольку от правильно спроектированной базы данных зависит эффективность и удобство работы с информацией.

Проектирование новой БД включает в себя несколько этапов и требует привлечение разных специалистов на каждом из этапов: аналитика, разработчика, архитектора.

Основные этапы проектирования БД включают следующие шаги:
1. Анализ и описание предметной области.
2. Концептуальное проектирование.
3. Построение логической модели базы данных.
4. Построение физической модели базы данных.

В следующих статьях подробно рассмотрим каждый из этапов проектирования баз данных 👇

#ITA_databases
👍19
Этап 1. Анализ предметной области (ПО).

Цель: изучение бизнес-процессов и требований заказчика для определения основных сущностей и их взаимосвязей.

Описание этапа: основой для анализа ПО служат проектные документы (примером таких документов могут являться бизнес-требования), и информация, которую можно получить от специалистов этой ПО в процессе общения с ними. На этом этапе аналитик выполняет анализ документов, а также общается со специалистами ПО для того, чтобы составить описание предметной области.

Результатом этапа может являться как текстовое описание ПО, так и графическое (например, составление диаграммы предметной области). Если анализ предметной области выполняется несколькими специалистами, то необходимо заранее договориться какой метод описания МПО будет использоваться на проекте, а также обсудить содержание создаваемых артефактов.

При разборе кейса мы будем использовать текстовое описание ПО.

#ITA_databases
👍10
Этап 2. Концептуальное проектирование.

Цель: создание модели данных на высоком уровне абстракции, определение ключевых сущностей и их связей.

Описание этапа: На этом этапе аналитик определяет все сущности, чтобы информационная система смогла выполнить все проектируемые функции. Для этого нужно выделить информационные объекты, которые будут храниться в базе данных. При выполнении этой операции мы будем опираться на нашу диаграмму Use Case из этапа 1. Обычно концептуальным проектированием в компаниях занимается аналитик.

Результатом этапа будет являться схема, на которой изображены информационные объекты в виде прямоугольников, а также проставлены все необходимые связи между выделенными сущностями.

#ITA_databases
4👍1
Мои цели и результаты в спорте на 2024 год

Ранее писал пост о том как формулировать цели по фреймворку SMART, где в качестве примера привёл свою цель в спорте на 2024 год.

Цель заключалась в следующем: выбежать из 37:40 на 10км до конца 2024 года.

Завтра по всей стране будет проходить ЗабегРФ. Я буду принимать участие в Москве, планирую пробежать 10км по целевому темпу (из 37:40).

Год назад на московском марафоне бежал 10 км за 39:40. Как думаете, удастся завтра выбежать из 37:40?

А вы бежите завтра? Какую дистанцию? За какое время планируете пробежать?

UPD: Результат забега - 37:57 😢 До 37:40 не хватило немного - 17 секунд. На этот год у меня запланировано ещё несколько стартов, до конца года думаю удастся выбежать из 37:40.

#ITA_life
🔥9👍21
Первый практический вебинар по проектированию баз данных

Друзья, прерываю серию постов анонсом о предстоящем вебинаре по проектированию баз данных. Навык проектирования БД является важным навыком для многих профессий: от аналитика до разработчика.

Вопросы про устройство баз данных спрашивают практически на каждом собеседовании на позицию системного аналитика. Приходите на бесплатный вебинар по проектированию баз данных, чтобы быть готовым к таким вопросам.

Этот вебинар точно будет для вас полезным, если вы только изучаете работу с базами данных.

📗Тема: Основы проектирования баз данных: как аналитику спроектировать базу данных ?

🧩План вебинара:
1. Разбираем теорию по проектированию БД
2. Изучаем практический кейс
3. Собираем требования и выполняем анализ предметной области
4. Разрабатываем концептуальную модель данных
5. Проектируем логическую модель данных

📅 30 МАЯ, 19:00 МСК 📅
♻️ ЗАРЕГЕСТРИРОВАТЬСЯ♻️

Подключайтесь на бесплатный вебинар в следующий четверг. До скорых встреч!
🔥4
Та-да-да-дам! Вышел первый выпуск подкаста IT'S Analysis.

Друзья, наконец-то закончил обработку, теперь первый выпуск подкаста доступен на нашем YouTube канале.

Гость подкаста - Михаил Павлюк, data engineer в Сбер Образовании. Поговорили про Big data и карьерный путь Михаила: обсудили как Михаил искал первую работу в сфере data science, пригодилось-ли высшее образование в IT, поговорили про процессы в корпорациях и небольших компаниях.

В заключении подкаста Михаил дал такой совет начинающим IT специалистам: "Делайте не напрягаясь, пытайтесь кайфовать от процесса обучения и получайте от этого удовольствие. Концентрируйтесь на процессе, а не на больших деньгах."

Согласны с Михаилом? Что для вас являлось мотивацией на старте карьеры?

Пишите в комментариях кого бы вы хотели видеть в следующем выпуске подкаста. Постараюсь записать с этим специалистом следующий выпуск.

Смотреть подкаст: https://youtu.be/XG62UJrQHdk 🔥

Не забывайте подписываться и ставить пальцы вверх :)
🔥5