Скоро начнутся информационные посты, а пока что отдых😁

У многих с этого семестра начнется новая дисциплина АДОМО/ Анализ данных и основы машинного обучения на Python💻

Базовый стек, который вам потребуется для изучения этой дисциплины:

1. Pandas — чтобы грузить таблицы из CSV/Excel, чистить, фильтровать, считать сводки
2. NumPy — для быстрых математических операций
3. Matplotlib/Seaborn — чтобы рисовать графики и диаграммы
4. Scikit-learn — библиотека с готовыми алгоритмами ML

+3 библиотеки для разработки моделей данных

Если у вас возникнут трудности с данной дисциплиной, то можете обратиться ко мне за помощью. Делаю лабораторные, тесты, итоговые работы🙌🏻

Возвращаемся в рабочую среду и начнем c основных рекомендаций ❕

Статическая типизация: Pylance / Pyright + настройка в VS Code
Python остаётся динамическим, но типизация уже стала обязательной в серьёзных проектах

Зачем нужна типизация:
- IDE заранее подсказывает ошибки (Optional[str] вместо str)
- Повышает читаемость и надёжность
- Работает без изменения логики программы

🔸 Pyright
Type checker от Microsoft, написан на TypeScript, работает молниеносно
Можно использовать как CLI-инструмент или как встроенный механизм в VS Code

🔸 Pylance
Надстройка над Pyright, обеспечивающая умные подсказки, автодополнение и статический анализ прямо в VS Code

🔧 Оптимальная конфигурация:

"python.languageServer": "Pylance",
"python.analysis.typeCheckingMode": "strict",
"python.analysis.autoImportCompletions": true,
"python.analysis.diagnosticMode": "workspace"

Не бойтесь "жёлтых и синих подчёркиваний " от Pylance — они учат писать лучше и чище
#рекомендации_tech

Вернемся к АДОМО, разберем одно из основных заданий. На нем будет строиться большинство лабораторных работ по данной дисциплине. Также это вам понадобится при написании итоговой контрольной работы

На данной дисциплине одним из важных моментов выступает - анализ. В Python за это отвечает модуль pandas. Это основной инструмент для работы с табличными данными

Для того, чтобы его использовать нужно прописать подключение и назвать более кратким и понятным:

import pandas as pd

Далее идет чтение данных: загружаем данные из CSV-файла в переменную data. В результате data — это таблица, аналогичная Excel-таблице или SQL-таблице

data = pd.read_csv("Набор данных.csv", sep=',')

3 строка - это метод .shape, который возвращает размерность таблицы в виде кортежа (упорядоченная неизменяемая коллекция)

rows, cols = data.shape

Значения:
rows — количество строк
cols — количество столбцов

И в конце мы выводим то, что получаем по итогу кода:

print(f"Всего объектов: {rows}")
print(f"Всего признаков: {cols}")

#АДОМО

Продолжим серию постов по АДОМО 💻
Сегодня разберем следующий модуль, который часто используют в лабораторных

NumPy(numpy - Numerical Python) - это библиотека для численных вычислений

Модуль предоставляет возможность:
1. пользоваться многомерными массивами (ndarray)
2. работать с пропущенными значениями (np.nan)
3. использовать быстрые векторные операции и математические функции (mean, std, sum и др.)

Также numpy закладывает основу для знакомого нам pandas и sklearn с matplotlib, которые я разберу в дальнейшем

🧩 Разберем одну из задач лабораторных работ:
Нужно создать данные с пропущенными значениями и впоследствии иметь возможность проанализировать их

Пойдем постепенно:
1. Аналогичное подключение как и в прошлом посте:

import numpy as np
import pandas as pd

2. Прописываем список с пропущенными значениями

data = [5, 3, np.nan, 7, 4, 2, np.nan, 6, 8, 5,
        3, np.nan, 7, 4, 2, 6, np.nan, 8, 5, 3]

np.nan — специальное значение NumPy, обозначающее пропуск
Это не 0, не пустая строка и не None

Это NaN(Not-a-Number) - значение, когда компьютер пытается выполнить математическую операцию, не имеющую числового результата (например, 0 / 0 или корень из отрицательного числа). Это «ошибка» или «пустота» в числовых данных

3. Создаем объект Series из списка

study_hours = pd.Series(data)

Этот объект - аналог столбца в Excel или SQL
Теперь - это структура для анализа данных и мы сможем к ней применить методы .mean(), .sum(), .isna() и т.д.

Полноценный код выглядит следующим образом:

import numpy as np
import pandas as pd

data = [5, 3, np.nan, 7, 4, 2, np.nan, 6, 8, 5, 
        3, np.nan, 7, 4, 2, 6, np.nan, 8, 5, 3]

study_hours = pd.Series(data)

#АДОМО

📢 После нескольких постов по модулям и библиотекам, давайте вообще обсудим какие библиотеки и для чего нужны в работе, в каких сферах применяются и какие точно нужно знать

На протяжение нескольких дней будем идти по сферам, сегодня основные модули и библиотеки для анализа:

1. Основные встроенные библиотеки
Это модули, которые идут вместе с Python и используются практически в любом проекте.

math - работа с математическими функциями: корень, логарифмы, тригонометрия, константы (pi, e) и др. Используется в вычислениях, анализе, моделировании

decimal - точная десятичная арифметика. Используется там, где критична финансовая точность (деньги, бухгалтерия). В отличие от float, не даёт ошибок двоичного округления

datetime - работа с датами и временем: создание дат, форматирование, вычисление разницы. Нужно в логировании, аналитике, backend-разработке

random - генерация случайных чисел, выбор элементов, перемешивание. Применяется в симуляциях, тестировании и ML

os - работа с файловой системой и операционной системой: пути, директории, переменные окружения. Базово применяется для backend и DevOps

sys - работа с параметрами запуска программы, потоками ввода/вывода, системными настройками

json - работа с JSON-форматом. Используется в API, веб-разработке и обмене данными

re - регулярные выражения. Анализ текста, валидация данных и парсинг

2. Анализ данных
Основной стек дисциплины АДОМО и общего анализа

numpy - массивы, математика, линейная алгебра, работа с np.nan.
Фундамент анализа данных и ML

pandas - табличные данные (Series, DataFrame), фильтрация, агрегация, очистка

scipy - расширенная математика: оптимизация, статистика, интегралы, линейная алгебра

statsmodels - статистическое моделирование, регрессии, тестирование гипотез

openpyxl - работа с Excel-файлами (.xlsx)

#полезные_ресуры

Задача из лабораторной по адомо в качестве примера работы кода с модулями numpy и scipy, а также результат:

Теоретическое математическое ожидание E(X): 4
Теоретическая дисперсия Var(X): 4
Теоретическое среднее квадратическое отклонение std(X): 2.0

Эмпирическое математическое ожидание E(X): 4.033
Эмпирическая дисперсия Var(X): 3.731911
Эмпирическое среднее квадратическое отклонение std(X): 1.931815467377772

Первые пересдачи уже прошли. Поздравляю ребят 🔥 А у меня теперь освободилось 2 места на инд. подготовку
Помогаю с разбором сложных тем по АДОМО и Python
Для записи пишите в личные сообщения 📩

А еще из отличных новостей. Еще одна комиссия сдана! 🔥🔥🔥

Сейчас заканчиваются пары по АДОМО и Дата аналитике у 2х курсов, значит скоро начинается важная контрольная работа, либо у кого-то в дальнейшем подобная сессионная контрольная работа

❕Для ребят, которые знают и не знают!
Контрольная работа состоит из большой тестовой части (от 22 заданий до 30) и практической части(от 9 до 11 заданий в зависимости от варианта)

Времени дается немного, конспектами и другими материалами пользоваться нельзя, все только своими силами

Я помогаю с подготовкой: мы прорешиваем тестовые задания, проходим практическую часть и рассматриваем различные варианты

📢 Сейчас свободно несколько мест на занятия. Сформируем индивидуальный план работы и начнем подготовку

P.s. Еще оказываю помощь по ПИОА и базам данных. Помогаю с изучением отдельных сфер разработки
#АДОМО