У многих с этого семестра начнется новая дисциплина АДОМО/ Анализ данных и основы машинного обучения на Python💻

Базовый стек, который вам потребуется для изучения этой дисциплины:

1. Pandas — чтобы грузить таблицы из CSV/Excel, чистить, фильтровать, считать сводки
2. NumPy — для быстрых математических операций
3. Matplotlib/Seaborn — чтобы рисовать графики и диаграммы
4. Scikit-learn — библиотека с готовыми алгоритмами ML

+3 библиотеки для разработки моделей данных

Если у вас возникнут трудности с данной дисциплиной, то можете обратиться ко мне за помощью. Делаю лабораторные, тесты, итоговые работы🙌🏻

Возвращаемся в рабочую среду и начнем c основных рекомендаций ❕

Статическая типизация: Pylance / Pyright + настройка в VS Code
Python остаётся динамическим, но типизация уже стала обязательной в серьёзных проектах

Зачем нужна типизация:
- IDE заранее подсказывает ошибки (Optional[str] вместо str)
- Повышает читаемость и надёжность
- Работает без изменения логики программы

🔸 Pyright
Type checker от Microsoft, написан на TypeScript, работает молниеносно
Можно использовать как CLI-инструмент или как встроенный механизм в VS Code

🔸 Pylance
Надстройка над Pyright, обеспечивающая умные подсказки, автодополнение и статический анализ прямо в VS Code

🔧 Оптимальная конфигурация:

"python.languageServer": "Pylance",
"python.analysis.typeCheckingMode": "strict",
"python.analysis.autoImportCompletions": true,
"python.analysis.diagnosticMode": "workspace"

Не бойтесь "жёлтых и синих подчёркиваний " от Pylance — они учат писать лучше и чище
#рекомендации_tech

Вернемся к АДОМО, разберем одно из основных заданий. На нем будет строиться большинство лабораторных работ по данной дисциплине. Также это вам понадобится при написании итоговой контрольной работы

На данной дисциплине одним из важных моментов выступает - анализ. В Python за это отвечает модуль pandas. Это основной инструмент для работы с табличными данными

Для того, чтобы его использовать нужно прописать подключение и назвать более кратким и понятным:

import pandas as pd

Далее идет чтение данных: загружаем данные из CSV-файла в переменную data. В результате data — это таблица, аналогичная Excel-таблице или SQL-таблице

data = pd.read_csv("Набор данных.csv", sep=',')

3 строка - это метод .shape, который возвращает размерность таблицы в виде кортежа (упорядоченная неизменяемая коллекция)

rows, cols = data.shape

Значения:
rows — количество строк
cols — количество столбцов

И в конце мы выводим то, что получаем по итогу кода:

print(f"Всего объектов: {rows}")
print(f"Всего признаков: {cols}")

#АДОМО

Продолжим серию постов по АДОМО 💻
Сегодня разберем следующий модуль, который часто используют в лабораторных

NumPy(numpy - Numerical Python) - это библиотека для численных вычислений

Модуль предоставляет возможность:
1. пользоваться многомерными массивами (ndarray)
2. работать с пропущенными значениями (np.nan)
3. использовать быстрые векторные операции и математические функции (mean, std, sum и др.)

Также numpy закладывает основу для знакомого нам pandas и sklearn с matplotlib, которые я разберу в дальнейшем

🧩 Разберем одну из задач лабораторных работ:
Нужно создать данные с пропущенными значениями и впоследствии иметь возможность проанализировать их

Пойдем постепенно:
1. Аналогичное подключение как и в прошлом посте:

import numpy as np
import pandas as pd

2. Прописываем список с пропущенными значениями

data = [5, 3, np.nan, 7, 4, 2, np.nan, 6, 8, 5,
        3, np.nan, 7, 4, 2, 6, np.nan, 8, 5, 3]

np.nan — специальное значение NumPy, обозначающее пропуск
Это не 0, не пустая строка и не None

Это NaN(Not-a-Number) - значение, когда компьютер пытается выполнить математическую операцию, не имеющую числового результата (например, 0 / 0 или корень из отрицательного числа). Это «ошибка» или «пустота» в числовых данных

3. Создаем объект Series из списка

study_hours = pd.Series(data)

Этот объект - аналог столбца в Excel или SQL
Теперь - это структура для анализа данных и мы сможем к ней применить методы .mean(), .sum(), .isna() и т.д.

Полноценный код выглядит следующим образом:

import numpy as np
import pandas as pd

data = [5, 3, np.nan, 7, 4, 2, np.nan, 6, 8, 5, 
        3, np.nan, 7, 4, 2, 6, np.nan, 8, 5, 3]

study_hours = pd.Series(data)

#АДОМО

📢 После нескольких постов по модулям и библиотекам, давайте вообще обсудим какие библиотеки и для чего нужны в работе, в каких сферах применяются и какие точно нужно знать

На протяжение нескольких дней будем идти по сферам, сегодня основные модули и библиотеки для анализа:

1. Основные встроенные библиотеки
Это модули, которые идут вместе с Python и используются практически в любом проекте.

math - работа с математическими функциями: корень, логарифмы, тригонометрия, константы (pi, e) и др. Используется в вычислениях, анализе, моделировании

decimal - точная десятичная арифметика. Используется там, где критична финансовая точность (деньги, бухгалтерия). В отличие от float, не даёт ошибок двоичного округления

datetime - работа с датами и временем: создание дат, форматирование, вычисление разницы. Нужно в логировании, аналитике, backend-разработке

random - генерация случайных чисел, выбор элементов, перемешивание. Применяется в симуляциях, тестировании и ML

os - работа с файловой системой и операционной системой: пути, директории, переменные окружения. Базово применяется для backend и DevOps

sys - работа с параметрами запуска программы, потоками ввода/вывода, системными настройками

json - работа с JSON-форматом. Используется в API, веб-разработке и обмене данными

re - регулярные выражения. Анализ текста, валидация данных и парсинг

2. Анализ данных
Основной стек дисциплины АДОМО и общего анализа

numpy - массивы, математика, линейная алгебра, работа с np.nan.
Фундамент анализа данных и ML

pandas - табличные данные (Series, DataFrame), фильтрация, агрегация, очистка

scipy - расширенная математика: оптимизация, статистика, интегралы, линейная алгебра

statsmodels - статистическое моделирование, регрессии, тестирование гипотез

openpyxl - работа с Excel-файлами (.xlsx)

#полезные_ресуры

Задача из лабораторной по адомо в качестве примера работы кода с модулями numpy и scipy, а также результат:

Теоретическое математическое ожидание E(X): 4
Теоретическая дисперсия Var(X): 4
Теоретическое среднее квадратическое отклонение std(X): 2.0

Эмпирическое математическое ожидание E(X): 4.033
Эмпирическая дисперсия Var(X): 3.731911
Эмпирическое среднее квадратическое отклонение std(X): 1.931815467377772

Первые пересдачи уже прошли. Поздравляю ребят 🔥 А у меня теперь освободилось 2 места на инд. подготовку
Помогаю с разбором сложных тем по АДОМО и Python
Для записи пишите в личные сообщения 📩

А еще из отличных новостей. Еще одна комиссия сдана! 🔥🔥🔥

Сейчас заканчиваются пары по АДОМО и Дата аналитике у 2х курсов, значит скоро начинается важная контрольная работа, либо у кого-то в дальнейшем подобная сессионная контрольная работа

❕Для ребят, которые знают и не знают!
Контрольная работа состоит из большой тестовой части (от 22 заданий до 30) и практической части(от 9 до 11 заданий в зависимости от варианта)

Времени дается немного, конспектами и другими материалами пользоваться нельзя, все только своими силами

Я помогаю с подготовкой: мы прорешиваем тестовые задания, проходим практическую часть и рассматриваем различные варианты

📢 Сейчас свободно несколько мест на занятия. Сформируем индивидуальный план работы и начнем подготовку

P.s. Еще оказываю помощь по ПИОА и базам данных. Помогаю с изучением отдельных сфер разработки
#АДОМО

«Реальность AI-разработки: когда токены дороже зарплаты»
Немного отойдем от учебы и посмотрим, что происходит в мире IT

Последние пару лет в IT активно продвигается идея, что джун-разработчиков можно почти полностью заменить ИИ

Нейросети пишут код быстрее, не устают, работают круглосуточно и в теории допускают меньше “глупых” ошибок

На фоне этого у многих сложилось ощущение, что роль начинающих разработчиков постепенно исчезнет

Но на практике все обстояло немного иначе 👨‍💻

Когда компании начали активно внедрять AI-агентов в реальные процессы разработки, выяснился неожиданный момент:

стоимость использования ии - за счёт токенов, вычислений и постоянных итераций - в ряде случаев оказалась выше, чем содержание джуна

Вот такой вот поворот 🫠

И возник парадокс: компании не отказались от ИИ, но начали возвращаться к найму джунов - уже в новой роли, где человек и ИИ работают вместе (не везде так, но есть)

📢 По итогу - нейросети не как замена, но как инструмент, который может кратно увеличить эффективность, если использовать его грамотно

P.s. бояться, что ИИ “заберёт работу”, не так продуктивно (по крайней мере несколько ближайших лет), как научиться использовать его в своей работе
#IT_новости #рабочие_моменты

Друзья, у меня заблокировали Яндекс Мессенджер.
С кем мы общались там по поводу проектов и других работ. ❗️❗️❗️Отпишитесь пожалуйста❗️❗️
Можете написать в чат группы или в личку

Возвращаюсь с новостями 🥳
У большинства ребят закончился семестр и учебный год, это значит, что АДОМО, Дата Аналитика и Python2 позади ✅

Всех поздравляю, кто защитился и закрыл свои проекты, также желаю удачи тем, кто еще будет добирать баллы или защищаться на сессии в июле 🙏🏻🔥

Еще один из моих учеников средней группы спроектировал игру. Правда, он ее еще хочет доработать, но для 13 лет это отличный результат🔥 Лично у меня в его возрасте даже не было компьютера, а что такое Python я в целом не знал 😁 А он уже строчит сам коды

Вообще, я никогда не хотел преподавать, потому что сам вырос в семье педагогов. И я знаю, какой это тяжелый труд. Но я рад, что мне выпала такая возможность. Конечно, это все временно, но мне нравится, что сейчас я помогаю детям реализовывать себя в том, чем они хотят заниматься

Отзыв TLS-сертификатов в России и что такое HTTP, HTTPS и API

📌 HTTP (HyperText Transfer Protocol) - протокол передачи данных. Проще говоря, правила, по которым браузер и сервер разговаривают друг с другом

Когда вводим адрес сайта и нажимаем Enter - браузер отправляет запрос серверу: «дай мне эту страницу». Сервер отвечает и возвращает содержимое. Весь этот обмен происходит по HTTP

Так выглядят адресные строки браузера:
http://example.com - соединение открытое
https://example.com - соединение защищённое

⚡️ HTTPS - это HTTP с шифрованием. Буква S означает Secure

Данные между пользователем и сайтом шифруются через TLS - даже если их перехватят в сети, прочитать не получится. Именно поэтому рядом с адресом появляется замочек. Его отсутствие - сигнал, что сайту не стоит доверять личные данные: пароли, карты, переписку

📌 API (Application Programming Interface) - интерфейс, через который программы общаются между собой. Не сайт и не приложение - набор адресов и правил для обмена данными

Пример из жизни: приложение погоды не хранит температуру. Оно отправляет запрос к API погодного сервиса и получает ответ. Мы видим +22°C, но за этим стоит HTTP-запрос к чужому серверу. Ответ чаще всего приходит в формате JSON

Связка HTTP/HTTPS + API основа почти любого современного приложения. Когда в вакансии пишут «опыт работы с REST API» - имеют в виду именно это: умение строить и обрабатывать такие запросы грамотно

❕Отзыв TLS-сертификатов: буквально недавно GlobalSign начал отзывать TLS-сертификаты у российских компаний в санкционном списке 🫡

Первая волна отзывов накрыла 15-20 тысяч доменов. Потом пошла вторая волна, которая досталась инфраструктуре Роснефти, Газпромбанка, ВЭБРФ и других крупных компаний

Можно перейти на российские сертификаты, но их признают только отечественные браузеры: Яндекс.Браузер На Chrome, Safari, Firefox и т.д. все получат ошибку