Корреляция

Корреляция — это статистическая мера, показывающая взаимосвязь между двумя переменными. Она измеряется коэффициентом корреляции, который может принимать значения от -1 до 1.

Значение 1 говорит о положительной линейной зависимости (чем больше X, тем больше Y). Значение -1 говорит об отрицательной линейной зависимости (чем больше X, тем меньше Y). Значение 0 означает отсутствие линейной зависимости.

#практика #numpy

Распределение данных

Распределение данных описывает, как значения в наборе данных распределены. Одним из наиболее распространённых распределений является нормальное распределение, которое имеет форму колокола и характеризуется симметрией относительно среднего значения. В данном примере мы получаем гистограмму, показывающую нормальное распределение данных.

#практика #numpy

Ковариация и матрица ковариации

Ковариация показывает, как два признака изменяются вместе. Положительная ковариация - это когда переменные растут одновременно. Отрицательная ковариация - когда одна переменная растёт, другая уменьшается. Если ковариация ≈ 0, то признаки независимы.

Если у нас есть несколько переменных, их взаимосвязи можно описать с помощью матрицы ковариации. Это квадратная матрица, где каждая ячейка (i, j) показывает ковариацию между Xi и Xj.

#практика #numpy

Bootstrap и выборки

Bootstrap — это статистический метод, который позволяет оценить свойства распределения данных (например, среднее, дисперсию, доверительные интервалы) с использованием повторяющихся случайных выборок с возвращением.

Сначала мы берем случайные выборки из данных с возвращением (можно несколько раз выбирать одно и то же значение). Для каждой выборки вычисляем нужную метрику (например, среднее). В результате получаем распределение метрики и можем оценить её точность.

Bootstrap полезен, так как он избавляет от необходимости делать сложные математические выводы. Он удобен для оценки доверительных интервалов или проверки гипотез.

#практика #numpy

РСА (Метод главных компонент)

PCA (Principal Component Analysis) используется для уменьшения размерности данных без потери ключевой информации. Это полезно для визуализации многомерных данных или ускорения работы моделей. PCA полезен, если признаки сильно коррелируют. Он сохраняет максимум дисперсии данных.

#практика #numpy

Как ускорить код с NumPy?

Циклы в Python работают медленно, особенно при обработке больших массивов. NumPy позволяет выполнять арифметические операции и функции сразу над целым массивом.

Обрати внимание на пример. Без использования библиотеку циклу нужно 0.3 секунды для выполнения, а с помощью векторизации мы выполнили операцию за 0.005 секунд! Все дело в том, что NumPy выполняет вычисления на уровне C через оптимизированные библиотеки (например, BLAS или LAPACK).

#практика #numpy

Как ускорить код с NumPy? Часть 2

Выбор правильного типа данных может существенно снизить объём используемой памяти и ускорить вычисления. При обработке больших массивов разница может быть огромной. Например, если массив занимает 1 ГБ с float64, он будет занимать всего 500 МБ с float32.

#практика #numpy

Как ускорить код с NumPy? Часть 3

Если ты планируешь постепенно добавлять данные в массив, лучше заранее выделить память. Это ускоряет операции и снижает фрагментацию памяти.

Обрати внимание на пример. Второй способ работает быстрее, так как память выделяется сразу, а не по мере добавления элементов.

#практика #numpy

NumPy: Линейная алгебра

Если ты работаешь с матрицами, NumPy предоставляет встроенные функции. В данном примере продемонстрированы транспонирование, обратная матрица, определитель и умножение матриц.

#практика #numpy

Ускорение компиляции с помощью numba

Если определённая часть твоего кода всё ещё работает медленно, попробуй библиотеку numba, чтобы компилировать код. numba ускоряет выполнение в 10-20 раз, так как компилирует код в машинные инструкции.

#практика #numpy

NumPy: concatenate

Функция numpy.concatenate() используется для объединения массивов вдоль существующих осей. Это позволяет объединять несколько массивов NumPy в один массив. Мы передаем последовательность массивов, которые хотим объединить, в функцию concatenate() вместе с осью. Если ось не передана явно, она принимается за 0.

#практика #numpy

NumPy: Основы работы с массивами

В данном видео автор рассматривает основы работы с массивами в NumPy. Ты узнаешь, как создавать массивы, заполнять их данными, изменять их размер, форму и многое другое.

👀Смотреть видео

#видео #numpy

NumPy: Практические навыки работы с массивами

Продолжаем делиться циклом видео, где автор рассказывает про работу с NumPy. В этот раз ты приобретешь практические навыки работы с массивами, такие как суммирование и умножение.

👀Смотреть видео

#видео #numpy