🖥 Как обнаружить выбросы в проекте по исследованию данных

Что такое выбросы в статистике? Как их обнаружить? Всегда ли их надо исключать из набора данных? Существуют ли критерии исключения выбросов? Предлагаем ответы на все эти вопросы, а в качестве бонуса - примеры кода на Python.

🧠Читать статью

#DataScience | Просто Python

🎓 Python-пакеты для Data Science

Пакет SciPy построен на основе NumPy, в нём используются и некоторые другие вспомогательные пакеты. Он широко используется для выполнения статистических расчётов. В SciPy можно работать с теми же данными, что и в NumPy. Поэтому SciPy часто используют для решения задач, которые нельзя решить с использованием стандартных механизмов NumPy. SkiPy — это инструмент, которому доверяет огромное количество учёных во всём мире.

Особенности SciPy
🔹 Пакет SciPy основан на NumPy.
🔹 Он поддерживает вычисления, основанные на эффективных структурах данных NumPy.
🔹 Этот пакет, помимо возможностей NumPy, задействует и возможности других пакетов.
🔹 SciPy представляет собой набор подпакетов, в которых реализованы различные вычислительные механизмы. Среди них, например, подпакеты, реализующие быстрое преобразование Фурье, обработку изображений, решение дифференциальных уравнений, механизмы линейной алгебры.

#SciPy | Просто Python

🖥 Что такое большие данные: комплексный обзор

Большие данные появились в конце 2000-х годов и стали настоящим технологическим прорывом. Предлагаем поразмышлять над тем, в чем суть этого феномена, как он позволяет оптимизировать бизнес-процессы и как им можно управлять.

🧠Читать статью

#BigData | Просто Python

🎥 [ENG] Python for Data Science

Python - язык науки о данных, и в этом часовом видео автор научит вас всему, что вам нужно знать, чтобы полностью овладеть библиотеками Numpy, Pandas и Plotly!

👀Смотреть в YouTube

#DataScience | Просто Python

🖥 Раскрываем возможности контейнеризации. Зачем дата-сайентистам Docker и Kubernetes?

Разберем отличия и преимущества Docker и Kubernetes, применяемые инструменты и терминологию. Какова роль контейнеризации и оркестрации в эффективной работе дата-сайентиста?

🧠Читать статью

#Docker #Kubernetes | Просто Python

🎓Python-пакеты для Data Science

Gensim – это библиотека с открытым исходным кодом на Python, написанная Радимом Рехуреком, которая используется для тематического моделирования без учителя и обработки естественного языка (NLP). Она предназначена для извлечения семантических тем из документов.

🔹Его можно использовать для построения моделей, которые позволяют эффективно классифицировать документы, понимая статистическую семантику каждого слова.
🔹Он поставляется с алгоритмами обработки текста, такими как Word2Vec, FastText, латентный семантический анализ и т.д., которые изучают статистические закономерности одновременного появления в документе, чтобы отфильтровать ненужные слова и построить модель, содержащую только значимые функции.
🔹Предоставляет средства ввода-вывода и считыватели, которые могут импортировать и поддерживать широкий спектр форматов данных.
🔹Он поставляется с простыми и интуитивно понятными интерфейсами, которыми легко могут пользоваться новички. Кривая обучения API также довольно низкая, что объясняет, почему многим разработчикам нравится эта библиотека.

#Gensim #data_science | Просто Python

🖥 11 шагов на пути к работе дата-сайентиста

Получить работу в области науки о данных, МО и ИИ сложно. Эти 11 шагов помогут стратегически подойти к решению этой проблемы (спойлер: Kaggle не относится к их числу).

🧠Читать статью

#data_science | Просто Python

🖥 Почему точные модели не всегда полезны

Утверждение, которое кажется парадоксальным: точность модели - не главный признак ее эффективности! Важно также разработать продукт, оправданный с денежной точки зрения. Сегодня поговорим о том, как функции экономической полезности помогают связать МО-модели с нуждами клиентов.

🧠Читать статью

#ML | Просто Python

🖥 Как собрать данные для DS-проекта с помощью Python: 3 шага

Начните свой проект по науке о данных с создания Python-скрипта, используя библиотеку Selenium для извлечения данных. Предлагаем узнать, как это выполнить в 3 шага.

🧠Читать статью

#data_science | Просто Python

🎓 Python-пакеты для Data Science

Пакет StatsModels основан на пакетах NumPy и SciPy. Он широко используется для анализа данных, для создания статистических моделей, для выполнения статистических исследований. Данный пакет весьма популярен благодаря своим возможностям в сфере статистических вычислений. Он хорошо интегрируется, например, с Pandas. В других подобных пакетах, в SciPy, например, выполнять статистические вычисления достаточно сложно. StatsModels упрощает решение подобных задач.

Особенности StatsModels
🔹 Многие дата-сайентисты используют этот пакет для проведения статистических вычислений.
🔹 В его состав входят некоторые методы, которые знакомы тем, кто пользуется языком R.
🔹 С его помощью создают и исследуют, например, обобщённые линейные модели, он позволяет проводить одномерный и двумерный анализ данных, применяется для проверки гипотез.

#StatsModels | Просто Python

🎥  Как использовать ChatGPT бесплатно и без регистрации с помощью Python

Разбираем работу крутого Python модуля позволяющего использовать нейросеть ChatGPT абсолютно бесплатно, без регистрации и токена. В качестве запроса создаем шаблон для телеграм бота погоды на aiogram.

👀Смотреть в  YouTube

#Ai  | Просто Python

🖥 6 алгоритмов машинного обучения, которые должен знать каждый исследователь данных

Машинное обучение - одна из тех областей, которые должен знать каждый, кто изучает науку о данных. Предлагаем описание 6 ключевых алгоритмов контролируемого МО, изложенное простым, доступным языком.

🧠Читать статью

#ML | Просто Python

🖥  Метод SHAP для категориальных признаков

Поговорим о том, как складывать SHAP-значения категориальных признаков, преобразованных путем прямой кодировки, с помощью кода Python.

🧠Читать статью

#SHAP | Просто Python

🎥 НЕЙРОСЕТЬ своими руками за 10 минут на Python

Пишем с нуля свою нейросеть. На языке Python с разбором как оно устроено.

👀Смотреть в  YouTube

#Ai  | Просто Python

🎓Python-пакеты для Data Science

SimpleITK - это комплексный инструментарий для анализа изображений, который поддерживает различные операции фильтрации, а также сегментацию изображений и регистрацию.

Плюсы

Документация для SimpleITK хороша и обширна для руководств высокого уровня и инструкций по созданию наборов инструментов и примеров для приложений SimpleIKT

Минусы

Основные функции ITK, такие как структура пространственных объектов, наборы точек и структура сетки, отсутствуют в SimplITK

#SimpleITK #data_science | Просто Python

🎥 Учим Нейронные Сети за 1 час! | Python Tensorflow & PyTorch YOLO

Самый нескучный урок по нейросетям!
Выучи почти всю базу работы с Tensorflow и PyTorch Yolo всего за 1 час и уже пили свои нейронки

👀Смотреть в  YouTube

#Ai  | Просто Python

🎥КЛАСТЕРИЗАЦИЯ В МАШИННОМ ОБУЧЕНИИ ДЛЯ НОВИЧКОВ на Python

Сегодня мы разберем 2 самых главных алгоритма кластеризация в машинном обучении, их преимущества, недостатки и все подводные камни!

👀Смотреть в YouTube

#machine_learning | Просто Python

🖥  Как перевести код R в Python с помощью ChatGPT

Научимся переводить код с языка программирования R на Python и наоборот. Для этой цели воспользуемся возможностями ChatGPT и на примерах рассмотрим принцип действия.

🧠Читать статью

#ChatGPT | Просто Python

🖥  Управление зависимостями в Python: файл pyproject.toml

Познакомимся с файлом pyproject.toml, рассмотрим его практическое применение и возможности в управлении зависимостями в проектах Python.

🧠Читать статью

#pyproject | Просто Python

🔥 Scrapy — Простой скрапинг сайтов

Scrapy является фреймворком, что прекрасно подойдет для скрапинга веб сайтов. Он без особых проблем справляется с самыми популярными случаями веб скрапинга, среди которых:
🔸Многопоточность;
🔸Веб-краулер для перехода от ссылке к ссылки;
🔸Извлечение данных;
🔸Проверка данных;
🔸Сохранение в другой формат/базу данных;
🔸Многое другое.

Главное отличие между Scrapy и другими популярными библиотеками, такими как Requests или BeautifulSoup, заключается в том, что он позволяет решать обычные задачи веб скрапинга при помощи самых элегантных solving.

К недостаткам Scrapy можно отнести и тот факт, что начать ему обучаться бывает довольно сложно.

#scrapy | Просто Python