На RealPython появился большой туториал про основы описательной статистики с помощью Python. Прелесть туториала в том, что он через простые примеры и небольшие сниппеты кода разъясняет базовые концепции статистики. Для тех кто только начинает погружение в мир средних, медиан и стандартных отклонений - самое то.

https://realpython.com/python-statistics/

Про numpy все как-то часто забывают, а между тем многие операции на numpy делать также удобно как и в pandas. В множестве случаев это взаимодополняемые инструменты аналитика. Про несколько интересных функций numpy читайте в статье.

https://habr.com/ru/post/480740/

Впереди небольшие каникулы, а значит можно провести их с пользой и потренироваться в анализе данных. Лучше всего оттачивать навыки на датасетах, непосредственно связанных с вашими проектами, но если таких не находится, то может пригодится подборка тренировочных датасетов

https://habr.com/ru/company/edison/blog/480408/

Тем кто работает в ecommerce точно пригодится. Статья о том как подготовить товарные cross-sell рекомендации с помощью pandas и алгоритма ассоциативных правил из библиотеки MLextend.

https://pythondata.com/market-basket-analysis-with-python-and-pandas/

Сегодня я выхожу из зимней спячки. Первый пост в новом году будет посвящен EDA (разведочному анализу данных) на основе датасета из игры FIFA 2019. Вообще, публичные EDA - прекрасные примеры практического применения инструментов анализа, на которых легко учиться. Так что если вы только начинаете изучение - накопайте побольше всяких ноутбуков с разведочным анализом данных.

https://towardsdatascience.com/exploratory-data-analysis-of-the-fifa-19-dataset-in-python-24eb27de9e59

Хорошая подборка в помощь начинающим изучать Data Science и анализ данных

https://habr.com/ru/post/482652/

Netflix выложил в открытый доступ собственную разработку для создания пайплайнов обработки данных - Metaflow. Идеологически основано на все тех же DAG (direct acyclic graph), подобная идеология построения пайплайнов используется и в Apache Airflow. Статья представляет собой вводный туториал с обзором основных возможностей.

https://towardsdatascience.com/learn-metaflow-in-10-mins-netflixs-python-r-framework-for-data-scientists-2ef124c716e4

Статья с интересным примером прикладного анализа данных. Автор Олег Юрьев исследует характеристики, рейтинг и стоимость светодиодных ламп, сопровождая всё подробными комментариями.

http://rweather.ru/blog/all/veselaya-analitika-lamptest/

Есть отличные новости!

9 января состоялся релиз Pandas 1.0.0rc. Предыдущая версия библиотеки — 0.25.

Первый мажорный релиз содержит множество замечательных нововведений, в том числе улучшенное автоматическое суммирование датафреймов, больше форматов вывода, новые типы данных и даже новый сайт документации.

https://habr.com/ru/post/483720/

Рекомендую ознакомиться также с полными release notes.

https://dev.pandas.io/docs/whatsnew/v1.0.0.html

Статья о том как важно для аналитика данных автоматизировать свои рутинные задачи, писать функции, которые будут использоваться из проекта в проект. В статье есть несколько примеров таких функций, например, для объединения csv-файлов или переименования колонок датафреймов.

https://towardsdatascience.com/automate-boring-tasks-with-your-own-functions-a32785437179

Принес вам очередной всеобъемлющий туториал по Pandas. Для новичков самое то

https://realpython.com/pandas-python-explore-dataset/

Напоминаю, что у этого канала есть чатик, который периодически оживает от ваших вопросов. Так что не стесняйтесь их там задавать. Там умеют гуглить и стаковерфлоить за вас🙂, а ещё делиться экспертизой, что гораздо ценнее 👨‍🔬👩‍🔬

Также я актуализировал список ссылок про Pandas 🐼, который накопился за время существования этого канала. С тех пор как я выкладывал эту ссылку в предыдущий раз, в канале уже сильно подросло количество народу, да и саму подборку я актуализировал, например, сильно подросло количество статей на русском: http://bit.ly/2GFnA21

Всем удачи!

Иллюстрированная статья про функции объединения в pandas: merge, join и concat.

https://towardsdatascience.com/python-pandas-dataframe-join-merge-and-concatenate-84985c29ef78

Небольшой русскоязычный туториал по pandas: освещается чтение данных из файла и базовые операции вывода, обзора данных и фильтрации

https://pythonru.com/uroki/osnovy-pandas-1-chtenie-fajlov-dataframe-otbor-dannyh

Статья с примером парсинга данных с веб-сайтов с применением BeautifulSoup. Освещены все основные этапы: формирование запроса и получение странички с помощью requests, поиск нужного элемента в HTML через инспектор, выделение данных из элемента через методы BeautifulSoup.

https://www.agiratech.com/web-scraping-using-python/

Если вы хотите смоделировать систему, чтобы больше понимать о ее поведении, то вам понадобится собрав измерения переменных (статистику) внутри системы определить их распределение, чтобы можно было генерировать входные данные для моделирования системы. В этом случае достаточно найти параметры распределения, которые лучше всего соответствуют наблюдениям. Этот процесс известен как статистический вывод. В этой статье рассматривается метод оценки максимального правдоподобия (MLE).

https://richardstartin.github.io/posts/maximum-likelihood-estimation

Пост с различными полезными сниппетами для работы с pandas: от группировки и до method chaining.

https://kadekillary.work/post/embarrassment-of-pandas/

Статья о том как сделать Jupyter Notebook более интерактивным: добавление прогресс-баров, виджетов для ввода, оформление текста. В общем, куча полезных советов, которые сделают ваши блокноты более удобными и красивыми

https://habr.com/ru/post/485318/

Крутая статья про кластеризацию последовательности значений с помощью метода оптимизации Дженкса. Представьте, что у вас есть последовательность чисел, которые распределены не непрерывно, а имеют какие-то разрывы, например, значения после 50 перестают появляться и начинаются вновь только с 500. Алгоритм Дженкса позволяет на основе таких разрывов сформировать кластеры. Это очень удобный метод для того, чтобы сформировать более естественные диапазоны, нежели например с использованием квартилей, так как диапазоны будут можно сказать следовать природе данных.

https://pbpython.com/natural-breaks.html