Netflix выложил в открытый доступ собственную разработку для создания пайплайнов обработки данных - Metaflow. Идеологически основано на все тех же DAG (direct acyclic graph), подобная идеология построения пайплайнов используется и в Apache Airflow. Статья представляет собой вводный туториал с обзором основных возможностей.

https://towardsdatascience.com/learn-metaflow-in-10-mins-netflixs-python-r-framework-for-data-scientists-2ef124c716e4

Статья с интересным примером прикладного анализа данных. Автор Олег Юрьев исследует характеристики, рейтинг и стоимость светодиодных ламп, сопровождая всё подробными комментариями.

http://rweather.ru/blog/all/veselaya-analitika-lamptest/

Есть отличные новости!

9 января состоялся релиз Pandas 1.0.0rc. Предыдущая версия библиотеки — 0.25.

Первый мажорный релиз содержит множество замечательных нововведений, в том числе улучшенное автоматическое суммирование датафреймов, больше форматов вывода, новые типы данных и даже новый сайт документации.

https://habr.com/ru/post/483720/

Рекомендую ознакомиться также с полными release notes.

https://dev.pandas.io/docs/whatsnew/v1.0.0.html

Статья о том как важно для аналитика данных автоматизировать свои рутинные задачи, писать функции, которые будут использоваться из проекта в проект. В статье есть несколько примеров таких функций, например, для объединения csv-файлов или переименования колонок датафреймов.

https://towardsdatascience.com/automate-boring-tasks-with-your-own-functions-a32785437179

Принес вам очередной всеобъемлющий туториал по Pandas. Для новичков самое то

https://realpython.com/pandas-python-explore-dataset/

Напоминаю, что у этого канала есть чатик, который периодически оживает от ваших вопросов. Так что не стесняйтесь их там задавать. Там умеют гуглить и стаковерфлоить за вас🙂, а ещё делиться экспертизой, что гораздо ценнее 👨‍🔬👩‍🔬

Также я актуализировал список ссылок про Pandas 🐼, который накопился за время существования этого канала. С тех пор как я выкладывал эту ссылку в предыдущий раз, в канале уже сильно подросло количество народу, да и саму подборку я актуализировал, например, сильно подросло количество статей на русском: http://bit.ly/2GFnA21

Всем удачи!

Иллюстрированная статья про функции объединения в pandas: merge, join и concat.

https://towardsdatascience.com/python-pandas-dataframe-join-merge-and-concatenate-84985c29ef78

Небольшой русскоязычный туториал по pandas: освещается чтение данных из файла и базовые операции вывода, обзора данных и фильтрации

https://pythonru.com/uroki/osnovy-pandas-1-chtenie-fajlov-dataframe-otbor-dannyh

Статья с примером парсинга данных с веб-сайтов с применением BeautifulSoup. Освещены все основные этапы: формирование запроса и получение странички с помощью requests, поиск нужного элемента в HTML через инспектор, выделение данных из элемента через методы BeautifulSoup.

https://www.agiratech.com/web-scraping-using-python/

Если вы хотите смоделировать систему, чтобы больше понимать о ее поведении, то вам понадобится собрав измерения переменных (статистику) внутри системы определить их распределение, чтобы можно было генерировать входные данные для моделирования системы. В этом случае достаточно найти параметры распределения, которые лучше всего соответствуют наблюдениям. Этот процесс известен как статистический вывод. В этой статье рассматривается метод оценки максимального правдоподобия (MLE).

https://richardstartin.github.io/posts/maximum-likelihood-estimation

Пост с различными полезными сниппетами для работы с pandas: от группировки и до method chaining.

https://kadekillary.work/post/embarrassment-of-pandas/

Статья о том как сделать Jupyter Notebook более интерактивным: добавление прогресс-баров, виджетов для ввода, оформление текста. В общем, куча полезных советов, которые сделают ваши блокноты более удобными и красивыми

https://habr.com/ru/post/485318/

Крутая статья про кластеризацию последовательности значений с помощью метода оптимизации Дженкса. Представьте, что у вас есть последовательность чисел, которые распределены не непрерывно, а имеют какие-то разрывы, например, значения после 50 перестают появляться и начинаются вновь только с 500. Алгоритм Дженкса позволяет на основе таких разрывов сформировать кластеры. Это очень удобный метод для того, чтобы сформировать более естественные диапазоны, нежели например с использованием квартилей, так как диапазоны будут можно сказать следовать природе данных.

https://pbpython.com/natural-breaks.html

Библиотека для создания анимированных гифок с помощью matplotlib

https://github.com/maxhumber/gif

Генетический алгоритм - это метод решения вычислительных проблем, в основу которого положена теория естественного отбора.

В статье представлены простые и понятные примеры кода с реализацией генетического алгоритма.

https://dev.to/fernandezpablo/introduction-to-genetic-algorithms-in-python-e9p

Наткнулся на интересную библиотеку для прогнозирования временных рядов. С её помощью можно выбрать различные модели прогнозирования, чтобы сравнить их между собой, а также комбинировать их с помощью модели градиентного бустинга. Всего в библиотеке представлено 11 моделей для прогнозирования временных рядов, включая наиболее популярные ARIMA и Prophet

https://github.com/firmai/atspy

Хорошая статья про создание интерактивных дашбордов с помощью Plotly (для визуализации) и Voila (для того, чтобы сделать веб-приложение из ноутбука). На мой взгляд, это очень элегантный и простой подход, позволяющий сделать исследование и делиться выводами по нему с другими людьми без шаринга всего кода. Отдельный бонус: рассматривается два варианта деплоя приложения - в облаке с помощью сервиса binder и на выделенном сервере через tmux.

https://pbpython.com/interactive-dashboards.html

Vit Cheremisinov и Iskandar Mirmakhmadov составили подборку книг, блогов и статей, рекомендуемых для погружения в область экспериментов и математической статистики. Однозначно в закладки!

Библиотека D-Tale позволяет отображать датафрейм в удобной таблице с возможностью сортировки и фильтрации. Чем-то похоже на Qgrid, но более навороченный. Ведь D-Tale умеет не просто отображать данные в ноутбуке, но и создавать в один клик веб-сервис, в котором таблица датафрейма будет доступна для обзора по URL. Это удобно для работы с данными из различных IDE, которые не поддерживаю pretty-вывод датафреймов.

https://github.com/man-group/dtale