Небольшой туториал о том как получить статистику из API Яндекс.Директа с помощью несложного скрипта

https://habr.com/ru/post/449392/

Наткнулся на интересную утилиту csvkit.

Это набор инструментов, вызываемых из командной строки, позволяющих быстро производить рутинные операции с csv.
Так csvkit умеет конвертировать csv в json и обратно, читать xlsx-файлы, находить строки, соответствующие условию, вытягивать и передавать данные в БД. Ну и ещё много всего. Почитайте доку, там интересно

https://csvkit.readthedocs.io/en/latest/

Небольшая статья про визуализацию данных с помощью Altair http://fernandoi.cl/blog/posts/altair/

Анимации помогают осветить определенные аспекты визуализации, которые никак не могут быть показаны статическими графиками.

Например, автор YouTube-канала 3Blue1Brown использует Python, чтобы красивые визуальные объяснения сложных математических концепций. Рекомендую посмотреть несколько видео, например, про фракталы там рассказано очень интересно. Для создания этих анимаций автор разработал целую библиотеку под названием Manim (Mathematical Animation Engine)

Manim крутой, но сложный. Если вы хотите быстро научиться создавать анимации, то вот вам большая статья с примерами создания анимированных графиков с помощью библиотеки matplotlib. https://python-scripts.com/animations-with-matplotlib

Туториал по обработке данных с помощью NumPy и Pandas от HackerEarth

https://www.hackerearth.com/ru/practice/machine-learning/data-manipulation-visualisation-r-python/tutorial-data-manipulation-numpy-pandas-python/tutorial/

Крутейший гайд по визуализации данных с помощью matplotlib и seaborn. Особенно ценная штука - схема "Anatomy of a figure", на которой представлены элементы чарта в matplotlib. Основываясь на этой схеме, становится понятнее какими элементами можно управлять и что "гуглить"🙂Ну и интересно про GridSpec

https://towardsdatascience.com/a-step-by-step-guide-for-creating-advanced-python-data-visualizations-with-seaborn-matplotlib-1579d6a1a7d0

Странное конечно название у статьи - "Pandas вместо SQL". Но суть полезная - сравнение синтаксиса SQL с Pandas. Будет крайне полезно для тех, кто знает SQL, но хочет подучить Pandas.
https://tproger.ru/translations/rewrite-sql-queries-in-pandas/amp/

Собрал все ссылки про Pandas, которые были размещены в этом канале и не только, на одну страничку, с тегами и указанием языка статьи или туториала. Также там есть ссылка на случай, если кто-то захочет предложить свою статью или заинтересовавшую статью.

С тех пор как я выкладывал эту ссылку в первый раз, в канале уже сильно подросло количество народу, да и саму подборку я актуализировал, например, сильно подросло количество статей на русском.

Делитесь, распространяйте)

http://bit.ly/2GFnA21

Обалденная статья в блоге Chris Moffit. Автор рассказывает о том как выводить датафрейм не просто безжизненной массой данных, а стильно и красиво. Начиная от форматирования чисел (например, валютный или процентный формат), условного форматирования, и заканчивая столбчатыми диаграммами внутри колонок и спарклайнами.

https://pbpython.com/styling-pandas.html

Статья о том почему method chaining - это эффективный прием для повышения читаемости кода. Обратная сторона - становится сложнее отлаживать код.

https://towardsdatascience.com/the-unreasonable-effectiveness-of-method-chaining-in-pandas-15c2109e3c69

Крутая статья в блоге сервиса Mode Analytics про сравнение оконных функций в SQL и в Pandas. На мой вкус, в Pandas функции скользящего окна реализованы сильно понятнее и удобнее в использовании. Но это скорее дело привычки

https://mode.com/blog/bridge-the-gap-window-functions

Держите 15 коротких роликов про визуализацию данных с помощью Matplotlib. И ничего страшного, что там всё это рассказывает товарищ с явным акцентом - вот лично мне так даже легче воспринимать английский на слух🙃

https://www.youtube.com/playlist?list=PLqEbL1vopgvs1p90E3Ig_OTY08wBTCj9B

Интересная статья про не самые очевидные вещи в Pandas: сравнение производительности операций с векторами и со списками; преобразование типов для экономии памяти; работа с чанками; обзор библиотеки pandasql; форматирование данных с помощью prettypandas.

https://medium.com/analytics-and-data/become-a-pro-at-pandas-pythons-data-manipulation-library-264351b586b1

Статья-путеводитель по открытым наборам данных для машинного обучения. Собрана подборка интересных и свежих (относительно) датасетов. В конце статьи, прикреплены полезные ссылки по самостоятельному поиску датасетов.

https://habr.com/ru/post/452392/

Pandas разработан для выполнения операций с векторами. Поэтому обычные итерации с помощью циклов внутри строки, столбца или датафрейма - это не самый эффективный способ использования. Но если вам всё же нужны циклы, то в этом гайде рассмотрены примеры эффективной организации циклов в Pandas с помощью iterrows и apply.

https://towardsdatascience.com/how-to-use-pandas-the-right-way-to-speed-up-your-code-4a19bd89926d

Немного NLP. Статья про то как визуализировать терм-документную матрицу (матрицу частоты встречаемости термов в коллекции документов) с помощью библиотеки Scattertext

https://kanoki.org/2019/03/17/text-data-visualization-in-python/

Всем кому интересен Python не только для анализа данных, советую подписаться на канал @devbrain, где автор делится интересным авторским контентом (и не только) на тему веб-разработки, анализа данных, дата инжиниринга и многого другого!

P.S. в моём канале уже проскальзывал материал автора:

- Python и MySQL
- Python и PostgreSQL

а также в статье в блоге про изучение аналитики на Python

Руководство по работе с окружениями в Python. В нем вы можете узнать зачем нужны окружения, как их создавать и управлять ими, в чем отличие в установке пакетов через pip и conda, как устанавливать пакеты в разные окружения. Достаточно подробное и полезное чтиво, рекомендую!

https://towardsdatascience.com/a-guide-to-conda-environments-bc6180fc533

Интересная статья с примером использования функции melt в Pandas.
Зачастую для удобства анализа нужно преобразовать данные из сводной таблицы в нормальный вид, где каждая строка характеризует наблюдение или группу наблюдений. Такое преобразование позволяет привести данные к так называемому виду tidy data (https://en.wikipedia.org/wiki/Tidy_data). Когда вы работаете с tidy, то использовать функции Pandas становится удобнее, т.к. каждый столбец характеризует значение одного признака, а значит проще применять groupby или другие операции к колонкам датафрейма. Привести сводную таблицу к такому виду можно с помощью функции melt.
https://towardsdatascience.com/transforming-data-in-python-with-pandas-melt-854221daf507

Краткий экскурс, который познакомит вас с библиотекой Dask, предназначенной для распараллеливания задач на Python.

Если вам нравятся Pandas и Numpy, но иногда вам не удается справиться с данными, не умещающимися в RAM, то Dask – именно то, что вам нужно. Dask поддерживает датафреймы Pandas и массивы Numpy. Dask можно запускать либо на локальном компьютере, либо масштабировать, а затем запускать в кластере.

https://m.habr.com/ru/company/piter/blog/454262/