1️⃣0️⃣ Полезных инструментов специалиста Data Science

➖Lazy Predict позволяет быстро создавать прототипы для анализа данных и сравнивать несколько базовых моделей без необходимости вручную писать код или настраивать параметры.

➖fastparquet – библиотека, ускоряющая ввод-вывод Pandas в 5 раз. fastparquet – это высокопроизводительная реализация формата Parquet на Python, предназначенная для бесперебойной работы с фреймами данных Pandas. Она обеспечивает быструю производительность чтения и записи, эффективное сжатие и поддержку широкого спектра типов данных.

➖DataDreamer – это мощная библиотека Python с открытым исходным кодом для легкого создания промптов, синтетических данных и рабочих моделей машинного обучения.

➖SciencePlots – полезная библиотека для быстрого создания графиков matplotlib для презентаций, исследовательских работ.

➖Tensorflow-GNN. Новая библиотека Tensorflow-GNN для работы с графовыми нейросетями. Эта крутая библиотека ориентирована на гетерогенные графы, то есть те, у которых узлы и рёбра могут быть различных типов.

➖PyGWalker – инструмент, который упрощает рабочий процесс анализа и визуализации данных в Jupyter Notebook, превращая фрейм данных pandas в пользовательский интерфейс в стиле Tableau для визуального исследования.

➖Feather – библиотека, которая предназначена для чтения и записи данных с устройств. Данная библиотека отлично подходит для перевода данных из одного языка в другой. Также она способна достаточно быстро считывать большие массивы данных

➖Ibis – обеспечивает доступ между локальным окружение в Python и удаленными хранилищами данных (например, Hadoop)

➖Dask – эта библиотека позволяет эффективно организовывать параллельные вычисления. Коллекции больших данных хранятся здесь как параллельные массивы/списки и позволяют работать с ними через Numpy/Pandas.

➖Jless — полезный инструмент для просмотра JSON-файлов в командной строке. Отображение данных в удобном виде — с подсветкой синтаксиса для отдельных элементов объекта.

@pro_python_code

🖥 Свежая бурно развивающаяся Python библиотека yarl

Позволяет распарсить URL на отдельные компоненты — имя сервера, хост, запрос и т.д.
Особенно актуально будет для разных парсеров, веб-приложений, краулеров, если не очень хочется ковыряться с regex

pip install yarl

🖥 GitHub 1.2K ⭐️

@pro_python_code