This media is not supported in your browser
VIEW IN TELEGRAM
Добро пожаловать в мир главного ит тренда - машинного обучения: @machinelearning_ru
В канале вы найдет :
📃Статьи ,
📚Книги
👨💻 Код
🔗Ссылки
и много другой полезной информации
#ArtificialIntelligence #DeepLearning
#MachineLearning #DataScience
#Python
1 канал вместо тысячи учебников и курсов 👇👇👇
🤖 @machinelearning_ru
В канале вы найдет :
📃Статьи ,
📚Книги
👨💻 Код
🔗Ссылки
и много другой полезной информации
#ArtificialIntelligence #DeepLearning
#MachineLearning #DataScience
#Python
1 канал вместо тысячи учебников и курсов 👇👇👇
🤖 @machinelearning_ru
Для достижения функциональности, аналогичной auto.arima в R, в рамках scikit-learn-подобного интерфейса, используйте Pmdarima.
Pmdarima - это статистическая библиотека, для анализа временных рядов на Python.
#Python #DataScience
• Github
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Большие датафреймы могут потреблять значительные объемы памяти. Если обрабатывать #данные небольшими фрагментами, то можно избежать нехватки памяти и получить доступ к данным быстрее.
В приведенном примере кода используется
#tips #datascience #junior
@data_analysis_ml
В приведенном примере кода используется
chunksize=100000
, что работает примерно в 5495 раз быстрее, чем без использования chunksize
.#tips #datascience #junior
@data_analysis_ml
Усиление способности к сверхобобщению в моделях языка зрения при затратах менее $3.
Модель 2B превосходит модель 72B в тестах OOD всего за 100 шагов обучения.
▪ Github
@data_analysis_ml
#ml #ai #datascience
Please open Telegram to view this post
VIEW IN TELEGRAM
Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.
Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.
Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.
Я уже давно работаю с FireDucks
Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.
Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :
import fireducks.pandas as pd
Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук:
python
$ python -mfireducks.imhook yourfile[.]py
FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandas API.
Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks.
FireDucks побеждает с отрывом.
⛓️Здесь находится репозиторий FireDucks на GitHub:
https://github.com/fireducks-dev/fireducks
⛓️Если вы хотите пощупать либу, откройте этот пример:
https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo
⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот:
https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb
⛓️И наконец, бенчмарки, с которыми стоит ознакомиться:
https://fireducks-dev.github.io/docs/benchmarks/
#fireducks #Pandas #dataanalysis #datascience #python #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
map, apply, applymap, aggregate и transform.
Позволяет без проблем передавать async функции в эти методы. Библиотека автоматически запустит их асинхронно, управляя количеством одновременно выполняемых задач с помощью параметра
max_parallel
.✨ Ключевые возможности:
▪ Простая интеграция: Используйте как замену стандартным функциям Pandas, но теперь с полноценной поддержкой async функций.
▪ Контролируемый параллелизм: Автоматическое асинхронное выполнение ваших корутин с возможностью ограничить максимальное число параллельных задач (max_parallel). Идеально для управления нагрузкой на внешние сервисы!
▪ Гибкая обработка ошибок: Встроенные опции для управления ошибками во время выполнения: выбросить исключение (raise), проигнорировать (ignore) или записать в лог (log).
▪ Индикация прогресса: Встроенная поддержка tqdm для наглядного отслеживания процесса выполнения долгих операций в реальном времени.
#python #pandas #asyncio #async #datascience #программирование #обработкаданных #асинхронность
Please open Telegram to view this post
VIEW IN TELEGRAM