🌟 cuPyNumeric: замена NumPy от NVIDIA.

По мере роста объемов данных и сложности вычислений, вычисления на Python и NumPy, основанные на CPU, нуждаются в ускорении для выполнения современных исследований.

cuPyNumeric разработана, чтобы стать заменой библиотеки NumPy, предоставляя сообществу Python распределенные и ускоренные вычисления на платформе NVIDIA. cuPyNumeric позволяет масштабировать вычисления без изменения кода проектов с одного CPU до суперкомпьютеров с несколькими GPU и вычислительными нодами.

Библиотека построена на Legate, поддерживает родной Python и интерфейс NumPy. cuPyNumeric доступен из conda (версия не ниже 24.1) в legate channel. На системах с GPU пакеты, поддерживающие графические ускорители будут выбраны автоматически во время установки.

Пример эффективности cuPyNumeric - обработка 10 ТБ микроизображений многоракурсной микроскопии в виде одного массива NumPy за один день с визуализаций в режиме реального времени.

▶️Установка и тест на примере из репозитория:

<pre language="python"># Create new conda env
conda create -n myenv -c conda-forge -c legate cupynumeric

# Test via example from repo
$ legate examples/black_scholes.py
Running black scholes on 10K options...
Elapsed Time: 129.017 ms</pre>
📌Лицензирование: Apache 2.0 License.

🟡Статья (https://developer.nvidia.com/cupynumeric)
🟡Документация (https://docs.nvidia.com/cupynumeric/latest/index.html)
🖥GitHub (https://github.com/nv-legate/cupynumeric)

@ai_machinelearning_big_data

#AI #ML #NumPy #NVIDIA #cuPyNumeric
@python_be1

🔥 Не путай is и == в #Python

В Python есть тонкий момент: оператор is и оператор == не одно и то же.
- is проверяет идентичность объектов (указывают ли они на одну и ту же область памяти).
- == проверяет равенство значений.

Малоизвестный кейс: маленькие числа и короткие строки в Пайтон кешируются. Поэтому a is b иногда случайно даёт True — и это вводит в заблуждение. Но с большими числами и динамически созданными строками поведение будет другим.
Лучше всегда использовать ==, когда нужно сравнение по значению.

#Python, #программирование, #кодинг, #разработка, #собеседование, #интервью, #PythonJobs, #DataScience, #MachineLearning, #AI, #backend, #webdev, #Django, #Flask, #FastAPI, #API, #REST, #asyncio, #многопоточность, #многозадачность, #библиотеки, #NumPy, #Pandas, #TensorFlow, #PyTorch, #SQL, #ORM, #SQLAlchemy, #тестирование, #unittest, #pytest, #TDD, #алгоритмы, #структурыданных, #OOP,

@python_be1

🔥 Python трюк: динамическое добавление методов в класс

Мало кто знает, но в Python можно на лету добавлять методы в уже созданный класс. Это удобно для плагинов, тестов или динамических API.

⚡ Приём называется monkey patching.

Это мощный инструмент — но им надо пользоваться аккуратно, чтобы не сломать читаемость кода.

#Python, #программирование, #кодинг, #разработка, #собеседование, #интервью, #PythonJobs, #DataScience, #MachineLearning, #AI, #backend, #webdev, #Django, #Flask, #FastAPI, #API, #REST, #asyncio, #многопоточность, #многозадачность, #библиотеки, #NumPy, #Pandas, #TensorFlow, #PyTorch, #SQL, #ORM, #SQLAlchemy, #тестирование, #unittest, #pytest, #TDD, #алгоритмы, #структурыданных, #OOP, #паттерныпроектирования, #чистыйкод, #DevOps, #CICD, #Docker, #Kubernetes, #AWS, #Azure, #GCP, #скрипты, #автоматизация, #BigData, #анализданных,

@python_be1

🖥 Python: Совет по работе с серверами

Полезный совет Python-разработчиков, работающих с серверами

Когда вы управляете удалёнными серверами, часто приходится подключаться по SSH, выполнять команды и собирать логи. Банальные вызовы через subprocess или ручное использование ssh не дают гибкости. Куда интереснее использовать программируемое SSH-взаимодействие прямо из Python, с динамическим выполнением команд, обработкой stdout/stderr и тонкой настройкой соединения.

Трюк в том, чтобы работать с сервером так, будто вы пишете локальный скрипт: подключение по ключу, выполнение последовательности команд, сбор результатов и даже поднятие туннелей. Для этого можно использовать библиотеку paramiko. Её «фишка» — вы получаете прямой объект-канал для команд, что позволяет реализовать, например, автоматическое деплой-меню или собственный health-checker для кластера.

#Python #Программирование #Разработка #Python3 #Backend #Frontend #DataScience #MachineLearning #ArtificialIntelligence #DeepLearning #WebDevelopment #Django #Flask #FastAPI #API #REST #Scripting #Automation #DevOps #DataAnalysis #Pandas #NumPy #Matplotlib #Seaborn #Jupyter #BigData #CloudComputing #AWS #Azure #GoogleCloud #Testing #PyTest #UnitTest #CI_CD #Databases #SQL #NoSQL #MongoDB #PostgreSQL #SQLite #OpenSource #SoftwareEngineering #Coding #CleanCode #PythonLibraries #TensorFlow #PyTorch #ScikitLearn #NLP #ComputerVision

@python_be1

🖥 Полезный совет по ускорению Python-кода

Многие считают, что list comprehension всегда оптимален. Но при больших объёмах данных связка map + filter может быть быстрее: она выполняется на уровне C и не создаёт лишних промежуточных структур.

Когда нужно одновременно фильтровать и преобразовывать элементы, map + filter часто выигрывает по скорости.

#Python, #программирование, #кодинг, #разработка, #собеседование, #интервью, #PythonJobs, #DataScience, #MachineLearning, #AI, #backend, #webdev, #Django, #Flask, #FastAPI, #API, #REST, #asyncio, #многопоточность, #многозадачность, #библиотеки, #NumPy, #Pandas, #TensorFlow, #PyTorch, #SQL, #ORM, #SQLAlchemy, #тестирование, #unittest, #pytest, #TDD, #алгоритмы, #структурыданных, #OOP,

@python_be1

🔥 Python: склейка TCP-пакетов

Когда отправляешь ты в сокет много маленьких кусочков - уходит куча мелких TCP-пакетов это работает медленнее и с задержками.

Решение: склеивай данные и отправляй одним блоком.

На Linux можно сказать ядру «подожди, я ещё допишу» команда MSG MORE.

Итог: меньше пакетов, быстрее отклик.

#Python #Программирование #Разработка #Python3 #Backend #Frontend #DataScience #MachineLearning #ArtificialIntelligence #DeepLearning #WebDevelopment #Django #Flask #FastAPI #API #REST #Scripting #Automation #DevOps #DataAnalysis #Pandas #NumPy #Matplotlib #Seaborn #Jupyter #BigData #CloudComputing #AWS #Azure #GoogleCloud #Testing #PyTest #UnitTest #CI_CD #Databases #SQL #NoSQL #MongoDB #PostgreSQL #SQLite #OpenSource

@python_be1

🔥 Трюк: проверка сетевых сервисов в Python через socket

В Python можно быстро проверить, доступен ли сетевой сервис и как быстро он отвечает, не прибегая к сложным утилитам.
Это помогает опытным разработчикам, когда нужно оперативно убедиться, что API или база данных действительно доступны и не "подвисают".

Через socket можно реализовать мини-проверку состояния сети и времени отклика.

#Python, #программирование, #кодинг, #разработка, #собеседование, #интервью, #PythonJobs, #DataScience, #MachineLearning, #AI, #backend, #webdev, #Django, #Flask, #FastAPI, #API, #REST, #asyncio, #многопоточность, #многозадачность, #библиотеки, #NumPy, #Pandas, #TensorFlow, #PyTorch, #SQL, #ORM, #SQLAlchemy, #тестирование, #unittest

@python_be1

🔥 Python: функции-фабрики

Простой, но мощный трюк: генерация функций на лету через замыкания. Вместо дублирования логики можно одной фабрикой создавать десятки разных функций.

Хочешь больше таких фишек? Подписывайся на нас и каждый день получай свежие и нестандартные советы, которые реально прокачают твои навыки разработчика!

#Python, #программирование, #кодинг, #разработка, #собеседование, #интервью, #PythonJobs, #DataScience, #MachineLearning, #AI, #backend, #webdev, #Django, #Flask, #FastAPI, #API, #REST, #asyncio, #многопоточность, #многозадачность, #библиотеки, #NumPy, #Pandas, #TensorFlow, #PyTorch, #SQL, #ORM, #SQLAlchemy, #тестирование, #unittest, #pytest, #TDD, #алгоритмы, #структурыданных, #OOP,

@python_be1

🚀 Ускоряем Python-скрипты с помощью библиотеки numba

Когда ваш Python-код начинает тормозить из-за тяжёлых вычислительных циклов, спасает библиотека numba. Она компилирует функции в машинный код с помощью JIT-компиляции и позволяет ускорить выполнение в десятки раз без переписывания логики на C или C++.

Просто добавьте декоратор @njit к функции с числовыми расчётами или обработкой массивов — и получите мгновенный прирост скорости.

#Python, #программирование, #кодинг, #разработка, #собеседование, #интервью, #PythonJobs, #DataScience, #MachineLearning, #AI, #backend, #webdev, #Django, #Flask, #FastAPI, #API, #REST, #asyncio, #многопоточность, #многозадачность, #библиотеки, #NumPy, #Pandas, #TensorFlow, #PyTorch, #SQL, #ORM, #SQLAlchemy, #тестирование, #unittest, #pytest, #TDD, #алгоритмы, #структурыданных, #питон

@python_be1