Выбор хорошего формата файла для Pandas

Прежде чем обрабатывать данные с помощью Pandas, их нужно загрузить (с диска или удаленного хранилища). Pandas поддерживает множество форматов данных: CSV, JSON, Parquet и многие другие.

import sys
import pandas as pd


df = pd.read_csv(
    sys.argv[1],
    dtype={
        "route_id": "category",
        "direction_id": "category",
        "point_type": "category",
        "standard_type": "category",
    },
    parse_dates=["service_date", "scheduled", "actual"],
)

https://pythonspeed.com/articles/best-file-format-for-pandas/

#python

👉 @python_real

Создание программы записи экрана с помощью Python

Python - это широко распространенный язык общего назначения. Он позволяет выполнять различные задачи. Одна из них - запись видео. Для этого в нем есть модуль pyautogui. Этот модуль вместе с NumPy и OpenCV позволяет манипулировать и сохранять изображения (в данном случае скриншот)

https://www.geeksforgeeks.org/create-a-screen-recorder-using-python/

#python

👉 @python_real

Ловушки, в которые попадают неопытные Python-разработчики

В основном, Python стремится быть чистым и последовательным языком, который избегает сюрпризов. Однако есть несколько случаев, которые могут быть запутанными для новичков.

Некоторые из этих случаев намеренны, но могут показаться неожиданными. Некоторые, возможно, можно рассматривать как недостатки языка. В целом, это сборник потенциально сложного поведения, которое может показаться странным на первый взгляд, но становится понятным, как только вы осознаете причину неожиданности.

https://docs.python-guide.org/writing/gotchas/

#python

👉 @python_real

Как мы решали вопрос многоязычности в боте

Ранее в статье Как мы запускали серьезный проект в Telegram я рассказал общую информацию о моем телеграм-бот проекте World for Life Bot

В этой статье я поделюсь опытом реализации многоязычности, расскажу о принципах выбора языков, которыми я руководствовался, технических аспектах реализации и принятых решениях.

https://habr.com/ru/articles/785582/

#python

👉 @python_real

Возможности для молодых людей в «Алабуге»

В особой экономической зоне «Алабуга» активно развивается лидерская программа «100 Лидеров». В ней могут поучаствовать молодые специалисты от 19 до 29 лет.

У участников есть возможность познакомиться с топ-менеджерами компании, поиграть в бизнес-игры, пройти собеседования с реальным шансом трудоустройства в компанию «Алабуга».

Питание и проживание за счет компании.

Работа в «Алабуге» - это зарплата от 78 до 200 тысяч рублей и участие в реализации проектов мирового уровня.

Следующий поток - с 28 по 31 октября!
Заявку можно подать на сайте.

Параллелизм, конкурентность и AsyncIO в Python — на примерах

Эта статья рассматривает, как ускорить операции, ограниченные процессором (CPU-bound) и вводом-выводом (IO-bound), с помощью многопроцессорности, многопоточности и AsyncIO.

# tasks.py

import os
from multiprocessing import current_process
from threading import current_thread

import requests


def make_request(num):
    # io-bound

    pid = os.getpid()
    thread_name = current_thread().name
    process_name = current_process().name
    print(f"{pid} - {process_name} - {thread_name}")

    requests.get("https://httpbin.org/ip")


async def make_request_async(num, client):
    # io-bound

    pid = os.getpid()
    thread_name = current_thread().name
    process_name = current_process().name
    print(f"{pid} - {process_name} - {thread_name}")

    await client.get("https://httpbin.org/ip")


def get_prime_numbers(num):
    # cpu-bound

    pid = os.getpid()
    thread_name = current_thread().name
    process_name = current_process().name
    print(f"{pid} - {process_name} - {thread_name}")

    numbers = []

    prime = [True for i in range(num + 1)]
    p = 2

    while p * p <= num:
        if prime[p]:
            for i in range(p * 2, num + 1, p):
                prime[i] = False
        p += 1

    prime[0] = False
    prime[1] = False

    for p in range(num + 1):
        if prime[p]:
            numbers.append(p)

    return numbers

https://testdriven.io/blog/python-concurrency-parallelism/

#python

👉 @python_real

Ваши генераторные выражения сломаны: чиним и разбираемся

Всем привет! Меня зовут Ефимов Михаил, я профессиональный разработчик с 2010 года и начинающий contributor в CPython.

Итак, название статьи говорит, что генераторные выражения сломаны. О чем вообще речь? Посмотрим на такой код, не содержащий никаких import:

g = (x for x in range(10))
g.gi_frame.f_locals['.0'] = range(20)
list(g)

https://habr.com/ru/articles/853864/


#python

👉 @python_real

Ускоряем анализ данных в 170 000 раз с помощью Python

В статье «Ускоряем анализ данных в 180 000 раз с помощью Rust» показано, как неоптимизированный код на Python, после переписывания и оптимизации на Rust, ускоряется в 180 000 раз. Автор отмечает: «есть множество способов сделать код на Python быстрее, но смысл этого поста не в том, чтобы сравнить высокооптимизированный Python с высокооптимизированным Rust. Смысл в том, чтобы сравнить "стандартный-Jupyter-notebook" Python с высокооптимизированным Rust».

Возникает вопрос: какого ускорения мы могли бы достичь, если бы остановились на Python?

https://sidsite.com/posts/python-corrset-optimization/

#python

👉 @python_real

Python Debugging Handbook - Как отлаживать код на Python

В этом уроке мы углубимся в основы отладки кода на Python. Мы рассмотрим типичные сообщения об ошибках, привлечем сообщество и используем оператор print для поиска и исправления проблем. Основная цель — найти и устранить ошибки в вашем коде, а ключ к успешной отладке заключается в системном подходе.

https://www.freecodecamp.org/news/python-debugging-handbook/

#python

👉 @python_real

Основы работы с декораторами Python

В этом уроке по декораторам Python вы узнаете, что они собой представляют, как их создавать и использовать. Декораторы предоставляют простой синтаксис для вызова функций более высокого порядка.
По определению, декоратор - это функция, которая принимает другую функцию и расширяет поведение последней, не изменяя ее в явном виде. Звучит запутанно, но все станет понятнее после того, как вы увидите несколько примеров работы декораторов.

https://realpython.com/primer-on-python-decorators/

#python

👉 @python_real

В поиске собственных значений (матриц)

Как найти собственные числа и собственные значения матрицы? Методы, излагаемые в курсе линейной алгебры, основанные на определении — применимы ли они к реальным данным? Существует ли простой алгоритм поиска этих величин, который можно понять, а не просто поверить?

https://habr.com/ru/companies/ruvds/articles/845652/

#python

👉 @python_real

Лучшие практики структурирования проекта Django

В этой статье я расскажу вам о шаблоне, который я создал для своих Django-проектов. Он использует лучшие практики и позволит вам создавать Django-проекты по промышленным стандартам.
Вместо того чтобы бороться со структурами своих Django-проектов. Вместо этого потратьте свою энергию на создание интересных функций.

https://itnext.io/best-practices-for-structuring-a-django-project-23b8c1181e3f

#python

👉 @python_real

Сборщик мусора CPython и его влияние на производительность приложения

В прошлом я уже публиковал детальный разбор кода сборщика мусора CPython, однако стоит также дать более высокоуровневое объяснение механизмов управления памятью в CPython, не затрагивая сам код. Этому и будет посвящена данная статья. Статья в основном будет посвящена циклическому сборщику мусора (GC), как и когда он запускается и его влиянию на производительность приложений.

https://habr.com/ru/companies/beget/articles/860406/

#python

👉 @python_real

YAML: The Missing Battery in Python

https://realpython.com/python-yaml/

#python

👉 @python_real

Python больше не король Data Science

Если вы читаете это, то, скорее всего, Python — ваш основной язык, когда речь заходит о Data Science. И, честно говоря, с этим трудно спорить. Python долгое время оставался королем в мире Data Science благодаря своим отличным библиотекам, таким как Numpy, Pandas и scikit-learn.

Однако если что-то всегда было на вершине, это не значит, что оно будет в безопасности там вечно. Вы слышите шепот, замечаете появление новых языков — и, возможно, начинаете задумываться:

https://blog.stackademic.com/is-python-still-the-king-of-data-science-476f1e3191b3

#python

👉 @python_real

Мое путешествие в мир машинного обучения: идеальная дорожная карта для начинающих

Мое путешествие в мире машинного обучения было далеко не традиционным. Я начал с проектного подхода, сосредоточив внимание на проектах, а не на теории. Этот метод «сначала код, потом теория» помог мне изучать машинное обучение на практике.

Я лучше всего учусь из необходимости. Когда я сталкиваюсь с задачей, я нахожу ресурсы, изучаю их и сразу приступаю к действию. Такой подход «учись по ходу» позволяет мне оставаться практичным и сосредоточенным на своих карьерных целях.

https://medium.com/@ashujha44/my-machine-learning-journey-perfect-roadmap-for-beginners-78208c47fb92

#python

👉 @python_real

Excel никуда не денется, давайте автоматизируем его парсинг

В этом руководстве я поделюсь тем, как я создал простую функцию, которая находит и извлекает таблицы из неаккуратных файлов Excel с использованием Python и Pandas. И что самое лучшее, вы можете адаптировать этот метод для работы с Polars или любой другой библиотекой для работы с DataFrame.

https://blog.det.life/excel-isnt-going-anywhere-so-let-s-automate-parsing-it-e60273335a0c

#python

👉 @python_real

Python 3.13: классные новые функции, которые стоит попробовать

Python 3.13 был выпущен 7 октября 2024 года. Эта новая версия является значительным шагом вперёд для языка, хотя многие из самых крупных изменений происходят "под капотом" и не будут сразу видны вам.

В каком-то смысле, Python 3.13 закладывает основу для будущих улучшений, особенно в области производительности языка. По мере того, как вы продолжите читать, вы узнаете больше о контексте этих изменений и познакомитесь с некоторыми новыми функциями, которые уже доступны.

https://realpython.com/python313-new-features

#python

👉 @python_real

Очистка и предварительная обработка текстовых данных в Pandas для задач обработки естественного языка (NLP)

Очистка и предварительная обработка данных — это сложный, но важный этап при создании решений в области ИИ и машинного обучения. Текстовые данные не являются исключением. Этот учебник предлагает подходы к подготовке текстов для задач NLP, таких как решения языковых моделей (LMs). Используя pandas DataFrame, вы сможете эффективно подготавливать текст для последующей обработки моделями и алгоритмами NLP.

https://www.kdnuggets.com/cleaning-and-preprocessing-text-data-in-pandas-for-nlp-tasks

#python

👉 @python_real

Тестовое собеседование на Middle Python-разработчика в четверг

5 декабря(в четверг) в 19:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle Python-разработчика.

Как это будет:
1. Карим, Team lead в Чойс, ex-Kaspersky будет задавать реальные вопросы и задачи разработчику-добровольцу
2. Карим будет комментировать каждый ответ респондента, чтобы дать понять чего от вас ожидает собеседующий на интервью
3. В конце можно будет задать любой вопрос Кариму

Что узнаешь на прямом эфире от ШОРТКАТ:
• Чего ждут от кандидатов на Middle позиции в Python-разработке
• Какие вопросы задают на интервью и зачем
• Как подготовиться к собесу, чтобы получить оффер

Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_python_bot

Реклама. ООО "ШОРТКАТ", ИНН: 9731139396, erid: 2VtzqvTesKW

Как читать пользовательский ввод с клавиатуры в Python

Это новый подробный туториал от Real Python. Статья объясняет, как считывать ввод пользователя с клавиатуры при помощи функции input(). Она рассматривает такие темы, как:
▪️считывание различных типов данных,
▪️обработка ошибок,
▪️ чтение нескольких вводов от пользователя.

Также обсуждается защита чувствительных данных с использованием модуля getpass и автоматизация проверки ввода с помощью PyInputPlus.

https://realpython.com/python-keyboard-input/

#python

👉 @python_real