python_practics
5.1K subscribers
1.89K photos
206 videos
119 files
62 links
Python - обучающие материалы, полезные советы и статьи.

Админ, сотрудничество, реклама: @seniorFrontPromo, @maria_seniorfront

Купить рекламу: https://telega.in/c/python_practics
Download Telegram
⏰ Напоминание пришло на три часа позже, и Python не выдал ни одной ошибки

Бот для автосервиса писал клиенту за час до визита. Локально всё работало, а в Docker на VPS сообщения стали опаздывать ровно на три часа.

Виноваты «наивные» datetime, то есть даты без часового пояса. Напоминание хранилось как «17:00» неизвестно по каким часам. А datetime.now() берёт время системы: на ноутбуке Москва, в контейнере UTC. Вот и вышло 17:00 по UTC, или 20:00 по Москве.

Правило простое: берите datetime.now(timezone.utc), храните в базе UTC, а в часы пользователя переводите только на входе и выходе. Сравнить наивную дату с датой с поясом Python не даст, так что забытое место всплывёт исключением.

Замена на utcnow() не спасает: он тоже возвращает наивный объект, а с Python 3.12 ещё и помечен устаревшим.

А ещё в статье: почему ежедневная сводка после перевода часов съезжает на час.

👍 - если было полезно

@python_practics
🔍 Обновили конфиг, а процесс всё ещё читает старый текст

Скрипт обновления конфига обычно проверяет, что команда прошла и по пути лежит новый текст. Опыт на Linux показывает, почему этого мало.

Запись на месте и обычный cp меняют тот же файл (inode прежний). Новое видят все: путь, уже открытый дескриптор, жёсткая ссылка.

sed -i, install и os.replace кладут под старое имя новый файл. Новое видно только по пути. Процесс, который держал файл открытым, и жёсткая ссылка читают старое. Такому процессу нужно переоткрыть файл или перечитать конфиг.

Есть и ловушка с правами. Файл из tempfile.mkstemp получает 0600, и после замены конфига с 0640 группа теряет чтение. Выручает os.fchmod до замены.

В статье таблица по восьми способам и сюрприз с символьными ссылками.

👍 - если было полезно

@python_practics
❤1
🎬 TypedDict в Python 3.15 научился разрешать лишние ключи

TypedDict описывает словарь с заранее известными ключами и типом значения для каждого. Например, фильм с ключами "title" (строка) и "year" (число).

А если в словаре бывают и другие поля? В Python 3.15 появился параметр класса extra_items. Он разрешает дополнительные ключи, но только со значениями нужного типа.

from typing import TypedDict

class Movie(TypedDict, extra_items=str):
title: str
year: int


Словарь с "genre": "Comedy/Romance" пройдёт проверку типов: такого ключа нет в описании, но значение строка. А "rating": 8.8 не пройдёт, ведь это float.

Есть и обратный параметр closed=True: только описанные ключи, и больше никаких. Вместе с extra_items его указать нельзя.

А в паре с Unpack тот же extra_items решает, какие лишние именованные аргументы примет функция через **kwargs.

👍 - если было полезно

@python_practics
🔍 Байты пришли, а события нет

Сервер шлёт по SSE (поток событий от сервера по HTTP) три сообщения с паузой 250 мс. Клиент же получает их пачкой в самом конце. Проверка «соединение живое, что-то пришло» тут не поможет: байты приходят сразу и в рабочем, и в сломанном варианте.

Помогают три отметки времени: пришли байты, после распаковки появились строки data:, парсер отдал готовое событие. Между какими отметками задержка, там и проблема.

На стенде с gzip первыми пришли 10 байт заголовка gzip, а данные лежали внутри компрессора до финального flush(). Без аргумента он использует Z_FINISH и закрывает поток. С flush(zlib.Z_SYNC_FLUSH) после каждого кадра события идут сразу, как без сжатия.

Стенд намеренно узкий: без TLS, HTTP/2, nginx и CDN. Буферизация на этих слоях бывает, но здесь не проверялась.

Вторая разобранная причина, незавершённый кадр SSE, даёт похожий симптом, но ловится уже на другой отметке.

👍 - если было полезно

@python_practics
🔒 Один генератор, два потока, и сразу ValueError

Генераторы в Python не потокобезопасны. Если один поток ждёт значение, а второй в этот момент зовёт next() на том же генераторе, второй получит ValueError: generator already executing.

В Python 3.15 в модуле threading появился serialize_iterator. Он оборачивает итератор и ставит блокировку на получение каждого элемента. Потоки берут значения по очереди: первый получает 1, второй 2.

Внутри ничего хитрого, примерно так:

import threading

class serialize_iterator:
def __init__(self, iterable):
self._iterator = iter(iterable)
self._lock = threading.Lock()

def __iter__(self):
return self

def __next__(self):
with self._lock:
return next(self._iterator)


Учтите, что это новинка только Python 3.15. А ещё там есть декоратор synchronized_iterator, который защищает генератор прямо в момент объявления.

👍 - если было полезно

@python_practics
👍1
🔁 Три ретрая в конфиге, ноль ретраев в проде

Сборщик данных о парковках на aiohttp (асинхронный HTTP-клиент для Python) повторял запрос до трёх раз. Сетевые ошибки он ловил через except aiohttp.ClientError.

Но при срабатывании ClientTimeout(total=60) вылетает голый asyncio.TimeoutError. С Python 3.11 это встроенный TimeoutError, наследник OSError, а не ClientError. Он проскакивал мимо цикла с первой же попытки. В логе после двоеточия была пустота, потому что str() у него пустой.

Подвох в том, что у aiohttp есть свои классы таймаутов, и они как раз наследуют ClientError. Глядя на них, легко решить, что всё накрыто.

Исправляется это двумя строками, заодно в лог попадает имя класса:
except (aiohttp.ClientError, asyncio.TimeoutError) as error:
last_error = f'ошибка соединения: {type(error).__name__}: {error}'


А ещё эти немые таймауты однажды убедили разработчика в сетевом ограничении сервера, которого на деле не было.

👍 - если было полезно

@python_practics
This media is not supported in your browser
VIEW IN TELEGRAM
👩‍💻 Всем программистам посвящается!

Вот 14 авторских обучающих IT каналов по самым востребованным областям программирования:

Выбирай своё направление:

👩‍💻 Python — t.me/python_ready
🤔 InfoSec & Хакинг — t.me/hacking_ready
🖥 SQL & Базы Данных — t.me/sql_ready
👩‍💻 IT Новости — t.me/it_ready
🤖 AI & ML — t.me/neuro_ready
👩‍💻 Frontend — t.me/frontend_ready
👩‍💻 C/C++ — https://t.me/cpp_ready
👩‍💻 C# & Unity — t.me/csharp_ready
👩‍💻 Linux — t.me/linux_ready
👩‍💻 Java — t.me/java_ready
📖 IT Книги — t.me/books_ready
📱 JavaScript — t.me/javascript_ready
🖼️ DevOps — t.me/devops_ready
🖥 Design — t.me/design_ready

📌 Гайды, шпаргалки, задачи, ресурсы и фишки для каждого языка программирования!
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡ database is locked за 0.0 секунды, хотя timeout=5

Так бывает в SQLite, если транзакция сначала читает, а потом пишет: скажем, считает открытые заказы и создаёт новый.

Обычный BEGIN в SQLite означает BEGIN DEFERRED. Транзакция стартует как читающая и становится пишущей только на первом INSERT. Если другое соединение успело изменить базу, прочитанный снимок устарел. Ждать бессмысленно, поэтому в режиме WAL ошибка прилетает сразу.

Чтобы этого избежать, такую транзакцию начинают с BEGIN IMMEDIATE. Блокировка на запись берётся сразу, и конкурент честно ждёт timeout вместо падения.

При этом isolation_level="IMMEDIATE" в connect() не выручит: модуль sqlite3 ставит неявный BEGIN только перед записью, и SELECT остаётся вне транзакции.

В статье ещё две причины этой ошибки и готовый класс на aiosqlite для Telegram-бота.

👍 - если было полезно

@python_practics
👍2
🐍 Временный файл в Python, который можно закрыть и не потерять

NamedTemporaryFile из стандартного модуля tempfile создаёт временный файл с настоящим именем на диске. Когда блок with заканчивается, файл удаляется сам.

Часто файл нужно закрыть и отдать его имя другому коду. До 3.12 для этого ставили delete=False и потом удаляли файл вручную.

С Python 3.12 есть delete_on_close=False. Закрытый файл остаётся на диске и удаляется при выходе из with:

from tempfile import NamedTemporaryFile

with NamedTemporaryFile(mode="wt", delete_on_close=False) as file:
file.write("Temporary text.\n")
file.close() # Close file so it can be opened elsewhere

process_file(file.name) # The file still exists here

# The file would be deleted at this point (outside the "with")


На версиях ниже 3.12 этого параметра нет. А почему TemporaryFile может вовсе не дать вам имени файла, разобрано в статье.

👍 - если было полезно

@python_practics
👍1
🙂 Почему 3 + 3.0 работает, хотя int не умеет прибавлять float?

Оператор + в Python вызывает метод __add__ левого объекта. Попробуем вызвать его напрямую:

>>> a = 3
>>> b = 3.0
>>> b.__add__(a)
6.0
>>> a.__add__(b)
NotImplemented


NotImplemented значит «не знаю, как это сделать, спроси другого». Получив его, Python вызывает у правого объекта b.__radd__(a), и float отвечает 6.0.

В своих классах стоит делать так же. Если в __eq__ пришёл объект незнакомого типа, верните NotImplemented, а не False. Тогда у второго объекта останется шанс ответить.

Если не справятся оба, == просто даст False, а + или < выбросят TypeError.

Возврат False вместо этого выглядит безобидно, но может сделать == несимметричным: a == b и b == a дадут разные ответы.

👍 - если было полезно

@python_practics
👍2
🚀 Два списка в одном цикле, без индексов

Встроенная функция zip() в Python идёт по нескольким коллекциям одновременно. На каждом шаге она отдаёт кортеж: по одному элементу из каждой.

Например, продажи и затраты по месяцам лежат в двух списках, а нужна прибыль:

>>> total_sales = [52000.00, 51000.00, 48000.00]
>>> prod_cost = [46800.00, 45900.00, 43200.00]
>>> for sales, costs in zip(total_sales, prod_cost):
... profit = sales - costs
... print(f"Total profit: {profit}")
...
Total profit: 5200.0
Total profit: 5100.0
Total profit: 4800.0


Есть нюанс. zip() останавливается на самом коротком списке, а хвост длинного молча теряется. С Python 3.10 можно передать strict=True, и тогда при разной длине вылетит ValueError.

А как тем же zip() разобрать пары обратно на два списка, отдельная красивая история.

👍 - если было полезно

@python_practics
❤2
🐍 Точки в import: как сократить длинный путь в Python

Свой модуль в Python можно импортировать двумя способами. Абсолютный импорт пишет полный путь от корня проекта. Это понятно, но при глубокой вложенности папок строка становится очень длинной.

Относительный импорт отсчитывает путь от файла, где он написан. Одна точка значит «та же папка», две точки значат «папка уровнем выше»:

from .some_module import some_class
from ..some_package import some_function
from . import some_class


Есть ловушка: такие импорты работают, только если Python знает, к какому пакету относится модуль. Запуск python package1/module1.py напрямую даст ImportError. Запускайте модуль как часть пакета: python -m package1.module1 из папки проекта.

PEP 8 при этом советует абсолютные импорты: они читаются проще и не ломаются, если файл с импортом переедет. Когда точки всё же выигрывают, хорошо видно на примерах в оригинале.

👍 - если было полезно

@python_practics
👍1
✅ Если ИИ-агент написал и код, и тесты, зелёный прогон значит одно: агент согласен сам с собой

Тесты, написанные после кода, описывают этот код вместе с багами. Поэтому туториал Real Python предлагает делить роли в TDD иначе.

Вы фиксируете контракт: что принимает класс, что возвращает, когда бросает ошибку. Первый тест пишете сами. Агент дописывает остальные, пока реализации ещё нет. Вы их проверяете, и только потом агент пишет код.

Проверять стоит всерьёз. Для класса Version, который сравнивает строки версий, агент написал тест 1.2 < 1.2.1. Он похож на проверку правила «недостающие сегменты равны нулю», но проходит и без него.

Пока агент пишет код, запись в tests/ закрывают правилом доступа в Claude Code. Оговорка: правило останавливает инструменты агента, но не запущенные им скрипты.

Остальные ловушки цикла разобраны на том же примере.

👍 - если было полезно

@python_practics
✨ Добавили скидку для гильдии, а ученики стали платить больше

В учебном примере на Python класс PotionPricing считает цену зелья для учеников: минус 10% от базовой цены вместе с наценкой. За зелье £100 + £20 выходит £108.

Через пару месяцев другой программист дописал в тот же метод скидку гильдии (5% только от базовой цены) и обобщил расчёт. Гильдия получила верные £115, а ученики внезапно £110.

От такого защищает принцип открытости/закрытости (OCP, буква O в SOLID): код открыт для расширения, но закрыт для изменения. Каждое правило живёт в своём классе с методом .price(), а функция quote() просто вызывает его у переданного объекта. Общий родитель не нужен, хватает duck typing.

Новый тариф теперь означает новый класс, а рабочий расчёт для учеников никто не трогает.

Есть оговорка: если новых тарифов не предвидится, отдельные классы могут стоить дороже в понимании, чем сэкономят.

В оригинале весь путь от поломки до починки показан на коде шаг за шагом.

👍 - если было полезно

@python_practics
✨ len(order) вместо order.get_cart_len()

Встроенные функции и операторы Python на деле вызывают специальные методы объекта. len(obj) означает obj.__len__(), а a + b превращается в a.__add__(b).

Поэтому своему классу не нужен метод вроде get_cart_len(). Достаточно определить __len__:

>>> class Order:
... def __init__(self, cart, customer):
... self.cart = list(cart)
... self.customer = customer
...
... def __len__(self):
... return len(self.cart)
...
>>> order = Order(["banana", "apple", "mango"], "Real Python")
>>> len(order)
3


Без __len__ такой вызов упадёт с TypeError. И есть подвох: метод обязан вернуть целое число. Вернёте float, получите тот же TypeError.

Так же класс можно научить работать с +, [] и bool() и даже стоять справа в выражении 6 + obj.

👍 - если было полезно

@python_practics
🐍 Почему функция в Python «помнит» прошлые вызовы

Функция add_element(new_elem, starter_list=[]) добавляет элемент в список. Если список не передать, она должна начинать с пустого. Но выходит так:

>>> add_element(1)
[1]
>>> add_element(2)
[1, 2]


Python вычисляет значение по умолчанию один раз, когда определяет функцию. Поэтому все вызовы без аргумента работают с одним и тем же списком.

Частая попытка исправить: default None и проверка if not starter_list. Но пустой список тоже ложный. Переданный [] функция подменит новым, и список вызывающего останется пустым. Нужна проверка is None.

Real Python разбирает эту задачу вместе со своим ИИ-наставником Mentor AI (он для подписчиков): тот читает упавшие тесты и дает подсказки вместо готового ответа.

А еще там есть пример, где == None ошибается, а is None нет.

👍 - если было полезно

@python_practics
👍1
🚀 В Python 3.15 появился профилировщик, который почти не мешает программе

Он называется Tachyon, а в стандартной библиотеке это модуль profiling.sampling. Он не следит за каждым вызовом. Он часто делает снимки стека вызовов и считает по ним статистику.

Пример: за 10 секунд собран миллион снимков, и в 25 000 из них (2,5%) видна функция foobar. Значит, на неё ушло около 2,5% времени, примерно 250 мс. Чем дольше замер и чем чаще снимки, тем точнее оценка.

Tachyon работает в отдельном процессе. Поэтому он может подключиться к уже запущенной программе по PID, но может попросить повышенные права. Запустить скрипт под профилировщиком просто:

% python -m profiling.sampling run myscript.py


У подхода есть предел: разницу в 1–2% между двумя реализациями он может не заметить. Для таких точных замеров нужно трассирующее профилирование.

А ещё Tachyon умеет строить тепловую карту по строкам кода и flamegraph.

👍 - если было полезно

@python_practics
🌳 len(names) отвечает 5, хотя имён в списке 10

Список вложенный, а len() видит только верхний уровень: подсписок для него один элемент.

Решение описывается через само себя: идём по списку, а встретив подсписок, обходим его так же. Это рекурсия, функция вызывает саму себя.

def count_leaf_items(item_list):
"""Recursively counts and returns the
number of leaf items in a (potentially
nested) list.
"""
count = 0
for item in item_list:
if isinstance(item, list):
count += count_leaf_items(item)
else:
count += 1

return count


Без рекурсии пришлось бы вручную вести стек позиций, и код выходит заметно длиннее.

Глубина рекурсии при этом ограничена: в примере getrecursionlimit() вернул 1000, дальше RecursionError.

В разборе Real Python ещё факториал с замером скорости и quicksort: видно, где рекурсия к месту, а где лишняя.

👍 - если было полезно

@python_practics
✅ Тесты зелёные, а загрузка файлов в проде падает с 500

Знакомая схема в Django: в проде файлы лежат в S3 через django-storages, а в тестах стоит FileSystemStorage. API у них общий, а поведение разное.

Пример: модель читает загруженный PDF через self.file.path. Локально тест проходит. Но у S3 нет путей, только ключи, и в проде каждая загрузка падает с NotImplementedError.

Марк Гиббонс предлагает не менять хранилище в тестах, а подделать сам S3. Библиотека moto перехватывает HTTP-запросы boto3 прямо в процессе и отвечает из S3 в памяти. Ваш код и django-storages работают как в проде, и тот же тест падает уже у вас.

Важно явно задать в фикстуре бакет, регион и фейковые ключи moto. Иначе в подписанные ссылки могут попасть реальные ключи из окружения.

В статье готовые фикстуры для conftest.py и обратный случай: код, который работает только на S3.

👍 - если было полезно

@python_practics
🐍 Как найти на странице все вакансии про Python

Beautiful Soup это Python-библиотека, которая превращает HTML в дерево элементов. В нем можно искать по id, классу или тексту. Саму страницу скачивает библиотека Requests.

Если искать заголовки через string="Python", вернется пустой список: нужно точное совпадение всего текста. Но в string можно передать функцию:

>>> python_jobs = results.find_all(
... "h2", string=lambda text: "python" in text.lower()
... )


Так на учебном сайте с вакансиями находятся все 10 заголовков, где есть python в любом регистре.

Это работает только со статичными сайтами, где сервер сразу отдает готовый HTML. Если страницу собирает JavaScript, Requests получит код без данных, и понадобятся Playwright или Selenium.

Дальше от найденного заголовка поднимаются к карточке вакансии и достают компанию, город и ссылку на отклик.

👍 - если было полезно

@python_practics