Python для начинающих

Как настроить асинхронные HTTP‑запросы с aiohttp

Синхронный код в стиле requests.get() удобен, пока запросов мало. Но как только нужно опросить десятки или сотни URL — программа начинает “залипать”. Здесь на сцену выходит aiohttp и asyncio.

---

### Установка и базовый пример

pip install aiohttp

Первый асинхронный запрос:

import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    async with aiohttp.ClientSession() as session:
        html = await fetch(session, "https://httpbin.org/get")
        print(len(html))

asyncio.run(main())

Разбор:
- async def — объявление корутины;
- await — “подождать, но не блокировать”;
- ClientSession — переиспользует соединения (это важно для производительности).

---

### Параллельные запросы

Самая вкусная часть — запуск запросов одновременно:

import asyncio
import aiohttp

URLS = [
    "https://httpbin.org/delay/1",
    "https://httpbin.org/delay/2",
    "https://httpbin.org/delay/3",
]

async def fetch_status(session, url):
    async with session.get(url) as response:
        return url, response.status

async def main():
    async with aiohttp.ClientSession() as session:
        tasks = [asyncio.create_task(fetch_status(session, url)) for url in URLS]
        for task in asyncio.as_completed(tasks):
            url, status = await task
            print(url, "->", status)

asyncio.run(main())

Все запросы уходят почти одновременно, а ответы обрабатываются по мере готовности. Разница особенно заметна на “медленных” API.

---

### Таймауты и обработка ошибок

Без ограничений можно повесить программу на “вечном” запросе. Добавим таймаут и отловим ошибки:

import asyncio
import aiohttp
from aiohttp import ClientError

async def safe_fetch_json(session, url):
    try:
        async with session.get(url, timeout=3) as response:
            response.raise_for_status()
            return await response.json()
    except asyncio.TimeoutError:
        print("Timeout:", url)
    except ClientError as e:
        print("ClientError:", url, "->", e)

async def main():
    async with aiohttp.ClientSession() as session:
        data = await safe_fetch_json("https://httpbin.org/json")
        print("Result:", data)

asyncio.run(main())

Ключевые моменты:
- timeout=3 — запрос не будет длиться бесконечно;
- raise_for_status() — выбросит исключение при 4xx/5xx;
- перехват ClientError — базовый класс большинства сетевых ошибок в aiohttp.

---

### Когда стоит переходить на aiohttp

Используйте асинхронные HTTP‑запросы, когда:
- нужно дернуть много URL в короткое время;
- ваш код в основном ждет сети или диска;
- вы пишете асинхронный веб‑скрейпер, бота или микросервис.

Если запрос один‑два — requests проще. Но как только вы упираетесь в “ожидание сети”, aiohttp + asyncio дает очень ощутимый прирост скорости, не усложняя код слишком сильно.

❤3

271 views04:20