🔶 Requests. Простий GET-запит.

У Python HTTP-запити можна робити вбудованою бібліотекою urllib.
Але значно зручніше використовувати сторонню бібліотеку requests. Варто також згадати інші бібліотеки зі схожим інтерфейсом — наприклад, httpx та curl_cffi. Вони можуть працювати асинхронно та мають більш наближені до браузерних TLS-відбитки, що зменшує ймовірність бану при скрапінгу.

import requests

response = requests.get("https://example.com/")
response.raise_for_status()

print(response.text)

with open("content.html", "wb") as file:
    file.write(response.content)

Це простий приклад GET-запиту для отримання HTML-сторінки.
HTML-код виводиться в консоль як рядок і зберігається у файл у байтовому вигляді.

Для різних HTTP-методів є відповідні методи в requests. Додаткові дані можна передавати через аргументи методів (заголовки, параметри запиту, тіло, проксі тощо).

⚠️ Поширена помилка початківців — забути перевірити код відповіді сервера. Найпростіше це зробити викликом raise_for_status(), який підніме виняток, якщо код відповіді не в межах 200–399.
Але також можна перевіряти атрибут status_code.

#http #requests #GET

🔷 Requests. GET з параметрами та заголовками.

Для прикладу виконаємо запит до погодного API

https://api.open-meteo.com/v1/forecast?latitude=50.4501&longitude=30.5234&current_weather=True&timezone=Europe/Kyiv

import requests

url = "https://api.open-meteo.com/v1/forecast"

params = {
    "latitude": 50.4501,
    "longitude": 30.5234,
    "current_weather": True,
    "timezone": "Europe/Kyiv"
}

headers = {
    "User-Agent": "my-script/1.0",
}

response = requests.get(url, params=params, headers=headers)
response.raise_for_status()

json_content = response.json()
current_weather = json_content["current_weather"]
print("Температура в Києві:", current_weather["temperature"])
print("Швидкість вітру:", current_weather["windspeed"])

Основні моменти:

1️⃣ Параметри запиту передаються у вигляді словника у метод, бібліотека кодує їх
2️⃣ Суто для демонстрації змінюємо заголовки запиту (User-Agent)
3️⃣ Об'єкт response має метод json який перетворює json-відповідь у python об'єкт (зазвичай словник)

#http #requests #GET

🔶 Requests. POST form-urlencoded

POST використовується для створення ресурсів або надсилання даних на сервер. Дані передаються у тілі запиту, а не у URL (як при GET).

Є різні типи POST-запитів:

🔺 application/x-www-form-urlencoded – дані форми кодуються у вигляді param1=value1&param2=value2
🔺 application/json – дані у вигляді json
🔺 multipart/form-data – форми з файлами.

Даний приклад демонструє передачу даних форми (form-urlencoded)
Бібліотека автоматично виставляє заголовок відповідно до типу:

Content-Type: application/x-www-form-urlencoded

Форми часто використовується для авторизації на сайтах: у даних передаються логін і пароль. Але у даному випадку ми передаємо текст і розмір картинки, а сайт повертає нам QR-код картинку.

import requests

url = "https://api.qrserver.com/v1/create-qr-code/"

data = {
    "data": "Привіт світ!",
    "size": "200x200"
}

response = requests.post(url, data=data)
response.raise_for_status()

with open("qr_code.png", "wb") as file:
    file.write(response.content)

#http #requests #POST

🔷 Requests. POST application/json

POST/application-json використовується для надсилання json даних на сервер (REST API)

Замість параметру data треба використовувати параметр json
У цьому випадку бібліотека requests виставляє заголовок:

Content-Type: application/json

Реальне API мені не вдалось знайти тому використаємо для прикладу тестове API:

import requests

url = "https://jsonplaceholder.typicode.com/posts"

json_payload = {
    "title": "foo",
    "body": "bar",
    "userId": 1
}

response = requests.post(url, json=json_payload)
response.raise_for_status()

print(response.status_code)
print(response.json())

201
{'title': 'foo', 'body': 'bar', 'userId': 1, 'id': 101}

⚠️ Зверніть увагу що статус кодом який повертається може бути 201, а не 200 що відповідає створенню ресурсу.

Основні статус коди

#http #requests #POST

🔶 Requests. POST multipart/form-data

multipart/form-data використовується у формах з надсилання файлів на сервер.
У цьому випадку бібліотека requests виставляє заголовок:

Content-Type: multipart/form-data; boundary=...

Для прикладу завантажимо наш qrcode з попереднього прикладу на файлообмінник.
Також будемо вдавати браузер Mozilla.

Для відправки файлів використовується словник files з вказанням:

1️⃣ назви файлу
2️⃣ самого файлу
3️⃣ типу файлу

import requests

with open("qr_code.png", "rb") as file:
    url = "https://catbox.moe/user/api.php"

    files = {
        "fileToUpload": ("qr_code.png", file, "image/png"),
    }
    data = {    
        "reqtype": "fileupload",
        "userhash": "",  
    }
    headers = {
       "User-Agent" : "Mozilla/5.0 "
       "(Windows NT 10.0; Win64; x64; rv:142.0)" 
       "Gecko/20100101 Firefox/142.0"
    }
    r = requests.post(url, files=files, data=data, headers=headers)
    r.raise_for_status()
    print(r.text.strip()) # вивод url

https://files.catbox.moe/lmcc82.png

#http #requests #POST

🔷 Requests. Використання сесій.

У Python бібліотека requests дозволяє зручно працювати з HTTP-запитами. Якщо потрібно виконати кілька запитів до одного сайту — варто використовувати сесію.

Що дає використання сесії:

1️⃣ Автоматично підтримувати cookies між запитами.
2️⃣ Дозволяють повторно використовувати одні ті самі заголовки.
3️⃣ Використовують одне TCP-з’єднання для кількох запитів → запити виконуються швидше.

Приклад коду з використанням сесій:

import requests

url = "https://httpbin.org/headers"

with requests.Session() as session:
    # Виставляємо заголовоки для всіх запитів у сесії 
    headers = {
       "User-Agent" : "Mozilla/5.0 "
       "(Windows NT 10.0; Win64; x64; rv:142.0)" 
       "Gecko/20100101 Firefox/142.0"
    }
    session.headers.update(headers)
    
    r1 = session.get(url)
    r1.raise_for_status()
    print(r1.json())
    
    r2 = session.get(url)
    r2.raise_for_status()
    print(r2.json())

#http #requests #session

🟣 Selectolax. Парсинг HTML

selectolax одна з найшвидших бібліотек для парсингу html. Для пошуку тегів використовується css selectors.
Вона швидша за BeautifulSoup4 і немає проблем з анотаціями типів.

Давайте розглянемо задачу коли треба з html спарсити всі фрукти з такої html сторінки

html_content = """
<html>
<body>
  <section id="fruits">
    <h2>Fruits</h2>
    <ul>
      <li class="item red-item">🍎 Apple</li>
      <li class="item">🍌 Banana</li>
      <li class="item"> 🍊  <span style="color: orange;">Orange</span> </li>
    </ul>
  </section>

  <section id="vegetables">
    <h2>Vegetables</h2>
    <ul>
      <li class="item">🥕 Carrot</li>
      <li class="item" data-id="42">🥔 Potato</li>
      <li class="item" data-id="69">🍆 Eggplant</li>
    </ul>
  </section>

  <a href="https://t.me/Python_Materials_For_Beginners/170">Parsing</a>
</body>
</html>
"""

Для початку створимо об'єкт парсеру:

from selectolax.lexbor import LexborHTMLParser, LexborNode

parser = LexborHTMLParser(html_content)

Шукаєм один тег по id

container_el: LexborNode | None = parser.css_first("section#fruits")
assert container_el, "Fruits container not found!"

⚠️ Якщо тег не знайдено метод парсеру вертає None тому завжди варто перевіряти цей момент щоб отримати помилку зі зрозумілим описом. Для цього можна використовувати assert або використати if і кидати Exception.

В середині знайденого тегу шукаємо список по імені тегу:

list_el = container_el.css_first("ul")
assert list_el, "List of fruits not found!"

Використовуємо пошук по імені класу тега щоб знайти всі елементи списку

item_els: list[LexborNode] = list_el.css("li.item")
for item_el in item_els:
    text = item_el.text(strip=True, separator="-").strip()
    print(text)

🔺 strip=True - видаляє зайві пробіли всередині тексту дочірніх тегів
🔺 separator - задає розділювач між текстами з різних дочірніх тегів
🔺 .strip() - обрізає пробіли (та переводи рядків) з початку і кінця рядка

Вивід коду:

🍎 Apple
🍌 Banana
🍊-Orange-

#selectolax #parsing #scraping

🟠 Selectolax. Парсинг HTML. Частина 2.

🔺 Поєднанний пошук.
Пошук по CSS-селекторах дозволяє одразу поєднувати все в одному рядку запиту:

item_els = parser.css("section#fruits ul li.item")
for item_el in item_els:
    text = item_el.text(strip=True, separator=" ").strip()
    print(text)

❗️ Але я наполегливо не рекомендував би цим зловживати. Короткий запис — це добре, але у випадку помилки буде важко зрозуміти, з яким саме тегом проблема.

🔺 Пошук тега який має декілька класів

# <li class="item red-item"> ... </li> 

red_item_el = parser.css_first("li.item.red-item")
assert red_item_el

print(red_item_el.text()) # 🍎 Apple

🔺 Атрибути тегу

# <a href=" ... ">Parsing</a>

link_el = parser.css_first("a")
assert link_el

url = link_el.attributes["href"]

print(url) # https://t.me/Python_Materials_For_Beginners/170

Для отримання атрибуту тегу :
▪️attributes – це read-only словник. Ти можеш з нього читати, але не змінювати напряму.
▪️attrs – це mutable dict-like (звичайний словник), який можна змінювати.

🔺 Пошук по атрибуту:

data_els = parser.css("li.item[data-id]")
for data_el in data_els:
    data_id = data_el.attributes["data-id"]
    print(data_id) # 42 69

data_el = parser.css_first("li.item[data-id='42']")
assert data_el

print(data_el.html) # <li class="item" data-id="42"> ... Potato</li>

#selectolax #parsing #scraping

🟢 Selectolax. Парсинг HTML. Підсумки та рекомендації.

Для пошуку тегів ми можемо використовувати:
▪️ id тега
▪️ назву тега
▪️ клас тега
▪️ атрибути тега

❗️ У коректному HTML id завжди повинен бути унікальним, тому пошук по ньому — найнадійніший.

Якщо ж шукати по назві/класу/атрибутам, результатів може бути кілька, і серед них можуть траплятися елементи, які ви не очікували знайти.

У нашому прикладі, якщо ми хочемо тільки фрукти й напишемо:

item_els = parser.css("li.item") 

То отримаємо не лише фрукти, а й овочі — це видно одразу у нашому простому HTML-коду. Реальні html-сторінки по розміру значно більші і можна не помітити десь ще на сторінці використовуються схожі теги але у зовсім іншому контексті, як наслідок — незрозумілі помилки у коді.

👉 Тому рекомендую завжди звужувати пошук: спершу знайдіть найближчий батьківський елемент із логічним id, класом чи атрибутом, а вже потім отримуйте потрібні дочірні теги.

👉 Важливо, щоб назви класів, id чи атрибутів, до яких ви прив’язуєтеся, були логічними та «говорили самі за себе». Так менша ймовірність отримати помилкові результати, а код буде легше читати й підтримувати.

👉 Є певна термінологія в HTML: тег зазвичай називають елементом (DOM element) або нодою (Node). Я відповідно додаю суфікс _el або _els до змінних, які містять об’єкти тегів. Це не принципово, але, на мою думку, так код читається краще й спрощується іменування змінних.

#selectolax #parsing #scraping

💎 httpx+selectolax. Data scraping.

Розглянимо приклад коду який наводив у чаті . Код достатньо довгий тому Git-Gist

1️⃣ Часті запити на сайт можуть призвести до:
▪️ відповіді HTTP 429 Too Many Requests
▪️ обриву з'єднання сервером
▪️ появу капчі
▪️ блокуванню по IP

Тому варто обмежувати кількість запитів у секунду. Для цього існує бібліотека asynciolimiter яка дає можливість це зробити за допомогою Limiter: перед кожним запитом варто викликати його метод limiter.wait()

2️⃣ При скрапінгу даних використовуємо сесії. Це пришвидшує виконання запитів і дає підтримку cookie.

3️⃣ Щоб згрупувати дані разом варто використовувати класи, dataclasses, NamedTuple або як я моделі pydantic

4️⃣ Код варто розбивати на функції, класи, модулі і пакети уникаючи награмодження коду. В даному прикладі я показую розбиття на ф-ції але можна було всю роботу з сайтом винести у модуль або пакет. Також можна було зробити клас QuoteScraper з відповідними методами (це дозволило б не передавати постійно session та limiter у параметрах).

📦 quote_scraper
┣━━ 📜 __init__.py
┣━━ ⚙️ config.py - константи, наприклад BASE_URL
┣━━ 🧾 schemas.py - моделі даних
┣━━ 🔎 parsers.py - функції для парсингу html
┗━━ 🕷 scrapers.py - функції для запит+парсинг
📜 main.py

Структура має бути не обов'язково така сама, але вона має
бути. Коли весь проєкт у одному файлі — це не норм.

5️⃣ Особисто я використовую такий неймінг:
5.1. Функції які займаютья парсингом HTML назвиваю як
parse_ *
5.2. Функціїї які роблять запити: scrape_*
також можна назвивати get_* або fetch_*

6️⃣ Для перевірки наявності потрібних використовую assert але можна також кидати Exception/RuntimeError

7️⃣ Використання logging дає змогу налаштовувати кількість/рівень повідомлень у консоль як власного коду так і коду використаних бібліотек.

8️⃣ Використання генераторів та ітераторів дає можливість більш гнучко використовувати написаний код. (наприклад зупинити ітерацію по сторінкам коли знайдена потрібна цитата)

#httpx #selectolax #parsing #scraping

🤖 Про телеграм боти.

Телеграм бот це програма яка отримує події/оновлення (Updates) від телеграм сервера і реагує на них, або ігнорує.

Боти можна розділяти по способу отримання оновлень (Update):

1️⃣ Long Polling
2️⃣ Webhook

Long Polling — бот періодично запитує сервер Телеграм, чи є нові оновлення. Цей варіант підходить для більшості ботів.

Webhook — бот отримує оновлення відразу, як тільки вони надходять, бо Телеграм відправляє їх на заданий Вами URL. Цей варіант для високонавантажених ботів.

На відміну від Long polling, для Webhook потрібен публічний IP або домен з SSL, щоб Телеграм міг надсилати запити безпосередньо на твій сервер.

#tg_bots

ByteByteGo
Top 3 Things You Should Know About Webhooks!
1 hour ago
https://www.youtube.com/watch?v=x_jjhcDrISk

🤖 Телеграм боти. Update.

Оновлення (Update) - важливе поняття у телеграм ботах, важливо розуміти які вони бувають.

Повний список оновлень та їх опис можна знайти у оф.документації телеграму.

Для прикладу на скріншоті наведено три типи оновлень:
▪️ message - відбувається коли користувач відправляє текстове повідомлення.
▪️ edit_message - відбувається коли користувач його редагує
▪️ callback_query - відбувається коли користувач натискає на inline-кнопку.

Завжди є нюанси, наприклад натиснення на replay-кнопку теж рахується як message.

Фізично дані оновлення це json-контент який присилає нам сервер. Бібліотека aiogram3 перетворює json у об'єкти класів (вик. pydantic моделі).

#tg_bots

🤖 Телеграм боти. Long Polling

Long Polling ніщо інше як HTTP-запити на телеграм сервіс.

Нижче простий приклад отримання оновлень за допомогою requests.
Робимо запит і отримуємо оновлення у вигляді json.

import requests

TOKEN = 'Ваш токен від телеграм боту'
URL = f'https://api.telegram.org/bot{TOKEN}/getUpdates'

def get_updates(session: requests.Session, offset: int | None = None):
    params = {'timeout': 30, 'offset': offset}
    try:
        r = session.get(URL, params=params, timeout=35)
        r.raise_for_status()
        data = r.json()
        if not data.get('ok'):
            raise RuntimeError("Telegram API response is not OK")
        return data['result']
    except requests.exceptions.Timeout:
        return []

def long_polling():
    offset = None
    with requests.Session() as session:
        while True:
            if updates := get_updates(session, offset):
                for update in updates:
                    print(update)
                    offset = update['update_id'] + 1
            else:
                print("No updates")

long_polling()

Приклад виводу у коментарях.

#tg_bots

▶️ Корисні речі, які варто знати про процес.

Коли ви запускаєте файл своєї програми, вона завантажується в оперативну пам’ять і починає виконуватися як процес.

Є кілька важливих аспектів процесу, які варто знати, щоб ефективніше використовувати їх у своїх проєктах:

1️⃣ Змінні оточення (Environment Variables) [1] [2]
2️⃣ Консольні аргументи (Command-line Arguments) [1] [2] [3]
3️⃣ Код завершення процесу (Exit Code) [1]
4️⃣ Потоки вводу/виводу
(Input/Output Streams, stdin/stdout/stderr) [1] [2]

Планую розглянути ці речі поступово детальніше.

🟡 Змінні оточення (Environment Variables)

Змінні оточення — це іменовані пари ключ-значення, які операційна система передає програмам під час їх запуску.
Вони містять інформацію про середовище виконання, конфігурацію системи та користувача інше.

Є загальноприйняті системні змінні оточення, які діють у всій системі, а також ті,
що встановлюються іншими програмами або shell-скриптами під час запуску.

Для роботи зі змінними оточення у Python використовується словник os.environ.

Приклад використання системних змінних:

import os
import sys

def get_home_dir() -> str | None:
    if sys.platform == "win32": # Windows
        home_drive = os.environ.get("HOMEDRIVE", "")
        home_path = os.environ.get("HOMEPATH", "")
        if home_drive and home_path:
            return os.path.join(home_drive, home_path)
    else: # Linux подібні
        return os.environ.get("HOME")

    return None


print(get_home_dir())

Цей код виводить розташування каталогу користувача в системі.

Як бачимо під різними системами різні назви змінних, крім того під Windows треба отримати дві зміних.

Аналогічним чином можна отримувати шлях до каталогу з тимчасовим файлами (TEMP/TMPDIR)

Відео по темі: Your .env File Is Lying to You

🟢 Змінні оточення. Власні змінні.

Розглянемо приклад використання власної змінної.

Файл main.py

import os
import sys

name = "USER_VAR"
value = os.environ.get(name)

print(value)

Якщо ми запустимо цей код стандартним способом отримуємо вивід None що логічно бо такої змінної немає.

Але якщо ми запустимо цей код у терміналі командою:

Під Windows

set USER_VAR="42" && python main.py

Або під Linux

export USER_VAR="42" && python main.py

Отримаємо очікувані "42"

👉 Таки чином ми можемо передавати у програму якісь налаштування:
▪️ виставляючи змінні глобально у системі
▪️ за допомогою терміналу і sh/bat - скриптів
▪️ запускаючи іншими програмами

P/S: У PyСharm є налаштування запуску куди можна додавати власні змінні оточення.