🐍 Укус ΠΏΠΈΡ‚ΠΎΠ½Π° 🐍
2.88K subscribers
778 photos
4 videos
279 links
🐍 Канал ΠΎ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠΈ Π½Π° языкС Python. ВСматичСскиС ΡƒΡ€ΠΎΠΊΠΈ ΠΈ Π»Π°ΠΉΡ„Ρ…Π°ΠΊΠΈ.

πŸ‘½ Админ - @it_dashka
πŸ”Š ΠšΡƒΠΏΠΈΡ‚ΡŒ Ρ€Π΅ΠΊΠ»Π°ΠΌΡƒ: https://telega.in/c/byteofpython

πŸ‘‰ Π§Π°Ρ‚: @abyteofpython
πŸ‘‰ ΠŸΠΎΠ΄Π΅Π»ΠΈΡ‚ΡŒΡΡ с Π΄Ρ€ΡƒΠ·ΡŒΡΠΌΠΈ: @byteofpython
Download Telegram
ΠŸΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ с wikipedia

Для Ρ€Π°Π±ΠΎΡ‚Ρ‹ с Π²ΠΈΠΊΠΈΠΏΠ΅Π΄ΠΈΠ΅ΠΉ Π΅ΡΡ‚ΡŒ ΠΎΡ„ΠΈΡ†ΠΈΠ°Π»ΡŒΠ½Π°Ρ удобная Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ°, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ ΠΎΠ½Π° Π½Π΅ Π²Ρ…ΠΎΠ΄ΠΈΡ‚ Π² прСдустанавливаСмыС ΠΏΠ°ΠΊΠ΅Ρ‚Ρ‹ python, Π΅Ρ‘ трСбуСтся ΡƒΡΡ‚Π°Π½ΠΎΠ²ΠΈΡ‚ΡŒ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎ. Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΏΠ°ΠΊΠ΅Ρ‚Π½ΠΎΠ³ΠΎ ΠΌΠ΅Π½Π΅Π΄ΠΆΠ΅Ρ€Π° pip (pip install wikipedia).

Для установки языка ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‚ΡŒ ΠΊΠΎΠ΄ языка Π² ΠΌΠ΅Ρ‚ΠΎΠ΄ set_lang.

Π’ ΠΏΠ΅Ρ€Π²ΠΎΠΌ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ ΠΌΠ΅Ρ‚ΠΎΠ΄ search, ΠΌΡ‹ ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ список Π·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΎΠ² статСй ΠΏΠΎ ΠΊΠ»ΡŽΡ‡Π΅Π²ΠΎΠΌΡƒ слову. Π’Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ Π΅Ρ‘ ΠΊΡ€Π°Ρ‚ΠΊΠΎΠ΅ Ρ€Π΅Π·ΡŽΠΌΠ΅ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° summary.

ΠžΠ±ΡŠΠ΅ΠΊΡ‚ всСй страницы ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ ΠΏΠ΅Ρ€Π΅Π΄Π°Π² Π½Π°Π·Π²Π°Π½ΠΈΠ΅ ΡΡ‚Π°Ρ‚ΡŒΠΈ Π² ΠΌΠ΅Ρ‚ΠΎΠ΄ page, Π° Π΅Ρ‘ тСкст ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ² ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ content Π²Π½ΡƒΡ‚Ρ€ΠΈ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Π° страницы.

#Π³Π°ΠΉΠ΄Ρ‹ #Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ #wikipedia

ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½Π΅Π΅...
ΠžΡΠ½ΠΎΠ²Ρ‹ парсинга. ΠŸΠ°Ρ€ΡΠΈΠΌ habr.

ΠŸΠ°Ρ€ΡΠΈΠ½Π³ - Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΉ сбор ΠΈ структуризация Π΄Π°Π½Π½Ρ‹Ρ… Π² Π½ΡƒΠΆΠ½ΠΎΠΌ Π²ΠΈΠ΄Π΅. ΠžΠ±Ρ‹Ρ‡Π½ΠΎ Π΅Π³ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ для быстрого наполнСния своих сайтов ΠΈ ΠΊΠ°Π½Π°Π»ΠΎΠ² ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚ΠΎΠΌ ΠΈΠ»ΠΈ Π°Π½Π°Π»ΠΈΠ·Π° ΠΊΠΎΠ½ΠΊΡƒΡ€Π΅Π½Ρ‚ΠΎΠ². Π’ этом постС ΠΌΡ‹ спарсим ΡΡ‚Π°Ρ‚ΡŒΠΈ с Π³Π»Π°Π²Π½ΠΎΠΉ страницы Ρ…Π°Π±Ρ€Π°.

Для парсинга понадобятся Π΄Π²Π΅ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ: requests - для http запроса ΠΊ сайту ΠΈ beautifulsoup4 - для ΡƒΠ΄ΠΎΠ±Π½ΠΎΠΉ Π½Π°Π²ΠΈΠ³Π°Ρ†ΠΈΠΈ ΠΏΠΎ html Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Ρƒ. Π£ΡΡ‚Π°Π½ΠΎΠ²ΠΈΡ‚ΡŒ ΠΈΡ… ΠΌΠΎΠΆΠ½ΠΎ, прописав pip install requests ΠΈ pip install beautifulsoup4 соотвСтствСнно.

Π”Π°Π»Π΅Π΅ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° requests.get ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ Π³Π»Π°Π²Π½ΡƒΡŽ страницу Ρ…Π°Π±Ρ€Π° ΠΈ ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‘ΠΌ Π΅Ρ‘ Π² ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ beautifulsoup. Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° beautifulsoup позволяСт Π½Π°ΠΌ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° select ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ список ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ² ΠΏΠΎ css-сСлСктору.

ΠŸΠΎΠ΄ΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°Π΅ΠΌ Π½ΡƒΠΆΠ½Ρ‹Π΅ Π½Π°ΠΌ сСлСкторы Π² инспСкторС ΠΊΠΎΠ΄Π° Π±Ρ€Π°ΡƒΠ·Π΅Ρ€Π° ΠΈ Π½Π°Ρ‡ΠΈΠ½Π°Π΅ΠΌ парсинг. Π’ Π½Π°Ρ‡Π°Π»Π΅ ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ список всСх статСй. Π”Π°Π»Π΅Π΅ Π² Ρ†ΠΈΠΊΠ»Π΅, Ρ‚Π°ΠΊΠΆΠ΅ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° select вытаскиваСм Π½ΡƒΠΆΠ½Ρ‹Π΅ Π½Π°ΠΌ поля, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ ΠΈ ссылку. ΠœΠ΅Ρ‚ΠΎΠ΄ select всСгда Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°Π΅Ρ‚ список ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ², поэтому Ссли Π½Π°ΠΌ Π½ΡƒΠΆΠ΅Π½ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΎΠ΄ΠΈΠ½ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚, всСгда Π½ΡƒΠΆΠ½ΠΎ ΡƒΠΊΠ°Π·Π°Ρ‚ΡŒ Π΅Π³ΠΎ индСкс, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€ articles[0]. Π£ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Π° Π΅ΡΡ‚ΡŒ поля ΠΈ Π°Ρ‚Ρ€ΠΈΠ±ΡƒΡ‚Ρ‹, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€ ΠΏΠΎΠ»Π΅ text содСрТит вСсь тСкст Π² ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Π΅, Π° Π² словарС attrs хранятся всС Π°Ρ‚Ρ€ΠΈΠ±ΡƒΡ‚Ρ‹ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Π°.

🐍 Укус ΠΏΠΈΡ‚ΠΎΠ½Π° // πŸ’¬ Π§Π°Ρ‚ // #Π³Π°ΠΉΠ΄Ρ‹ #Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ #парсинг #habr
ΠžΡΠ½ΠΎΠ²Ρ‹ парсинга. Атрибуты

Π’ ΠΏΡ€ΠΎΡˆΠ»ΠΎΠΌ ΡƒΡ€ΠΎΠΊΠ΅ ΠΌΡ‹ Ρ€Π°Π·ΠΎΠ±Ρ€Π°Π»ΠΈ, Ρ‡Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ парсинг ΠΈ ΠΊΠ°ΠΊ ΠΏΠ°Ρ€ΡΠΈΡ‚ΡŒ тСкст с сайтов. Но часто трСбуСтся ΠΏΠ°Ρ€ΡΠΈΡ‚ΡŒ Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ тСкст, Π½ΠΎ ΠΈ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ хранятся Π² Π°Ρ‚Ρ€ΠΈΠ±ΡƒΡ‚Π°Ρ… html Ρ‚Π΅Π³ΠΎΠ².
БСгодня ΠΌΡ‹ ΠΏΠΎΠΏΡ€ΠΎΠ±ΡƒΠ΅ΠΌ ΡΠΏΠ°Ρ€ΡΠΈΡ‚ΡŒ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡƒΡŽ Π²Ρ‹Π΄Π°Ρ‡Ρƒ с ЛитРСс

Π‘Π½ΠΎΠ²Π° подсматриваСм Π½ΡƒΠΆΠ½Ρ‹Π΅ Π½Π°ΠΌ сСлСкторы Π² инспСкторС ΠΊΠΎΠ΄Π° Π±Ρ€Π°ΡƒΠ·Π΅Ρ€Π° ΠΈ Π½Π°Ρ‡ΠΈΠ½Π°Π΅ΠΌ парсинг. ΠŸΠΎΠ»ΡƒΡ‡Π°Π΅ΠΌ список всСх ΠΊΠ½ΠΈΠ³ ΠΈ Π½Π°Ρ‡ΠΈΠ½Π°Π΅ΠΌ Ρ€Π°Π·Π΄Π΅Π»ΡΡ‚ΡŒ Π΄Π°Π½Π½Ρ‹Π΅. НазваниС ΠΈ Π°Π²Ρ‚ΠΎΡ€Π° ΠΊΠ½ΠΈΠ³ΠΈ парсим ΠΊΠ°ΠΊ Π² ΠΏΡ€ΠΎΡˆΠ»Ρ‹Ρ… Ρ€Π°Π·, просто Π½Π°ΠΉΠ΄ элСмСнт Ρ‡Π΅Ρ€Π΅Π· select ΠΈ Π²Ρ‹Ρ‚Π°Ρ‰ΠΈΠ² ΠΈΠ· Π½Π΅Π³ΠΎ ΠΏΠΎΠ»Π΅ text.

Но Π²ΠΎΡ‚ ссылку Π½Π° ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ΡΠΏΠ°Ρ€ΡΠΈΡ‚ΡŒ Ρ‚Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ нСльзя. Для этого Π½Π°Ρ…ΠΎΠ΄ΠΈΠΌ класс Ρ‚Π΅Π³Π° с ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠΎΠΉ, ΠΈ ΠΈΠ·Π²Π»Π΅ΠΊΠ°Π΅ΠΌ ΠΈΠ· Π½Π΅Π³ΠΎ Π°Ρ‚Ρ€ΠΈΠ±ΡƒΡ‚ src, с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ attrs['src'].

ID ΠΊΠ½ΠΈΠ³ΠΈ ΠΈ ΡΡ‚ΠΎΠΈΠΌΠΎΡΡ‚ΡŒ Π»Π΅ΠΆΠ°Ρ‚ Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ json ({ΠΊΠ»ΡŽΡ‡: 'Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅'}), поэтому с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° find ΠΈ срСзов, Π½Π°Ρ…ΠΎΠ΄ΠΈΠΌ Π½ΡƒΠΆΠ½Ρ‹ΠΉ Π½Π°ΠΌ ΠΊΠ»ΡŽΡ‡ ΠΈ ΠΎΠ±Ρ€Π΅Π·Π°Π΅ΠΌ лишнСС ΠΈ Π²Ρ‹Π²ΠΎΠ΄ΠΈΠΌ всю ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ Π² консоль.

🐍 Укус ΠΏΠΈΡ‚ΠΎΠ½Π° // πŸ’¬ Π§Π°Ρ‚ // #Π³Π°ΠΉΠ΄Ρ‹ #Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ #парсинг #Π°Ρ‚Ρ€ΠΈΠ±ΡƒΡ‚Ρ‹
ГСнСрация ΠΊΠ°ΠΏΡ‡

ΠœΠΎΠ΄ΡƒΠ»ΡŒ captcha
. ΠŸΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ‚ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ голосовыС ΠΈ Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½Ρ‹Π΅ ΠΊΠ°ΠΏΡ‡ΠΈ.

ΠœΠΎΠ΄ΡƒΠ»ΡŒ string. Π₯Ρ€Π°Π½ΠΈΡ‚ Π² сСбС строки с Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ символами Π² Ρ€Π°Π·Π½Ρ‹Ρ… рСгистрах.

Π’ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ Π²Ρ‹ΡˆΠ΅ ΠΌΡ‹ Π²ΠΈΠ΄ΠΈΠΌ ΠΊΠ°ΠΊ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ этих Π΄Π²ΡƒΡ… ΠΌΠΎΠ΄ΡƒΠ»Π΅ΠΉ ΠΌΠΎΠΆΠ½ΠΎ ΡΠ³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠ°ΠΏΡ‡Ρƒ Π΄Π»ΠΈΠ½Π½ΠΎΠΉ Π² 8 символов ΡΠΎΠ΄Π΅Ρ€ΠΆΠ°Ρ‰ΡƒΡŽ Ρ†ΠΈΡ„Ρ€Ρ‹, Π±ΡƒΠΊΠ²Ρ‹ ΠΈ ΠΏΡƒΠ½ΠΊΡ‚ΡƒΠ°Ρ†ΠΈΡŽ.

🐍 Укус ΠΏΠΈΡ‚ΠΎΠ½Π° // πŸ’¬ Π§Π°Ρ‚ // #Π³Π°ΠΉΠ΄Ρ‹ #Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ #string #captcha