ΠΡΠ½ΠΎΠ²Ρ ΠΏΠ°ΡΡΠΈΠ½Π³Π°. ΠΠ°ΡΡΠΈΠΌ habr.
ΠΠ°ΡΡΠΈΠ½Π³ - Π°Π²ΡΠΎΠΌΠ°ΡΠΈΠ·ΠΈΡΠΎΠ²Π°Π½Π½ΡΠΉ ΡΠ±ΠΎΡ ΠΈ ΡΡΡΡΠΊΡΡΡΠΈΠ·Π°ΡΠΈΡ Π΄Π°Π½Π½ΡΡ Π² Π½ΡΠΆΠ½ΠΎΠΌ Π²ΠΈΠ΄Π΅. ΠΠ±ΡΡΠ½ΠΎ Π΅Π³ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡ Π΄Π»Ρ Π±ΡΡΡΡΠΎΠ³ΠΎ Π½Π°ΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ ΡΠ²ΠΎΠΈΡ ΡΠ°ΠΉΡΠΎΠ² ΠΈ ΠΊΠ°Π½Π°Π»ΠΎΠ² ΠΊΠΎΠ½ΡΠ΅Π½ΡΠΎΠΌ ΠΈΠ»ΠΈ Π°Π½Π°Π»ΠΈΠ·Π° ΠΊΠΎΠ½ΠΊΡΡΠ΅Π½ΡΠΎΠ². Π ΡΡΠΎΠΌ ΠΏΠΎΡΡΠ΅ ΠΌΡ ΡΠΏΠ°ΡΡΠΈΠΌ ΡΡΠ°ΡΡΠΈ Ρ Π³Π»Π°Π²Π½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ Ρ Π°Π±ΡΠ°.
ΠΠ»Ρ ΠΏΠ°ΡΡΠΈΠ½Π³Π° ΠΏΠΎΠ½Π°Π΄ΠΎΠ±ΡΡΡΡ Π΄Π²Π΅ Π±ΠΈΠ±Π»ΠΈΠΎΡΠ΅ΠΊΠΈ: requests - Π΄Π»Ρ http Π·Π°ΠΏΡΠΎΡΠ° ΠΊ ΡΠ°ΠΉΡΡ ΠΈ beautifulsoup4 - Π΄Π»Ρ ΡΠ΄ΠΎΠ±Π½ΠΎΠΉ Π½Π°Π²ΠΈΠ³Π°ΡΠΈΠΈ ΠΏΠΎ html Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ. Π£ΡΡΠ°Π½ΠΎΠ²ΠΈΡΡ ΠΈΡ ΠΌΠΎΠΆΠ½ΠΎ, ΠΏΡΠΎΠΏΠΈΡΠ°Π²
ΠΠ°Π»Π΅Π΅ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΌΠ΅ΡΠΎΠ΄Π°
ΠΠΎΠ΄ΡΠΌΠ°ΡΡΠΈΠ²Π°Π΅ΠΌ Π½ΡΠΆΠ½ΡΠ΅ Π½Π°ΠΌ ΡΠ΅Π»Π΅ΠΊΡΠΎΡΡ Π² ΠΈΠ½ΡΠΏΠ΅ΠΊΡΠΎΡΠ΅ ΠΊΠΎΠ΄Π° Π±ΡΠ°ΡΠ·Π΅ΡΠ° ΠΈ Π½Π°ΡΠΈΠ½Π°Π΅ΠΌ ΠΏΠ°ΡΡΠΈΠ½Π³. Π Π½Π°ΡΠ°Π»Π΅ ΠΏΠΎΠ»ΡΡΠ°Π΅ΠΌ ΡΠΏΠΈΡΠΎΠΊ Π²ΡΠ΅Ρ ΡΡΠ°ΡΠ΅ΠΉ. ΠΠ°Π»Π΅Π΅ Π² ΡΠΈΠΊΠ»Π΅, ΡΠ°ΠΊΠΆΠ΅ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΌΠ΅ΡΠΎΠ΄Π° select Π²ΡΡΠ°ΡΠΊΠΈΠ²Π°Π΅ΠΌ Π½ΡΠΆΠ½ΡΠ΅ Π½Π°ΠΌ ΠΏΠΎΠ»Ρ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ ΠΈ ΡΡΡΠ»ΠΊΡ. ΠΠ΅ΡΠΎΠ΄ select Π²ΡΠ΅Π³Π΄Π° Π²ΠΎΠ·Π²ΡΠ°ΡΠ°Π΅Ρ ΡΠΏΠΈΡΠΎΠΊ ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ², ΠΏΠΎΡΡΠΎΠΌΡ Π΅ΡΠ»ΠΈ Π½Π°ΠΌ Π½ΡΠΆΠ΅Π½ ΡΠΎΠ»ΡΠΊΠΎ ΠΎΠ΄ΠΈΠ½ ΠΎΠ±ΡΠ΅ΠΊΡ, Π²ΡΠ΅Π³Π΄Π° Π½ΡΠΆΠ½ΠΎ ΡΠΊΠ°Π·Π°ΡΡ Π΅Π³ΠΎ ΠΈΠ½Π΄Π΅ΠΊΡ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ
π Π£ΠΊΡΡ ΠΏΠΈΡΠΎΠ½Π° // π¬ Π§Π°Ρ // #Π³Π°ΠΉΠ΄Ρ #Π±ΠΈΠ±Π»ΠΈΠΎΡΠ΅ΠΊΠΈ #ΠΏΠ°ΡΡΠΈΠ½Π³ #habr
ΠΠ°ΡΡΠΈΠ½Π³ - Π°Π²ΡΠΎΠΌΠ°ΡΠΈΠ·ΠΈΡΠΎΠ²Π°Π½Π½ΡΠΉ ΡΠ±ΠΎΡ ΠΈ ΡΡΡΡΠΊΡΡΡΠΈΠ·Π°ΡΠΈΡ Π΄Π°Π½Π½ΡΡ Π² Π½ΡΠΆΠ½ΠΎΠΌ Π²ΠΈΠ΄Π΅. ΠΠ±ΡΡΠ½ΠΎ Π΅Π³ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡ Π΄Π»Ρ Π±ΡΡΡΡΠΎΠ³ΠΎ Π½Π°ΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ ΡΠ²ΠΎΠΈΡ ΡΠ°ΠΉΡΠΎΠ² ΠΈ ΠΊΠ°Π½Π°Π»ΠΎΠ² ΠΊΠΎΠ½ΡΠ΅Π½ΡΠΎΠΌ ΠΈΠ»ΠΈ Π°Π½Π°Π»ΠΈΠ·Π° ΠΊΠΎΠ½ΠΊΡΡΠ΅Π½ΡΠΎΠ². Π ΡΡΠΎΠΌ ΠΏΠΎΡΡΠ΅ ΠΌΡ ΡΠΏΠ°ΡΡΠΈΠΌ ΡΡΠ°ΡΡΠΈ Ρ Π³Π»Π°Π²Π½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ Ρ Π°Π±ΡΠ°.
ΠΠ»Ρ ΠΏΠ°ΡΡΠΈΠ½Π³Π° ΠΏΠΎΠ½Π°Π΄ΠΎΠ±ΡΡΡΡ Π΄Π²Π΅ Π±ΠΈΠ±Π»ΠΈΠΎΡΠ΅ΠΊΠΈ: requests - Π΄Π»Ρ http Π·Π°ΠΏΡΠΎΡΠ° ΠΊ ΡΠ°ΠΉΡΡ ΠΈ beautifulsoup4 - Π΄Π»Ρ ΡΠ΄ΠΎΠ±Π½ΠΎΠΉ Π½Π°Π²ΠΈΠ³Π°ΡΠΈΠΈ ΠΏΠΎ html Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ. Π£ΡΡΠ°Π½ΠΎΠ²ΠΈΡΡ ΠΈΡ ΠΌΠΎΠΆΠ½ΠΎ, ΠΏΡΠΎΠΏΠΈΡΠ°Π²
pip install requests
ΠΈ pip install beautifulsoup4
ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²Π΅Π½Π½ΠΎ. ΠΠ°Π»Π΅Π΅ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΌΠ΅ΡΠΎΠ΄Π°
requests.get
ΠΏΠΎΠ»ΡΡΠ°Π΅ΠΌ Π³Π»Π°Π²Π½ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ Ρ
Π°Π±ΡΠ° ΠΈ ΠΏΠ΅ΡΠ΅Π΄Π°ΡΠΌ Π΅Ρ Π² ΠΎΠ±ΡΠ΅ΠΊΡ beautifulsoup. ΠΠΈΠ±Π»ΠΈΠΎΡΠ΅ΠΊΠ° beautifulsoup ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ Π½Π°ΠΌ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΌΠ΅ΡΠΎΠ΄Π° select
ΠΏΠΎΠ»ΡΡΠΈΡΡ ΡΠΏΠΈΡΠΎΠΊ ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ² ΠΏΠΎ css-ΡΠ΅Π»Π΅ΠΊΡΠΎΡΡ.ΠΠΎΠ΄ΡΠΌΠ°ΡΡΠΈΠ²Π°Π΅ΠΌ Π½ΡΠΆΠ½ΡΠ΅ Π½Π°ΠΌ ΡΠ΅Π»Π΅ΠΊΡΠΎΡΡ Π² ΠΈΠ½ΡΠΏΠ΅ΠΊΡΠΎΡΠ΅ ΠΊΠΎΠ΄Π° Π±ΡΠ°ΡΠ·Π΅ΡΠ° ΠΈ Π½Π°ΡΠΈΠ½Π°Π΅ΠΌ ΠΏΠ°ΡΡΠΈΠ½Π³. Π Π½Π°ΡΠ°Π»Π΅ ΠΏΠΎΠ»ΡΡΠ°Π΅ΠΌ ΡΠΏΠΈΡΠΎΠΊ Π²ΡΠ΅Ρ ΡΡΠ°ΡΠ΅ΠΉ. ΠΠ°Π»Π΅Π΅ Π² ΡΠΈΠΊΠ»Π΅, ΡΠ°ΠΊΠΆΠ΅ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΌΠ΅ΡΠΎΠ΄Π° select Π²ΡΡΠ°ΡΠΊΠΈΠ²Π°Π΅ΠΌ Π½ΡΠΆΠ½ΡΠ΅ Π½Π°ΠΌ ΠΏΠΎΠ»Ρ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ ΠΈ ΡΡΡΠ»ΠΊΡ. ΠΠ΅ΡΠΎΠ΄ select Π²ΡΠ΅Π³Π΄Π° Π²ΠΎΠ·Π²ΡΠ°ΡΠ°Π΅Ρ ΡΠΏΠΈΡΠΎΠΊ ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ², ΠΏΠΎΡΡΠΎΠΌΡ Π΅ΡΠ»ΠΈ Π½Π°ΠΌ Π½ΡΠΆΠ΅Π½ ΡΠΎΠ»ΡΠΊΠΎ ΠΎΠ΄ΠΈΠ½ ΠΎΠ±ΡΠ΅ΠΊΡ, Π²ΡΠ΅Π³Π΄Π° Π½ΡΠΆΠ½ΠΎ ΡΠΊΠ°Π·Π°ΡΡ Π΅Π³ΠΎ ΠΈΠ½Π΄Π΅ΠΊΡ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ
articles[0]
. Π£ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΎΠ±ΡΠ΅ΠΊΡΠ° Π΅ΡΡΡ ΠΏΠΎΠ»Ρ ΠΈ Π°ΡΡΠΈΠ±ΡΡΡ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ ΠΏΠΎΠ»Π΅ text ΡΠΎΠ΄Π΅ΡΠΆΠΈΡ Π²Π΅ΡΡ ΡΠ΅ΠΊΡΡ Π² ΠΎΠ±ΡΠ΅ΠΊΡΠ΅, Π° Π² ΡΠ»ΠΎΠ²Π°ΡΠ΅ attrs Ρ
ΡΠ°Π½ΡΡΡΡ Π²ΡΠ΅ Π°ΡΡΠΈΠ±ΡΡΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ°.π Π£ΠΊΡΡ ΠΏΠΈΡΠΎΠ½Π° // π¬ Π§Π°Ρ // #Π³Π°ΠΉΠ΄Ρ #Π±ΠΈΠ±Π»ΠΈΠΎΡΠ΅ΠΊΠΈ #ΠΏΠ°ΡΡΠΈΠ½Π³ #habr