با این کد میتونید کد هایhtmlبرخی سایت هارو ببینید

قسمت سوم معرفی کتابخونه های پایتون

میخوایم بپردازیم به کتابخونه های Web Crawling اول یه توضیحی بدیم بعد برسم سراغ معرفی
ببینین بیشتر دیتا های که ما لازم داریم داخل web هستن حالا ما برای دسترسی ب این دیتا ها راه های مختلفی داریم برای مثال اگه شما بخواین اهنگ های یه خواننده رو جمع اوری کنین از یه سایت یا چند سایت استفاده میکنین چون یکی از سایت ها معمولا نیاز مارو برآورده نمیکنه خب این برای یه خواننده بود فک کنین اگه تعداد خواننده ها زیاد باشه باید دونه دونه بریم و بگردیم و دان کنیم 🚶‍♂️ برا همین راحت ترین روش کراولر هست
یه کاربرد دیگه که زیاد دیدیمش لیچر های فیلم و سریال هستن

حالا بریم معرفی کنیم تو پایتون چجوری میشه کراولر ساخت:

قبل از شروع کراول کردن باید بدونین سایتتون چه نوعیه هر سایت کراولر خاص خودشو ممکنه داشته‌ باشه یا اگر ساختارش خوب باشه ممکنه مشابه باشن و با ترفند های خاص یکی بسازیم که چن تا رو پشتیبانی کنه این حرف برای کد های HTML فقط صدق میکنه

حالا اگه سایتمون از js و api استفاده کنه هم روش های دیگه ای داره

ولی در کل با این چن تا کتابخونه میتونین همشونو کراول کنین فقط باید با ساختار سایت ها اشنا باشین
1. Requests
این کتابخونه کارش ارسال درخواست به یه لینک داخل وب هست و دریافت جواب از سرور کار وظيفه دیگه ای نداره صرفا اینو معرفی کردم که با این درخواست بزنین و با کتابخونه دوم جواب سرور رو پردازش کنیم .

2. ‌ Beautifulsoup
این کتابخونه کارش پارس کردن کد های html هست که بتونیم دیتا های داخل تگ رو بگیریم و کد صفحه هارو بخونیم و رویه کد حرکت کنیم عقب بریم جلو بریم و کلی کار دیگه

این کتابخونه قابلیت ریکوست زدن به سایت رو نداره برای ارسال درخواست از کتابخونه requests یا کتابخونه های دیگه استفاده کنین و فقط ریسپانس رو بدین به این کتابخونه
3. Scrapy
این کتابخونه همه کارای که برای کراول کردن نیاز دارین رو انجام میده یزره پیچده تره ولی دستتون باز تره و کلی کار میتونین باهاش بکنین میتونین جاب تنظیم کنین و از چند نخی خیلی اسون استفاده کنین

4. selenium
این کتابخونه یه مرورگر کامل در اختیار شما قرار میده میتونین کلی کار باهاش بکنین مثل اینک یه مرورگر اتوماتیک دارین از کروم فایرفاکس و... مرورگر ها پشتیبانی میکنه
برای سایت های js دار از این استفاده کنین خیلی عالیه

5. playwright
این دقیقا عین سلنیوم هست
خودم استفادش نکردم selenium رو بیشتر دوس دارم ولی جفتشون ساده و در عین حال کاربردین و در بکند هم میشه استفاد کردشون


نکته ما دوتا واژه داریم
web crawling and web scraping
جفتشونم مفهوم و معنیشون یکی هست و اشاره به خزیدن داخل وب داره تا به دیتا مورد نیازتون دسترسی پیدا کنین یا یه دیتای رو اپلود کنین

کانال ما 👇
@comma_code_python1

دوستان درباره استفاده از رجکس تو کد هاتون یه چیزی که خودم زیاد استفاده میکنم
فایل pattern میسازم و پترنها و رجکس هامو داخلش ذخیره میکنم مثلا برا هندلر ها و بقیه و نام متغییر هاشون رو با حروف بزرگ مینویسم

ببین تمیز کد زدن خیلی مهم خودتونم راحت میشین

یه نمونه از فایل پتترنم اینجوریه

from re import compile 

USERNAME_RE = compile(r'@[\w]{5,32}')

و خیلی ساده موقع استفاده ازش import میکنمش
و اینجوری میشه استفاده کردش

from pattern import USERNAME_RE

text = "این یک ایدی @comma_code_python1 است"

# روش اول
USERNAME_RE.findall(text)

# روش دوم
import re

re.findall(USERNAME_RE, text)

خروجی هر دو خط یکی هستش با کامپایل کردن رجکس سرعت برنامتون تو برنامه بزرگ بیشتر میشه

یه سایت هم هست که خیلی ازش استفاده میکنم و باعث میشه رجکس های مختلف رو تست کنم سایت
https://regex101.com/
است خیلی کاربردی بهش سر بزنین


کانال ما 👇
@comma_code_python1

عید همگی مبارک..❤️‍🔥🫶

کی لاگر (Keylogger) نرم‌افزاری یا سخت‌افزاری است که به طور مخفیانه فعالیت‌های کاربر را ضبط می‌کند، به‌ویژه کلیدهایی که بر روی صفحه‌کلید فشار داده می‌شوند.

▎انواع کی لاگرها

1. نرم‌افزاری:

   • برنامه‌هایی که بر روی سیستم نصب می‌شوند و فعالیت‌های کاربر را در پس‌زمینه ضبط می‌کنند.

2. سخت‌افزاری:

   • دستگاه‌های فیزیکی که بین صفحه‌کلید و کامپیوتر قرار می‌گیرند و کلیدهای فشرده شده را ضبط می‌کنند.

▎کاربردها

• جاسوسی: جمع‌آوری اطلاعات شخصی و حساس.

• نظارت: استفاده در محیط‌های کاری برای پیگیری فعالیت‌های کارکنان.

• تحقیق: تحلیل رفتار کاربران برای بهبود نرم‌افزارها.

▎نکات امنیتی

• استفاده غیرمجاز از کی لاگرها غیرقانونی است.

• برای محافظت از خود، از نرم‌افزارهای ضدویروس و ضدبدافزار استفاده کنید و مراقب لینک‌ها و فایل‌های مشکوک باشید

https://t.me/comma_code_python1

💢 لیست گروه های هکری ضد ایران و طرفدار ایران ✌️

😂😂😂😂
دوستان مثل اینکه رفتن چنل هک و امنیتمون رو گزارش زدن😅

باید بگم که اونجا کلا فعالیت نداشت و خوابیده بود تو آب نمک تا وقتی دستم خالی شد مطالب رو قرار بدم
حالا هم چیزی نشده چون حتی معرفیش هم نکرده بودم بهتون یکی دیگه میسازم و آماده میزارم بمونه تا بعد باهم راجب هک و امنیت هم کار کنیم🙏❤️

جنگ ها تموم میشن
کشورها به زندگی عادی برمیگردند
اما خائنین هیچ وقت نمیتونن راحت بخوابند

در هیچ نظام سیاسی
در هیچ نظام فکری
و‌ با هیچ توجیهی
خائن نمیتونه برای خیانت خودش دلیل بیاره
جنگ ما امروز با خائنینه

به امید‌ صلح و رفاه برای مردم ایران

دوستان آنلاین اعلام حضور کنید

🔴غیررسمی: یک گروه هکری مدعی هک بانک ملی و انتشار اطلاعات مربوط به ۷۳ میلیون حساب این بانک شده

https://t.me/comma_code_python1

دوستان به زودی دوباره آموزشات خودمونو اگه اینترنت و فیلترینگ اجازه بده هم میزاریم



https://t.me/comma_code_python1

رکورد جهانی سرعت اینترنت در ژاپن شکسته شد!

۲۲.۹ پیتابیت بر ثانیه!! با این سرعت میشه ۱۰۰۰۰ فیلم سینمایی با کیفیت 4K رو تنها در عرض ۱ ثانیه دانلود کرد.
https://ecoiran.com/%D8%A8%D8%AE%D8%B4-%D8%A7%D8%AE%D8%A8%D8%A7%D8%B1-%D8%AA%DA%A9%D9%86%D9%88%D9%84%D9%88%DA%98%DB%8C-168/51814-%D8%B3%D8%B1%D8%B9%D8%AA-%D8%AF%DB%8C%D9%88%D8%A7%D9%86%D9%87-%D9%88%D8%A7%D8%B1-%D8%A7%DB%8C%D9%86%D8%AA%D8%B1%D9%86%D8%AA-%D8%AF%D8%B1-%DA%98%D8%A7%D9%BE%D9%86-%D9%BE%DB%8C%D8%AA%D8%A7%D8%A8%DB%8C%D8%AA-%D8%AF%D8%B1-%D8%AB%D8%A7%D9%86%DB%8C%D9%87

سلام رفقا 🖖

خوب و خوش و تندرست باشید. 😊

دوستان می‌خواستم تو این پست یه مسئله مهم در برنامه‌نویسی رو توضیح بدم که اغلب فک می‌کنن یکیه ولی درحالی‌که دو مفهوم اساسی و جدا هستن. 🧐 دقت کنین فقط برای پایتون نیست و تو همهٔ زبان‌ها این دو مفهوم هستن.

1. کتابخانه (Library) 📚
2. فریم‌ورک (Framework) 🏗️

یه کتابخونه مجموعه‌ای از کدهای قابل استفادهٔ مجدد که می‌توانید در پروژه‌های خود به آن‌ها دسترسی داشته باشید. ✅

ولی

یه فریم‌ورک محیطی هست که برای توسعهٔ نرم‌افزار فراهم شده و شامل مجموعه‌ای از ابزارها، کتابخانه‌ها و الگوهای طراحی هستش. ⚙️

از کتابخونه‌ها برای انجام کارها استفاده میشه، مثلاً ویرایش عکس، پردازش‌های ریاضی و محاسباتی و... ولی از فریم‌ورک‌ها برای ساخت یک نوع خاص برنامه استفاده میشه، مثلاً طراحی سایت. 🌐

پس دقت کنین، شما تو کتابخونه به هر روشی که دلتون می‌خواد می‌تونین برنامه‌هاتونو گسترش بدین و کنترل بیشتری روی کد دارین، 🕹️ ولی در فریم‌ورک باید طبق ساختار فریم‌ورک جلو برین و از اون تبعیت کنین. 👮‍♂️

یه فریمورک که داخل پایتون هستش و می‌تونیم نام ببریم django 🐍 که باید طبق اون سایت رو جلو ببریم و حتما url ها و view هارو طبق ساختاری که اون بهمون میگه درستشون کنیم. 😑

کتابخونه هام اگه مثال بخواین قبلا در معرفی های کتابخونه ها کلی مثال زدم

سلام بچه ها چطورید
اقا ما تصمیم داریم ی چالش CTF گونه باحال راه اندازی کنیم
داستانش چیه؟
قراره که به دوتا تیم تقسیم بشیم. ی blue team و ی red team
همونطور که خودتون میدونید وظیفه بلو تیم اینه که اسیب پذیری های ی برنامه رو تشخیص بده و پچشون کنه تا کسی نتونه بهش نفوذ کنه و وظیقه رد تیم هم اینه که به برنامه نفوذ کنه ی جورایی...

خلاصه ، توی این چالش بلو تیم باید سعی کنه ی برنامه توسعه بده که از کاربر ی لایسنس دریافت کنه و بعد از اینکه برنامه چک کرد لایسنس درسته یا نه ، به کاربر اجازه ورود رو بده یا اینکه بگه لایسنست اشتباهه
بلو تیم همچین برنامه ای رو با python یا C باید توسعه بده و فایل کامپایل شده رو تحویل رد تیم بده ، اینجا رد تیم دست به کار میشه و باید سعی کنن که بدون وارد کردن لایسنس به برنامه وارد بشن
هرکی از رد تیم تونست همچین کاریو بکنه میاد به بلو تیم میگه که اقا من تونستم به برنامتون نفود کنم... بلو تیم دوباره باید سعی کنه اسیب پذیری ها رو شناسایی کنه و جلوی رد تیم رو بگیره...
این چالش جایزه ای نخواهد داشت و فقط جهت سرگرمی برگزار میشه
اگه دوست داشتید شرکت کنید واسم پیام بفرستید :
@ir_379