Web Scraping From The Shell 😏

curl - grep - sed - wget

#آموزش #showcase

اینکه از colab برای دانلود تورنت و آپلود به تلگرام استفاده کردیم رو که یادتونه؟ همین ایده با کمی تغییرات شد یک گیتهاب اکشن که توی issue لینک تورنت بگیره و آپلود کنه به تلگرام
درواقع از گیتهاب برای دانلود و آپلود تورنت به تلگرام استفاده می‌کنیم، حالا چطور؟


روش اینطوری هست که workflow میاد و هر ایشو جدیدی که ساخته شد رو دانلود می‌کنه، اگر لیبل download خورده بود، محتوای ایشو رو دانلود می‌کنه، و هر خط رو به ترتیب بعنوان magnet, token, chatId توی
متغییر ذخیره می‌کنه
بعد aria2 رو برای دانلود تورنت نصب می‌کنه

بعد یک فایل bash رو با چند ارگومان که همان متغییر هایی هستند که از ایشو گرفته شدند اجرا می‌کنه، این فایل magnet رو به aria2 می‌ده برای دانلود تورنت، بعد از تکمیل دانلود، اسکریپت آپلود به تلگرام رو اجرا می‌کنه و از متغییر های بعدی که توکن و چت آی‌دی هستند استفاده می‌کنه.

و بعد از اتمام این کار، ایشو خودکار حذف می‌شه.

اینم باید بگم که گیتهاب اجازه میده فقط 6 ساعت یک جاب اجرا بشه،
و همچنین نهایت حجم یک اکشن هم 500 مگابایت هست.

https://github.com/shabane/mp3tor2tel

تا حالا به این فکر کردین که اگر چند پروسه همزمان بخواهند یک فایل را کنترل کنند و محتوای آن را تغییر بدهند چه مشکلی ممکن است رخ دهد؟
بیایید مشکل و راه حل آن را توی این پست برسی کنیم.

بخاطر وجود chatGPT احساس می‌کنم نوشتن بلاگ کار بی‌خودیه
دلیلش هم اینه که هرکسی هر موضوعی داشته باشه رو ازش می‌تونه به راحتی سوال کنه و جوابش رو کامل بگیره بهتر از ده ها بلاگ!
حتی اگه چیزی مبهم بود مجدد درمورد اون بخش خاص سوال کنه!

نظر شما چیه؟

اکثرا ChatGPT رو که میشناسید، یک مدل دیگه از GPT هست که اجازه می‌ده سوالاتی که ChatGPT ممنوع کرده رو هم بپرسیم ازش.
مثلا اگه شما از ChatGPT بپرسید که چطوری یک وای-فای wpa2 رو هک کنید، بهتون می‌گه نمی‌تونه جواب این سوال رو بده!
در مقابل‌ش HackGPT این جواب رو به خوبی بهتون می‌ده. می‌تونید این سرویس رو از این آدرس استفاده کنید.

گیک ها و برنامه نویس هایی که توی ترمینال زندگی می‌کنند، برای اشتراک یک فایل از ابزار هایی استفاده می‌‌کنند که اونا هم تحت ترمینال باشه. مثلا سرویس 0x0.st
یک هفته پیش یک بلاگی خوندم که یکنفر چنین سرویسی رو با زبان راست به اسم rustyPaste نوشته، منم گفتم خب چرا من خودم ننویسم؟ البته با پایتون :)
همین شد که سرویس FIleBin خودم رو به اسم CurlPaste نوشتم. بیایید باهم مروری کنیم بر اینکه اصلا FileBin چیه و چطور تحت ترمینال یک فایل منتشر کنیم.


https://www.wiregeek.ir/p/crul-paste/

https://hamed.blog/views/



واقعیت اینه که وایرال شدن ویدئوها به خاطر عجیب بودن یا ترسناک بودن یا بامزه بودن‌شون چیز جدیدی نیست. ولی وقتی با اون بازدیدها پول درمیاد، داستان فرق می‌کنه. مردم شروع می‌کنن به انجام کارهای احمقانه. چون هر چی احمقانه‌تر، بازدید بیشتر و هر چه بازدید بیشتر، پول بیشتر.

این یک چرخه معیوبه و من فکر می‌کنم ما نباید به این چرخه کمک کنیم. به قول.......

یه قابلیت جدید به مرورگر کروم اضافه شده که با اون میشه تب های باز مرورگر رو خودکار با هوش مصنوعی دسته‌بندی کرد.
برای مثال اگه چند مقاله برای پایتون توی مروگر باز هست و چند سایت فروشگاهی دیگه، با راست کلیک روی یکی از تب ها، می‌تونید تمامی تب ها با موضوع یکسان رو داخل یک گروه دسته‌بندی کنید! تمامی پایتون ها میاد داخل یک گروه و تب های فروشگاهی هم داخل یک گروه دیگه(حتی اگه توی هر چند تب دنبال محصول متفاوتی باشید اینا رو هم دسته بندی می‌کنه مثلا یک گروه برای خرید لپتاپ و یک گروه برای خرید هارد اکسترنال).

اگه هنوز از bash بعنوان شِل استفاده می‌کنید دیر نشده که fish رو هم ببینید!

به زودی قراره نسخه استیبل که با راست نوشته شده هم منتشر بشه.

> من روی سیستم خودم از zsh استفاده می‌کنم، کانفیگ‌ش می‌کنم، پلاگین هامو فعال/نصب می‌کنم و تم powerlevel10k رو نصب می‌کنم ولی وقتی روی سرور هستم حوصله اینکار ها رو ندارم. خیلی راحت fish نصب می‌کنم با تم و پلاگین های دیفالت کارم رو راه می‌اندازم ((:

https://news.itsfoss.com/fish-shell-rust-beta/

> سر این اختلالات اخیر روی اینترنت، من پروژه قبلی‌ام رو که کانفیگ VPN از چنل های تلگرام می‌گرفت رو اپدیت کردم و کاری کردم که لینک ها از این به بعد نسبت به کشورشون هم توی فایل های مجزا تقسیم بشوند.
البته اینو بگم که ممکنه یک لینک از CDN استفاده کنه درحالی که سرور اون لینک داخل یک کشور دیگه باشه، با این وجود اون لینک توی دسته کشور اشتباه قرار می‌گیره.

و همچنین اگه کانفیگ ها رو دیده باشید خیلی از کانفیگ ها از ای‌پی تمیز استفاده می‌کنند و مثلا بجای دامنه اصلی سرور خودشون از دامنه دیگه که پشت کلادفلیر هست مثل zula[dot]ir استفاده می‌کنند و sni رو دامنه سرور خودشون قرار می‌دن. این هم باعث میشه تا دسته بندی لینک ها براساس کشور درست انتخاب نشه

ولی درکل اگه براتون سواله که چرا اصلا اینکارو کردم، باید بگم بعضی کشور ها مثل ایران و افغانستان لینک های خوبی ازشون درمیاد و کانفیگ هایی که جلوشون سرور ایران هست بهتر کار می‌کنه(درحال حاضر)! پس لینک های ایران رو می‌تونید تست کنید و استفاده کنید.

اینم بگم که برای این پروژه قبلا فلگ تست رو هم توی CI گیتهاب فعال کرده بودم که لینک ها رو تست هم بکنه و در فایل های تست شده قرار بده، اما برای این حداقل ماهی 30 هزار تومن هزینه داشت، اگه دونیت کنید این رو هم باز فعال می‌کنم. ممنون 3>

و یا بجای کمک مالی کافیه نود test رو با داکر روی سرور ایرانتون بیارید بالا و من اون رو توی پروژه کانفیگ کنم و لینک های تست توسط ایران هم داشته باشیم (=

لینک پروژه توی گیتهاب :https://github.com/shabane/kamaji/

یک گزینه دیگه به این پروژه اضافه کردم که بجای چک کردن کانفیگ ها توسط نود API ایران، بیاد و لااقل با خود گیت‌هاب چک کنه و ببینه هر دامنه یا ای‌پی روی پورت کانفیگ TCP handshake می‌شوند یا نه.

با اینکار کانفیگ هایی داریم که میدونم حداقل down نيستند.

https://hub.docker.com/r/marctv/minecraft-papermc-server




اگه ماینکرفت پلی می‌دین، این ایمیج رو با داکر روی سرورتون بیارید بالا و یه ماینکرفت سرور داشته باشید.

من یه مدتی هست اوردم بالا، اگه پلی میدین منو خبرم کنید تا بیارمتون روی سرور خودم (:

https://www.wiregeek.ir/p/etc/resolve.conf/



هر پکت DNS داخل لینوکس یک مسیر خاصی رو دنبال می‌کنه تا به مقصد برسه و در نهایت به شما جواب درست رو نشون بده.
توی این پست من این مسیر و تنظیماتی که می‌تونیم انجام بدیم برای یک پکت تا به مسیر برسه رو نوشتم،
پست رو که خواندید، اگر علاقه مند بودین درباره مسیر خود پکت در سطح اینترنت هم می‌نویسم.