Sarto | سارتو

دفید اینجوری کار میکنه:

(عدد هایی که میگم دیفالت هست و قابل تغییر)

هر ده دقیقه میره ۱۵ پیام اخر کانال ها و اکانت های تویتر رو میگیره میاره و اینهارو به یک فرمت خاص توی رم نگه میداره (دیتابیس نداره چون فقط ۱۵ پیام اخر رو نگه میداره)

به هر کانال و یا اکانت تویتر یک عدد اختصاص میده که بهش میگه چنل، این عدد [چنل نامبر یا ch] رو مثل شبکه تلوزیون رو در نظر بگیرید که مثلا میگفتیم شبکه ۴ رو کسی نمیبینه! یا شبکه سه فوتبال داره!، حالا اینجا مثلا شبکه ۳ تو کانفیگ اخبار، وحید انلاین داره!

دیتای هر شبکه رو به چانک های کوچیک و رندم تبدیل میکنه که بهش میگیم بلاک و این بلاک ها بین ۲۰۰ بایت تا ۵۰۰ بایت هستند تا کمترین محدودیت دی ان اس رو داشته باشه

حالا اینو تا اینجا نگه دارید یچیز دیگه توضیح بدم بعد برگردم سراغ این

یک سری شبکه خاص وجود داره توی پروژه که کارشون متفاوت هست

مثلا شبکه 0 کارش برگردوندن متادیتا هست که خیلی مهمه!، این شبکه چی بر میگردونه واقعا؟

- زمان فتچ بعدی کانال ها از تلگرام و تویتر
- یوزرنیم کانال ها و اکانت های تویتر
- شماره شبکشون
- تعداد بلاک های دیتای که دارن
- اخرین ایدی پست و زمان اخرین پست کانال یا اکانت تویتر
- چکسام
- و یک سری چیز که الان یادم نیست

(از اونجایی که دیتا رو به صورت رندم به بلاک های کوچیک بین ۲۰۰ تا ۵۰۰ بایت تقصیم میکنیم هر ده دقیقه تعداد بلاک ها عوض میشه حتی اگر اون کانال پست جدیدی نداشته باشه)

خب پس‌اولین کاری که کلاینت میکنه اینه که میره متا دیتا رو میگیره که لیست کانال هارو نمایش بده

همینطور کلاینت هربار که میخواد یک کانال رو فتچ کنه اول متا دیتا رو فتچ میکنه تا تعداد بلاک های اون کانال و اینکه اصلا پست جدیدی هست یا نه رو بدونه، این متادیتا معمولا بین ۱ تا ۳ بلاک دیتا هست که میشه توی یک شبکه درست حسابی با ۱ تا ۳ کوئری دی ان اس بگیریش. (کلاینت متا دیتا رو واسه خودش تا ۳۰ ثانیه کش میکنه)

حالا وقتی متا دیتا رو داشته باشی میتونی شروع کنی بصورت هم زمان بلاک های دیتای اون کانال تلگرامی و یا تویتری رو بگیری (معمولا کانال ها واسه ۱۵ تا پیام بین ۷ تا ۲۰ بلاک دیتا دارن)، و چون تا ده دقیقه این بلاک ها قراره ثابت باشن (کلاینت هم میدونه کِی اون ده دقیقه تموم میشه) میتونه هی تلاش مجدد کنه و حتی وقتی ریزالور خیلی کند هست هم در نهایت دیتا رو بگیره

یچیز جالب اینه که چون کلاینت فقط واسه گرفتن دیتا نیازه شماره شبکه و شماره بلاک رو بفرسته کوئری ها خیلی کوچیک هست (البته چند بایت رندوم و اورهد انکریپشن و base32 بهش اضافه میشه که بزرگ تر میشه)

کلاینت کلی شبکه معنی دار دیگه هم داره

مثلا شبکه صفر متا دیتاهست
شبکه 1 تا 10,000 واسه دیتای کانال ها و اکانت های تویتر هست

شبکه 10,001 تا فکر‌کنم 50,000 واسه فایل ها هست.

یک‌سری شبکه که عدد هاشو یادم نیست هم شامل این ها هست:

- شبکه واسه گرفتن اخرین ورژن موجود کلاینت
- شبکه واسه گرفتن ادرس ریپو گیتهاب که میشه ازش فایل هارو سریع تر از دی ان اس گرفت
- شبکه واسه گرفتن نام نمایشی کانال ها (متا دیتا فقط یوزرنیم رو داره)
- شبکه مخصوص اپلود پیام! اره دفید میتونه پیام هم بفرسته اگر سرور شخصی داشته باشی، ولی خیلی کنده!
- شبکه مخصوص اینکه بگی میخوام پیام بفرستم!
- و احتمالا چندتا شبکه دیگه که یادم نیست!

یه سری جزئیات دیگه هم هست که من چندتاشو میگم:

- سرور تلاش میکنه شماره شبکه و بلاک های دیتای فایل ها رو دیر به دیر تغییر بده، تا کلاینت فایل های بزرگ هم بتونه دانلود کنه حتی اگر زمان زیادی طول بکشه!

- اگر چند کانال یک فایل تکراری رو بزارن کلاینت متوجه میشه و دوباره دانلود نمیکنه (با سایز فایل و چکسام)

- دیفالت حجم فایل دفید برای رله گیتهاب ۱۵ مگابایت هست و برای دانلود از طریق دی ان اس ۱۰۰ کیلوبایت!

- کلاینت قابلیت ارسال پکت تکراری به چند ریزلور هم زمان رو داره تا سریع تر دیتا رو بگیره
- کلاینت قابلیت گرفتن هم زمان چند بلاک رو داره
- کلاینت وقتی کل بلاک هارو بگیره یک هش که توی متا دیتا بوده رو با پیام ها چک میکنه تا مطمئن بشه دیتا ها ولید هست (این گاهی پیش میاد چون سرور هی داره بلاک های دیتا رو هر ده دقیقه عوض میکنه)
- و کلی چیز دیگه که حتی خودمم یادم نیست ولی قبلا روشون کار‌ کردم

اسکنر چطوری کار‌میکنه؟ اسکنر دفید میره اولین بلاک شبکه متادیتا (0) رو میگیره و ولیدیت میکنه تا مطمئن بشه ریزالور درست کار میکنه و چرتو پرت بر نمیگردونه!

پروژه الان فقط از رکورد TXT استفاده میکنه..

6❤174👏18🔥9👍2😡2🤩1

13.5K views20:45