GraphPad
2.21K subscribers
483 photos
34 videos
36 files
292 links
Download Telegram
روز گذشته مجله
Drug Combination Therapy (ISSN 2624-3075)

که وابسته به انتشارات
 Talent of Magical Research

در نیوزلند است، متنی جهت همکاری و ارسال مقاله در شماره آینده ژورنال، برایم فرستاده بود.

صرفنظر از متن او که تصویر آن را برایتان ارسال کرده‌ام، به نظرم فرصت خوبی برای پژوهشگران و محققان علاقمند به موضوعات
Combination of Herbs and Chemicals, Combination of Herbs, Combination of Chemicals, Network Pharmacology , Combination Therapies of Infectious Diseases

است که مقالات و مطالعات خود را در آنجا چاپ و منتشر کنند.

در لینک زیر سایت ژورنال و ایمیل آن‌ها را مشاهده می‌کنید.

https://www.tmrjournals.com/dct/
psmr@tmrjournals.com
#همکاری

من در جلسه شماره 396 شورای رقایت حضور داشتم. موضوع جلسه که با حضور رئیس و اعضای جلسه برگزار شد یک مبحث آماری و به حدنصاب جمعیتی به ویژه در شهرهای محروم و کم برخوردار مربوط می‌شد.

علاقمند بودید در سایت شورای رقابت می‌توانید موارد مورد بررسی در جلسه شماره 396 و اسامی اعضای شرکت کننده را مشاهده کنید.
 
از این موضوع بگذریم و می‌خواهم توجه شما را به یک نکته دیگر جلب کنم.
در همه جلسات شورای رقابت و در هر موضوعی، نماینده خود سازمان، وزارت‌خانه و دستگاهی که موضوع جلسه است نیز شرکت دارد. یعنی این‌گونه نیست که اعضای شورای رقابت بنشینند و خودشان با خودشان تصمیمی بگیرند و رسانه‌ای کنند.
 
به عنوان مثال در همین موضوع اخیر خودرو، علاوه بر اعضای شورای رقابت، نمایندگان وزارت صمت، خودروسازها و سایر ذینفعان نیز حضور داشته و دارند. تصمیمی هم که گرفته شده (در همه مصوبات شورای رقابت همین‌گونه است) با حضور همین ذینفعان نوشته و اقدام می‌شود.
 
البته نه من سر و کاری با شورای رقابت دارم و نه آن‌ها را تایید و یا رد می‌کنم. موضوع این نیست.

موضوع این است آن شش صفحه‌ای که به عنوان مصوبه شورای رقابت در موضوع خودرو، رسانه‌ای شده تصمیم صرف خود شورای رقابت نبوده و تصمیم خودروسازها و از آن مهم‌تر وزارت صمت نیز هست.

بنابراین خیلی ساده بنویسم فریب این شلوغ بازی‌ها و سیاه‌کاری‌های رسانه‌ای که قبول نداریم و شکایت می‌کنیم و مصوبه را اجرا نمی‌کنیم، را نخورید. خود آن‌ها در نوشتن این مصوبه همکاری و نقش داشته‌اند.
یکی از پرتکرارترین سوالاتی که از من می‌شود این است که یک ایده مطالعاتی بدهید که روی آن کار کنیم.

مثلاً پایان‌نامه، مقاله و یا یک طرح تحقیقاتی بر مبنای آن بنویسیم.
 
پاسخی که من می‌توانم به این موضوع بدهم و تا آنجا که می‌دانم هنوز به عنوان یک موضوع حل نشده در تحلیل‌های آماری مطرح است، به دست آوردن فاصله اطمینان برای میانه بقا

Confidence Interval for Median Survival 
است.
 
میانه بقا Median Survival که از جمله موضوعات مطرح در آنالیز بقا است، بیانگر نقطه زمانی است که در آن احتمال بقا برابر با 50 درصد می‌شود.

اینکه آنالیز بقا Survival Analysis چیست را هم می‌توانید در این نوشته ببینید. البته در این زمینه کتاب‌ها و مطالب زیادی وجود دارد که علاقمند بودید مطالعه کنید.
 
درباره‌ی محاسبه خود میانه بقا، مشکلی وجود ندارد و روش‌های استاندارد زیادی در این زمینه کشف شده است.

اما آن چیزی که هنوز حل نشده است، محاسبه فاصله اطمینان برای میانه بقا است. البته در این زمینه سه مطالعه انجام شده است. من اسامی آن‌ها را برایتان نوشته‌ام.

1- One method is in Collett starting at page 35.

2- Brookmeer and Crowley , A confidence interval for the median survival time. Biometrics (1982) vol. 38 (1) pp. 29-41

3- Barker reviews several methods and points out how different their results can be. The Mean, Median, and Confidence Intervals of the Kaplan-Meier Survival Estimate—Computations and Applications. The American Statistician (2009) vol. 63 (1) pp. 78-80
 
منتهی نکته‌ای که وجود دارد این است که هیچ‌کدام از این سه روش استاندارد نیست، نتایج آن‌ها با هم کاملاً متفاوت است و نرم‌افزارهای تحلیل آماری هیچ‌کدام را به عنوان یک کار مناسب، قبول ندارند.
 
به هر حال این متن را نوشتم که چنانچه به مطالعات آماری علاقمند هستید و می‌خواهید یک کار در سطح بالای بین‌المللی انجام دهید، ابتدا به یادگیری و کار در زمینه آنالیز بقا، سپس میانه بقا و در مرحله‌ی بعد یافتن فاصله اطمینان برای میانه بقا، بپردازید.
من در این کانال بارها از مفهومی به اسم Combination Index (CI) حرف زدم. در روزهایی که از این مفهوم می‌نوشتم، گفتم که عدد این شاخص بالاست و نشان می‌دهد روندی که در بازار (همان روزها) رخ میدهد، مربوط به کاربران انسانی و یا حقیقی‌ها نیست.


با این حال امروز می‌خواهم به موضوع دیگری اشاره کنم. اندازه CI از حدود ابتدای آبان شروع به کاهش کرده است. به زبان ساده یعنی الگوریتم‌ها، ربات‌ها و ارکان برهم زننده بازار، فعالیت خود را به شدت کاهش دادند. نتیجه هم این شد که با یک بازار صعودی از همان ابتدای آبان تا تقریباً انتهای دی‌ماه روبه‌رو بودیم.


اما از ابتدای بهمن تا همین روزها با یک بازار نزولی روبه‌رو هستیم. سوال این است که وضعیت CI در این حدود یک‌ماه چگونه بوده است؟ آیا باز هم عدد CI افزایش پیدا کرده که روند بازار نزولی شده؟


باید بگویم پاسخ این سوالات منفی است. بازار برای معدود دفعات نزولی شده اما CI بالا نرفته است. این مطلب به معنای آن است که روند ریزشی رخ داده از طرف کاربران غیرانسانی، ارکان بازار و حقوقی‌های بزرگ رخ نداده است.


به عبارت دیگر بازار در یک روند صعودی قرار گرفته بود. سیستمی هم مانع آن نبود (بزرگ نبودن عدد CI این را نشان می‌دهد) اما چرا بازار منفی شد؟


پاسخ این سوال و این روند ریزشی ایجاد شده را باید معلول رفتار حقیقی‌ها و کاربران انسانی پشت سیستم نشسته دانست. این‌که آیا خود آن‌ها از این اتفاق سود کرده‌اند را هم باید منفی دانست. به نظر نمی‌رسد (حداقل شبیه‌سازی‌ها اینگونه نشان می‌دهند) عمده این حقیقی‌ها نفعی از این وضعیتی که خودشان باعث به وجود آمدنش شده‌اند، برده باشند و یا در آینده ببرند.


بیشتر این حقیقی‌ها در فکر این بودند که اصطلاحاً در سقف بقروشند و دوباره در کف بخرند. تا آنجا که به شبیه‌سازی‌ها مربوط می‌شوند آن‌ها در سقف نتوانسته‌اند بفروشند، به نظر هم نمی‌رسد بتوانند در کف بخرند. آنچه هم که در پایان نصیب آن‌ها خواهد شد این است که روند بازار را ریزشی کرده‌اند، به سهامداران ضربه زده‌اند و در انتهای بازی ای که خودشان شروع کرده‌اند، ارزش سبدهای آنها هم کمتر از عدد انتهای دی‌ماه و حتی اواسط دی‌ماه خواهد شد.
#صفر

نرم‌افزار Prism وقتی می‌خواهد درباره‌ی رگرسیون خطرات متناسب کاکس
Cox Proportional Hazards Regression

حرف بزند، از این عبارت استفاده می‌کند که این تحلیل پیچیده‌ترین و سخت‌ترین آنالیز موجود در Prism است.

نرم‌افزار به عادت همیشگی خودش وقتی می‌خواهد تحلیلی را بیان کند یک مثال از داده‌های واقعی بیان می‌کند.

مثالی نیز که Prism برای رگرسیون کاکس ارایه می‌کند مربوط به داده‌های یک مطالعه در پاکستان است. از این‌جا می‌توانید مقاله منتشر شده مطالعه را ببینید.

اگر می‌پرسید چرا پاکستان، باید بگویم الف) پاکستان در بسیاری زمینه‌ها یک کشور پیشرفته است و ب) مطالعه و داده‌های آن آنقدر جذاب و مبتنی بر اصول علمی انجام شده بود که شرکت آمریکایی سازنده Prism این مطالعه و داده‌های آن را به عنوان منبع درسی و آموزش رگرسیون کاکس در دنیا معرفی کرده است.

رگرسیون کاکس اصولاً تحلیلی بر روی مدت بقا و زنده ماندن افراد است. مطالعه نیز با نام
Survival analysis of heart failure patients

منتشر شده است و مربوط به افرادی است که دارای مشکلات و بیماری‌های قلبی هستند.

داده‌های اصلی رگرسیون کاکس را که نگاه می‌کردم، در کنار انبوهی از داده‌ها، ستونی داشت که بیانگر شغل، درآمد و کار افراد مورد بررسی است.

برخی از آن‌ها در گذشته و یا در همان زمان مطالعه حرفه‌ای داشتند که می‌توان آن را مشابه با همان مفهوم فعال در بازارهای مالی، سهام، اوراق بهادر، تریدر و چیزهایی مشابه آن دانست.

البته که هدف این مقاله بررسی این افراد نبود و من به صورت خاص، این بخش از افراد را از سایرین جدا کردم.

در گراف زیر می‌توانید منحنی بقا این افراد را در مقایسه با سایرین مشاهده کنید. فهم گراف سخت نیست و یک موضوع ساده را نشان می‌دهد.

افرادی که در یک کلمه می‌توان آن‌ها را تریدر نامید و با دنیای کندل‌ها سر و کار دارند، خیلی زودتر از دیگران، صفر می‌شوند و می‌میرند. آن‌ها حدود 10-9 سال زودتر از بقیه افراد، دچار بیماری‌های قلبی منجر به مرگ می‌شوند.

صرفاً این متن را امروز آن هم زمانی که شاخص کل بیشتر از 80 هزار واحد مثبت است، نوشتم که بگویم هر فردی خودش را بهتر از دیگران می‌شناسد. اگر فکر می‌کنید دنیای کندل‌ها از بورس و ارز دیجیتال و هر چیز دیگر مانند آن، قلب و ذهن شما را بیش از حد به تپش و استرس وا می‌دارد، آن‌ها را رها کنید.

البته که منظور من خروج برای امروز و فردا نیست. موضوع این است که این‌گونه بازارها به سلامت شما ضربه شدید می‌زنند، بنابراین هر زمان که فکر کردید مناسب است برای همیشه آن‌ها را ترک کنید.

https://graphpad.ir/wp-content/uploads/2023/02/Estimated-Survival-Cox-regression-scaled.jpg
منحنی بقا را که بیانگر مقایسه میزان بقا و زنده ماندن افراد فعال در بازارهای مالی نسبت به سایر افراد است را در گراف بالا، به صورت جداگانه آورده‌ام.
تقریباً دو سال پیش، مقاله‌ای در سایت گراف پد نوشتم و در آن یک روش ابداعی که شامل دو تکنیک تو در تو جهت نرمال کردن داده‌هایی که فاقد توزیع نرمال هستند، معرفی کردم.

ایده از خودم بود و تکنیک‌ها بر روی تابع توزیع احتمال داده‌های موجود، برقرار بود.

نتیجه هم عالی به دست می‌آمد و تقریباً بدون استثنا می‌توانست داده‌هایی که توزیع نرمال نداشتند را به داده‌هایی منظم و دارای توزیع نرمال تبدیل کند.
 
تا آن‌جا که بعد از نوشتن مقاله هم مطلع شدم و بازخوردها به من می‌رسید، مورد استفاده دانشجویانی که می‌خواستند کارهای آماری خودشان را انجام دهند و به دلیل نرمال نبودن داده‌هایشان به مشکل برمی‌خوردند، قرار گرفته بود و مشکل نرمال نبودن داده‌ها را حل کرده بود.
 
با این حال این روش چندان به مذاق برخی از اساتید خوش نیامد، به دلیل اینکه استفاده از این روش باعث می‌شد شاخه‌ای از علوم آماری با نام آمار ناپارامتری، تقریباً از دور خارج و بلااستفاده شود، از طرف دیگر سبب شده بود کار دانشجویان راحت شود و نخواهند زحمت زیادی برای تحلیل‌های آماری خودشان انجام دهند.
 
بازخوردها در بین دانشجویان مثبت و در بین برخی از اساتید منفی و گاهی اوقات هم با لحن تند بود. ایراد بیشتر تماس‌ها و ایمیل‌ها و پیام‌ها این بود که منبع و رفرنس این روش از کجاست و شما از کدام مقاله یا کتاب این روش را نوشته‌اید. من هم پاسخی نداشتم به دلیل اینکه اصلاً رفرنسی وجود نداشت و هر آنچه بود زاییده ذهن خود من بود.
 
تا اینکه چند ماه پیش ایده‌ای به ذهنم رسید. عین همان متن مقاله روش ابداعی نرمال کردن داده‌ها که به فارسی نوشته بودم را به انگلیسی نوشتم. زیر مقاله انگلیسی هم نوشتم نویسنده
 Dr. Johann David Weiss

(هنگامی که داشتم مقاله را از فارسی به انگلیسی تبدیل می‌کردم، تلویزیون کارتون خانواده دکتر ارنست را نشان می‌داد. من هم به ذهنم رسید نام نویسنده رمانی که این کارتون بر مبنای آن نوشته شده را به عنوان نویسنده مقاله انگلیسی بنویسم.)
 
در مقاله فارسی هم که در سایت گراف پد آمده است، نوشتم که رفرنس و منبع این روش ابداعی، مقاله‌ای از دکتر یوهان داوید ویس است. لینک هم دادم به مقاله انگلیسی که آن را هم خودم نوشته بودم.
 
به این ترتیب و بعد از آن حتی یک پیام، ایمیل و تماس هم نداشتم که این مقاله را شما از روی کدام منبع و مرجع نوشته‌ای.
نویسنده مقاله رفرنس یک فرد خارجی بود و متن مقاله رفرنس هم به انگلیسی نوشته شده بود. مشکل به سادگی حل شد.
 
من مدتی است با خودم فکر می‌کنم مشکل آن مقاله فارسی چه بود؟ آیا صرفاً به این دلیل که ۱- نویسنده خارجی نبود و ایرانی بود. ۲- مقاله انگلیسی نبود و فارسی بود؟

این را از این جهت می‌نویسم که هیچ فردی نیامد از آقای یوهان داوید ویس بپرسد که شما خودت این روش را از کجا ابداع کردی. من ایمیل این فرد فرضی که در واقع ایمیلی بود که خودم ساخته بودم را هم کنار نام نویسنده مقاله انگلیسی نوشته بودم، اما حتی یک ایمیل هم برای دکتر یوهان ارسال نشده است.
#سال_1402

من این متن را حدود 370 روز پیش نوشتم و در آن بیان کردم که امید ریاضی سود به ضرر در بازار سرمایه تهران برای سال 1401، نسبت 43 به 57 خواهد بود.

این مطلب یعنی اینکه پیش‌بینی کردیم یک فرد تصادفی، با احتمال 43% می‌تواند در بازار سود و با احتمال 57% ضرر کند.

اکنون که به انتهای سال نزدیک می‌شویم و نتایج را می‌بینیم، پیش‌بینی مدل‌های آماری تا حد زیادی درست بوده است و امیدریاضی مشاهده شده سود به ضرر 47 به 53 ثبت شده است.

خوب است به این اعداد دقت کنیم و آن را کنار اعداد فرضی شاخص کل و یا هم‌وزن قرار دهیم تا متوجه شویم واقعاً برای افراد فعال در بازار سرمایه تهران چه اتفاقی افتاده است. این نتیجه به سادگی نشان می‌دهد سال 1401 همان‌گونه که پیش‌بینی می‌شد یک سال منفی برای عمده افراد (میانه) بوده است و بسیاری با ضرر این بازار را ترک کرده‌اند.

برای پیش‌بینی سال آینده 1402 لازم است ابتدا چند نکته بنویسم.

1- ایده من این است که ما در همه بازارهای مالی یک ضریب ثابت داریم. نام آن را ضریب ثابت میانه می‌گزارم.
به عنوان مثال قیمت نماد (کالا یا هر چیز دیگری مانند طلا، تتر، ارز دیجیتال) را فرض کنید که در یک بازه زمانی مشخص (مثلاً سه ماه) دو برابر می شود و 100 درصد افزایش پیدا می‌کند.

سوالی که من قبلاً نیز در این نوشته به آن پاسخ دادم این است که عمده افراد (میانه) در این نماد چقدر سود کرده‌اند؟ واضح است که همه 100 درصد سود نکرده‌اند. این نماد در مدت سه ماه، معامله و دست به دست شده و از نظر تئوری حتی امکان دارد عده‌ای ضرر نیز کرده باشند.

پس میانه سود چقدر است؟ پاسخ عددی حدود 24.9% است. این مطلب یعنی اینکه میانه سود عددی حدود یک چهارم، ابتدا و انتهای تایم زمانی ما است.

این عدد ثابت در همه روندها خود را نشان می‌دهد. می‌توان اثبات کرد عدد دقیق آن حدود 4.09 است. یعنی مثلاً اگر نماد X در مدت فرضی t به اندازه P درصد رشد کند، میانه سود عدد p/4 خواهد بود. (البته این معادله کمی پیچیده‌تر است و به t نیز ربط دارد، منتهی من آن را برای فهم راحت‌تر، ساده نوشتم).

این رابطه به ما نشان می‌دهد مثلاً اگر بیت کوین، نسبت به روز گذشته خود 10 درصد مثبت شده، بدانیم میانه سود 10 درصد نیست و حدود 2.5 درصد است. یعنی نیمی ار افراد معامله‌کننده در این روز فرضی فقط حدود 2.5 درصد سود کرده‌اند.

جالب توجه است که در روندهای منفی این عدد ضریب ثابت کوچکتر و حدود 3.17 است. مثلاً اگر همان بیت کوین 10 درصد ریزش داشته باشد، میانه ضرر افراد تریدر 3.15% است.

این نتیجه، یک یافته ساده را نشان می‌دهد که در همه‌ی دنیا افراد به سود اجازه بزرگتر شدن نمی‌دهند، اما به ضرر اجازه بزرگتر شدن می‌دهند.

بنابراین یک قانون کلی را می‌توان اینجا نوشت.
در بازارهای مالی، سودها کمتر و ضررها بیشتر (در مقایسه با عدد سود) از آن چیزی است که در چارت‌ها دیده می‌شوند.

2- پیش‌بینی می‌شود بازار سهام در سال آینده یک توزیع از نوع
Heavy-Tailed Distribution

خواهد بود. برای درک این مطلب این‌گونه می‌گویم که ما در همه بازارهای مالی یک نظم و انظباط در دریافت سود و ضرر را مشاهده می‌کنیم. حدود 10 درصد افراد خیلی سود می‌کنند، همین مقدار خیلی ضرر می‌کنند و بقیه نیز در طیفی از رده‌های سود و ضرر قرار می‌گیرند. یعنی تقریباً توزیع داده‌های سود و ضرر به صورت نرمال پراکنده می‌شود.

توزیع Heavy Tail توزیعی است که دم‌های آن (سمت چپ و راست) آن ضخیم است. یعنی اگر قبلاً می‌گفتیم 10 درصد خیلی سود (دم سمت راست) و 10 درصد خیلی ضرر (دم سمت چپ) می‌کنند و 80% بقیه در این بین قرار می‌گیرند، برای سال 1402 باید بگوییم هر دو سمت راست و چپ، ضخیم و با فراوانی بالاتر خواهد بود.

مثلا برای سال 1402 باید بگوییم 20% افراد خیلی سود و 20% خیلی ضرر و 60 درصد بقیه نیز در طیفی از رده‌های سود و ضرر قرار می‌گیرند.

سعی می‌کنم در پست بعد به این سوال که در سال آینده چه عواملی می‌توانند ما را در بین افراد دم سمت راست و یا دم سمت چپ قرار دهند، پاسخ دهم.
در متن قبلی به این نکته اشاره کردم که پیش‌بینی می‌شود توزیع بازدهی در بازار سرمایه تهران از نوع دم ضخیم Heavy-Tailed Distribution خواهد بود.

از من سوالاتی شده بود که این خانواده از توزیع‌های آماری چه ویژگی‌هایی دارد. در پاسخ شما را به داده‌های امروز 6 فروردین ارجاع می‌دهم. من در تصویر زیر هیستوگرام بازدهی امروز همه نمادهای معامله شده را بیان کرده‌ام.

امروز یک نمونه و مثال مناسب از توزیع دم ضخیم بود. دو طرف هیستوگرام داده‌ها هم در سمت مثبت و هم در سمت منفی، دارای ستون‌های بلند (به معنای فراوانی داده‌ها) است. من آن‌ها را رنگی کرده‌ام.

یکی از ویژگی‌های دیگر توزیع‌های دم کلفت، عدم نرمال بودن داده‌ها است که امروز نیز این نتیجه به سادگی دیده می‌شد (KS = 0.064, P value <0.01).

به نظر می‌رسد از این به بعد روزهای زیادی خواهیم داشت که بازدهی، فاقد توزیع نرمال باشد و همان‌گونه که گفتم با یک بازار Heavy-Tailed Distribution روبه‌رو خواهیم بود.
علاقمند بودید از این لینک می‌توانید نتایج تحلیل داده‌ها در نرم‌افزار Minitab را دریافت کنید.

نکته دیگری که می‌خواهم در این‌جا به آن اشاره کنم، مطلبی است که بارها به آن پرداخته‌ام و آن شاخص کل است.

من و شما بهتر می‌دانیم که ما در یک فضای ذهنی برای خودمان حرف می‌زنیم و قرار نیست مثلاً اگر فرمول یا رابطه جدیدی پیشنهاد و ارایه می‌دهیم (این نوشته را بخوانید) موثر واقع شود و یا به کار گرفته شود.

میانه مفهومی است که در علوم حیاتی و آنچه که با جان انسان‌ها سر و کار دارد (مانند پزشکی و دارویی) بیشتر از هر پارامتر دیگری به کار گرفته می‌شود و دوستانی که در این رشته‌ها کار می‌کنند به خوبی و بیشتر از من با مفاهیمی مانند IC50، EC50 و یا LD50 که همگی میانه موثر هستند، سر و کار دارند.

آمار و تحلیل‌های آماری قرار داده شده در علوم اقتصاد، مالی و رشته‌هایی از این رده، به دلیل نزدیکی آن‌ها به سیاست، عمدتاً بر پایه نمایش، شو و پرزنت قرار دارند و به همین دلیل اکثر پارامترهای آماری قرار گرفته در این علوم، اریب Bias و دارای بیشترین واریانس براورد (خطا) هستند.

به بیان ساده‌تر این براوردها (که شاخص کل و یا هم‌وزن از انواع آن‌ها می‌باشند)، بله آماری هستند، دارای فرمول و رابطه نیز می‌باشند، منتهی در رده‌بندی براوردهای آماری در دسته جانبدارانه و دارای بیشترین خطا قرار می‌گیرند.

به عنوان یک مثال ساده، هر چهار پارامتر بازدهی امروز منفی است. میانه و میانگین بر مبنای آخرین قیمت به ترتیب 1.15- و 0.79- درصد و بر مبنای قیمت پایانی 0.29- و 0.52- درصد هستند. این فایل را ببینید.

این مطلب به بیان ساده و برای نزدیک شدن به ذهن خواننده یعنی اینکه، شاخص میانه برخلاف شاخص کل که حدود 20 هزار واحد مثبت را نشان می‌دهد، عددی حدود 23 هزار واحد منفی بوده است.

به همین دلیل است که وقتی در یک فرایند بلند مدت نگاه می‌کنیم شاخص میانه هنوز در محدوده اعداد 1.31 تا 1.35 میلیون واحد قرار دارد، اما همه جا پر می‌شود که شاخص کل بالای دو میلیون واحد قرار گرفته است.

https://graphpad.ir/wp-content/uploads/2023/03/Histogram-14020106-GraphPad.ir_.png
تحلیل بقا که به آن Survival Analysis گفته می‌شود، ابزار و روشی است جهت بررسی این مطلب که چگونه احتمال وقوع یک رویداد معین، با گذر زمان کم و یا زیاد می‌شود.

به این ترتیب ما در آنالیز بقا، با سه کلمه‌ی اساسی که تشکیل دهنده‌ی این نوع از تحلیل‌های آماری هستند، رو‌به‌رو هستیم. این سه کلمه عبارتند از

احتمال، رویداد و زمان.

احتمال و زمان که مفاهیم شناخته شده‌ای هستند. آنچه باقی می‌ماند واژه رویداد و پاسخ به این سوال است که شما می‌خواهید احتمال وقوع کدام رویداد وابسته به زمان را محاسبه کنید.

در اینجا ما با طیف وسیعی از رویدادهای مورد علاقه در علوم مختلف روبه‌رو هستیم. هر چند که آنالیز بقا همان‌گونه که از نام آن برمی‌آید در تحلیل‌های آمار پزشکی و حیاتی ریشه دارد، منتهی کاملاً قابلیت تطابق و استفاده در سایر علوم را نیز دارد.

من از روزهای ابتدایی زمستان سال گذشته تا انتهای دی‌ماه، نُه (9) جلسه کلاس در موضوع آنالیز بقا داشتم. در این جلسات از مفاهیم مقدماتی تا کار با نرم‌افزار Prism بیان شده است.

گراف پد متن نوشتاری و ویدئویی این کلاس‌ها را در سایت خود قرار داده است. علاقمند بودید آن‌ها را ببینید و مطالعه کنید.

جلسه اول. مفاهیم و تعاریف اساسی در آنالیز بقا

جلسه دوم. داده‌های سانسور شده Censored Data

جلسه سوم. نسبت خطر Hazard Ratio چیست؟

جلسه چهارم. تحلیل‌های کاپلان مایر Kaplan-Meier

جلسه پنجم. میانه بقا Median Survival چیست؟

جلسه ششم. خطرات Hazards و نرخ خطر Hazard Rate

جلسه هفتم. رگرسیون خطرات متناسب کاکس Cox Proportional Hazards Regression

جلسه هشتم. باقیمانده ها Residuals در رگرسیون خطرات متناسب کاکس

جلسه نهم. تنظیمات رسم نمودار ها Graphs در رگرسیون Cox
من در کانال گراف پد، درباره‌ی Heavy-Tailed بودن توزیع بازده سهام به ویژه برای سال 1402 صحبت کردم. می‌توانید این متن و همچنین این نوشته را ببینید.



چند روز پیش مقاله‌ای با عنوان

An alternative stochastic model for linear portfolios



مشاهده کردم که توسط دو نویسنده به نام‌های Ismet birbiçer و Ali I. Genc (این فرد در زمینه  elliptical distributions و ساختن توزیع‌های جدید آماری معروف است) از دانشگاه Cukurova University (ترکیه)، نوشته شده بود.



این مقاله به تازگی در ژورنال

Communications in Statistics - Simulation and Computation, Volume 52, Issue 4 (2023)



دانشگاه میشیگان آمریکا چاپ شده است.



در این مقاله به صراحت نوشته شده است که



Stock market returns often tend to follow a non-normal probability distribution due to extreme losses in the tails. These cause fatter tails than normal and consequently heavy-tailed probability distributions are mostly used for modeling returns.



خواندن این مقاله را که به مدل‌سازی ریاضی و آماری portfolio و بررسی هفت real stocks پرداخته است، به شما پیشنهاد می‌کنم.
از گذشته برای خودم سوال بود، هنگامی که شاخص به عدد سقف قبلی یعنی 2.1 میلیون در سال 99 برسد، وضعیت سبدها چگونه خواهد بود؟


برای پاسخ به این سوال من یک شبیه‌سازی با جامعه آماری حدود 80 هزار نفری انجام دادم. در این شبیه‌سازی میلیون‌ها حالت و ترکیب احتمالی متفاوت از خرید و فروش همه نمادها توسط این 80 هزار نفر شبیه‌سازی شده، بررسی شده است.


در این مدل، من دو گروه از افراد (سبدها) را کنار گذاشتم و از مطالعه خارج کردم.


1- آن‌هایی که به هر دلیلی در فاصله بین سقف قبلی 2.1 تا زمان رسیدن به همان عدد 2.1 میلیون، از بازار خارج شده‌اند و سبدهای خود را صفر کرده‌اند.

2- سبدهایی که صرفاً دارای عرضه اولیه‌های ارایه شده در بازه زمانی مرداد 99 تا فروردین 402 بوده‌اند.


در گراف زیر توزیع فراوانی بازدهی سبدهای 80 هزار نفر شبیه‌سازی شده، هنگامی که شاخص دوباره به سقف قبلی خود بازگشته است، ارایه شده است. چند نکته درباره‌ی آن نوشته‌ام.


الف) 78.15 درصد افراد دارای سبدهای با ارزش کمتر از دفعه قبل هستند. به عبارت ساده، شاخص به جای خود بازگشته منتهی برای حدود 78 درصد افراد، ارزش سبدها به جای خود بازنگشته.


ب) 11.29 درصد افراد، سبدهایی با افت بیشتر از 50 درصد را تجربه می‌کنند.


پ) برای 7.43 درصد افراد، ارزش سبدها بیشتر از 50 درصد، نسبت به زمانی که شاخص 2.1 میلیون بوده، رشد داشته است.



https://graphpad.ir/wp-content/uploads/2023/04/Histogram-of-Data-GraphPad.ir_.png
الف) فرض کنید n نفر فرضی (مثلاً ۱۰۰۰ نفر) روز دو‌شنبه ۲۰ مرداد سال ۱۳۹۹ و بر روی شاخص ۲.۱ میلیون، برای اولین بار وارد بازار سرمایه شده و به تصادف سهام می‌خرند. چه نمادهایی و به چه مقدار مهم نیست.
 
سپس پی کار خودشان می‌روند و کاملاً فراموش می‌کنند که وارد بازار شده و سهام خریده‌اند. ما به این افراد، گروه غیرفعال می‌گوییم.

فرض کنید این افراد در روز سه‌شنبه ۱۵ فروردین ۱۴۰۲ که شاخص دوباره به عدد ۲.۱ میلیون رسیده، سبد خود را نگاه می‌کنند. چه اتفاقی برای سبد آن‌ها افتاده؟
 
واضح است که هر کدام عملکردی دارند. یکی ارزش سبدش دو برابر شده، دیگری نصف دفعه قبل هم نیست و یکی دیگر مثلاً ۲۰ درصد در ضرر است.
 
سوال این است که عمده (میانه) افراد غیرفعال چگونه هستند؟
پاسخ این است که یک براورد فاصله‌ای Confidence Interval از اختلاف بین ارزش سبد این افراد در روز ۲۰ مرداد ۹۹ با ۱۵ فروردین ۴۰۲ نشان می‌دهد، میزان ضرر آن‌ها در یک بازه (۱۷-۱۵) درصد قرار دارد.
 
این بازه را می‌توان انحراف خالص شاخص از خودش نامید و البته موضوع بحث من در این نوشته نیست.
 
بنابراین به عبارت ساده، ارزش سبد میانه افرادی که در روز ۲۰ مرداد ۹۹ وارد بازار شده‌اند و سپس فعالیتی در بازار نداشته و خربد و فروشی انجام نداده‌اند، نسبت به روزی که شاخص دوباره در روز ۱۵ فروردین ۴۰۲ به عدد قبلی بازگشته، ۱۵ تا ۱۷ درصد کمتر شده است.
 

ب) ۱۰۰۰ نفر فرضی دیگر را در نظر بگیرید که آن‌ها هم دقیقاً مانند گروه الف) در روز دو‌شنبه ۲۰ مرداد سال ۱۳۹۹ و بر روی شاخص ۲.۱ میلیون، وارد بازار شده‌اند. آن‌ها هم به تصادف نمادهایی را خریداری کرده‌اند.
 
منتهی برخلاف گروه قبلی در بازار حضور فعال داشته‌اند. به این معنا که بر مبنای منطق و دلیل خودشان در بازار خرید و فروش می‌کردند. از نماد X به نماد Y و از Y به Z و همین‌طور نمادهای دیگر.
 
سوال این است، مقدار ارزش ریالی سبد این افراد در روز سه‌شنبه ۱۵ فروردین ۱۴۰۲ که شاخص دوباره به عدد ۲.۱ میلیون رسیده، چگونه است؟
 
پاسخ به این سوال در متن قبلی و گراف آن دیده می‌شود. پیک و نقطه اوج گراف را نگاه کنید. در یک مدل شبیه‌سازی، نشان داده شد که میانه افراد در ضرر حدود (۲۶-۲۴) درصد هستند.

 
من در گراف زیر، توزیع احتمالی انحراف سبد افراد هم در گروه الف) غیرفعال و هم در گروه ب) فعال را رسم کرده‌ام. این گراف نشان می‌دهد، میانه افراد غیرفعال، در ضرر حدود ۱۶ درصد و میانه افراد فعال، در ضرر حدود ۲۵ درصد هستند.
 
در این زمینه بیان چند نکته ضروری است.
۱- این‌گونه نیست که همه‌ی ۱۰۰۰ نفر فرضی غیرفعال دارای نتیجه بهتری از همه ۱۰۰۰ نفر افراد فعال هستند. این نتیجه ساده را میتوان از همپوشانی دو گراف زیر نیز به دست آورد.

در این تحلیل، ما از میانه‌ها یعنی عمده افراد حرف می‌زنیم و نتیجه ساده هم این است که بیشتر افراد غیرفعال دارای نتیجه بهتری نسبت به افراد فعال هستند.


۲- طبیعی است که فکر کنیم همه افراد فعال، در هر موقعیت خرید یا فروش در فاصله زمانی (مرداد ۹۹ تا فروردین ۴۰۲) که قرار گرفته‌اند، بر این نظر بوده‌اند که کار درستی انجام می‌دهند و ترید آن‌ها منجر به عملکرد بهتری برایشان خواهد شد.

با این حال آنچه در پایان داستان به دست آمده این است که عمده افراد (میانه) چنانچه کاری نمی‌کردند، نتیجه بهتری به دست می‌آوردند.
 
https://graphpad.ir/wp-content/uploads/2023/05/Deviation-of-Data-GraphPad.ir_.png
 
 
من در این متن نوشتم که میانه انحراف ارزش سبد افراد فعال در بازار سرمایه از 20 مرداد 99 تا 15 فروردین 402 (نقطه‌ای که شاخص دوباره به عدد خود بازگشته است) در بازه (26-24) درصد منفی قرار دارد. همین عدد یعنی میانه انحراف ارزش سبد برای افراد غیرفعال در بازه (17-15) درصد منفی قرار گرفته است.

بنابراین به بیان ساده، شاخص در روز 15 فروردین 402 به مقدار 2.1 میلیون سقف قبلی خود بازگشته بود، با این‌حال ارزش سبد میانه افراد (چه فعال و چه غیرفعال) همچنان منفی بود.

حال یک سوال مهم از خودمان بپرسیم و سعی کنیم به آن پاسخ دهیم.
عدد شاخص تا چه اندازه باید جلوتر می‌رفت تا ارزش سبد میانه افراد از مقدار منفی خارج و اصطلاحاً سربه‌سر شود؟ عدد خالص شاخص بدون انحراف، جهت سربه‌سر شدن ارزش سبدها، چند بوده است؟

نکته‌ای که وجود دارد این است که شاخص کل از روز 15 فروردین 402 تا شنبه 16 اردیبهشت، به عدد 2.53 میلیون واحد رسیده بود یعنی حدود 19.6% افزایش.

جالب است که بدانیم شاخص میانه در این مدت عملکرد بهتری از شاخص کل داشته است و مقدار افزایش آن حدود 22.7 درصد بوده است.

خب، اینها یعنی چه؟
یعنی اینکه شاخص کل و بازار سرمایه صرفاً تا آن‌جایی جلو رفته که در لبه‌های مرز سربه‌سر شدن ارزش سبد میانه افراد فعال (و کمی جلوتر از افراد غیرفعال) نسبت به مرداد 99 قرار گیرد. شاخص جلوتر از این لبه‌ها حرکت نکرده و نرفته است.

به عبارت دیگر، عدد دقیق شاخص کل، برای رسیدن به ارزش سبد سربه‌سر با مرداد 99، برای میانه افراد، مقدار 2.57 میلیون واحد بوده است، که خب شاخص تا نزدیک‌های این عدد رسیده و سپس بار دیگر ارزش سبدها را منفی کرده است.

من از بیان این موضوع می‌خواهم به دو نتیجه برسم.

الف) عدد 2.53 تا 2.57 میلیون واحد، مقداری برای شاخص کل بوده است که میانه افراد به ارزش ریالی سربه‌سر سبد خود نسبت به مرداد 99 رسیده‌اند. البته نقش این افراد در ریزش 200 هزار واحدی این دو روز چندان برجسته نیست.

ب) من در این متن که آن را در مرداد سال 401 نوشتم، بیان کردم که انتهای هنر بازارساز، کار کردن و تحلیل با اکسل است.
با این حال این‌بار و در اردیبهشت سال 402 باید بنویسم که بازار ساز از فضای ساده‌لوحانه اکسل فاصله گرفته و عدد دقیق سربه‌سر شدن میانه افراد را به درستی تشخیص داده است.
تصمیم عامدانه ریزش با همان محدوده سربه‌سر شدن میانه افراد، تلاقی پیدا کرده است که البته ابزار مستندی در اختیار نداریم که بدانیم این تلاقی نتیجه یک برنامه‌ریزی بوده و یا اتفاقی تصادفی رخ داده است.
اگر این سوال را چند ماه پیش از من می‌پرسیدید با اطمینان زیادی می‌گفتم که این تلاقی حاصل یک اتفاق تصادفی بوده است. با این حال رفتار حرفه‌ای تیم بازارساز در این چند ماه، می‌تواند ذهنیت را به سمت یک برنامه‌ریزی سوق دهد.

اما آینده.
همچنان ایده من Heavy-Tailed بودن توزیع بازده سهام در سال 402 است. علاقمند بودید این نوشته و این نوشته را بخوانید.
غیرنرمال بودن داده‌ها، رفتار آونگی نمادها از مثبت بزرگ به منفی بزرگ و بالعکس، سود و ضرر زیاد برای تعداد افراد زیاد، عدم صفر بودن و یا نزدیک به صفر بودن بتای بازدهی سهام و بلکه مثبت بزرگ و منفی بزرگ بتای بازدهی، از ویژگی‌های این نوع خانواده توزیع‌های آماری می‌باشد.
در 21 March سال 2023 (اولین روز فروردین امسال) فردی به نام Chetna Chauhan از دانشگاه Los Andes کشور کلمبیا، سوالی در ریسرچ‌گیت مطرح کرد که زمینه‌ساز بحث‌های زیادی در میان پژوهشگران آماری دنیا قرار گرفت.

سوال او بر این مبنا بود که وقتی در آمار تئوری با نام قضیه حد مرکزی Central Limit Theorem وجود دارد که می‌گوید هنگامی که تعداد داده‌ها به اندازه کافی زیاد باشد، داده‌ها به سمت توزیع نرمال شدن، حرکت می‌کنند و همچنین روش‌هایی جهت نرمال کردن داده‌ها (داستان یکی از آن‌ها را من در این نوشته، بیان کردم)، بنابراین دیگر چه لزومی دارد که از آزمون‌های ناپارامتری که جهت تحلیل بر روی داده‌های غیرنرمال، ساخته و ابداع شده‌اند، استفاده کنیم؟

در این لینک می‌توانید سوال او و پاسخ‌ها را مشاهده کنید.

در این زمینه چند نکته وجود دارد.
1- چنانچه به مباحث آماری علاقمند هستید، لینک بالا را ببینید. این سوال توسط بهترین اساتید آمار حال حاضر دنیا مانند Jochen Wilhelm آلمانی و Bruce Weaver کانادایی و همچنین Daniel Wright آمریکایی پاسخ داده و یا ریکامند شده است.
2- قضیه حد مرکزی (CLT) در تحلیل بازده سهام، طراحی سبد بهینه و مدیریت ریسک، می‌تواند مورد استفاده قرار گیرد. در این زمینه می‌توانید این لینک و مقاله را ببینید. همه‌ی شبیه‌سازی‌هایی که من در کانال گراف پد از آن‌ها نام برده‌ام، بر مبنای این قضیه انجام می‌شود.

3- خوب است این نکته را بگویم که آنچه در معمولاً به عنوان نرمال سازی داده‌ها از آن یاد می‌شود، صرفاً چیزی به نام استانداردسازی داده‌ها است. نرمال کردن داده‌ها فرایندی تا حدی پیچیده است و به معنای این است که تابع ریاضی و احتمالی داده‌ها از فرمول توزیع نرمال، پیروی کند و حداقل یکی از چهار آزمون اصلی نرمالیتی مانند کلوموگروف-اسمیرنف بیانگر نرمال بودن داده‌ها باشد.

4- قدیمی‌ترین متون مربوط به تحلیل‌های ناپارامتری مربوط به قرن 13 میلادی است. نوشته‌هایی مربوط به سال 1599 و یکی دیگر که به تحلیل نسبت جنسیت انسان در بدو تولد می‌پرداخت در سال 1710 نوشته شده است. این مطلب را از این جهت می‌گویم که بدانیم آزمون‌های ناپارامتری دارای قدمت و تاریخچه هستند و طرفداران خاص خود را در دنیای حتی امروزی آمار دارند. بنابراین وجود روش‌ها و تکنیک‌هایی که سبب شود آمار ناپارامتری حذف و یا بدون استفاده شود، برای آن‌ها مطلوب نخواهد بود.

سوال Chetna Chauhan کلمبیایی، جرقه‌ی مباحثی که البته چند سالی است مطرح شده را دوباره روشن کرد که اصولاً ما به آمار ناپارامتری و تحلیل‌های مرتبط با آن نیازی داریم و یا خیر، آیا آن‌ها باید برای همیشه حذف شوند؟

جهت پاسخ به این سوال که برای خود من هم ایجاد شده بود همان‌گونه که من در کنار سایر اساتید آمار تاپیک بالا در ریسرچ گیت، بیان کردم (در این لینک ببینید)، سبب شد که من روزهای فروردین سال 402 را به بررسی و مطالعه آزمون‌ها و تحلیل‌های ناپارامتری، بپردازم.

من 9 مقاله در این زمینه نوشته و در سایت گراف پد و ریسرچ گیت، منتشر کردم که در هر کدام از آن‌ها به توضیح و کاربرد آنالیزهای ناپارامتری پرداختم. اسامی این مقالات را در ادامه نوشته‌ام.

مقاله اول. تحلیل ناپارامتری من ویتنی Mann-Whitney

مقاله دوم. آزمون کروسکال والیس Kruskal-Wallis H Test

مقاله سوم. آزمون ناپارامتری Jonckheere-Terpstra

مقاله چهارم. تحلیل رتبه علامت دار ویلکاکسون Wilcoxon Signed-Rank

مقاله پنجم. آزمون ناپارامتری کوکران Cochran's Q Test

مقاله ششم. تحلیل ناپارامتری همگنی حاشیه ای Marginal Homogeneity Test

مقاله هفتم. آزمون ناپارامتری علامت Sign Test

مقاله هشتم. تحلیل ناپارامتری فریدمن Friedman Test

مقاله نهم. ضریب تطابق کندال Kendall's Coefficient Of Concordance (W)

چنانچه به موضوعات آماری علاقمند بودید آن‌ها را ببینید و بخوانید. نوشتن این مقالات و آشنا شدن بیشتر با دنیای آمار ناپارامتری سبب شد دیدگاه اولیه من که بر مبنای حذف و عدم کاربرد تحلیل‌های ناپارامتری در تحلیل داد‌ه‌های امروزی بود، اصلاح شده و دریابم که آنالیزهای ناپارامتری همچنان می‌توانند مفید، موثر و دقیق باشند.
#Trend

آیا ابزار و روش تحلیلی وجود دارد که برای ما یک عدد تولید کند و ما با استفاده از آن عدد بگوییم، روند و گام‌های بعدی داده‌ها صعودی – نزولی و یا فاقد روند (یکنواخت، ثابت) خواهد بود؟

پاسخ به این سوال مثبت است و می‌توان از تحلیلی با نام آزمون روند خطی
 Test for Linear Trend 

نام برد.

این آزمون هنگامی که با نرم‌افزار Prism انجام می‌شود، علاوه بر بررسی وجود روند خطی، وجود روند غیرخطی را نیز تست می‌کند.

خب، حال بیایید به خروجی‌های مهم Test for Linear Trend بپردازیم.

P-Trend

اولین یافته و شاید مهم‌ترین آن، یک مقدار احتمال P-Value است. دوستانی که با مباحث آماری آشنا هستند می‌دانند در هر تست آماری P-Value ها به عنوان ابزار قضاوت آماری قرار می‌گیرند و به ما می‌گویند یافته معنادار است و یا معنادار نیست.

به عنوان مثال در یک تحلیل همبستگی، عدد به دست آمده از P-Value به ما می‌گوید ارتباط وجود دارد و یا وجود ندارد و یا در یک تحلیل مقایسه‌ای به ما می‌گویند مشابهت و همانندی وجود دارد و یا وجود ندارد.


هنگامی که از
 Test for Linear Trend

 استفاده می‌کنیم به P-Value به دست آمده از این آزمون، اصطلاحاً P-Trend می‌گوییم.

عدد P-Trend همان عددی است که من در ابتدای متن از آن نام بردم. بیایید آن را بیشتر بشناسیم.
 
خوب است بدانیم P-Trend که همان P-Value سابق است، از جنس احتمال است و بنابراین به عنوان یک اندازه در بازه بین صفر و یک تعریف می‌شود. (دقت کنید هیچ‌وقت صفر و یا یک به دست نمی‌آید) P نوشته شده در ابتدای نام آن به معنای Probability است.

این اتفاق بسیار مثبتی است. از دیدگاه آماری هر پارامتری که از جنس Probability باشد، قابلیت این را دارد که در چارچوب علمی قرار گیرد و وارد دنیای تئوری احتمال که خود بسیار گسترده است، شود. (در واقع ریشه تفاوت میان ریاضی و آمار همین است. ریاضیات به دنیای قطعیت و حتمیات می‌پردازد و آمار به دنیای احتمالات.)


گفتیم که P-Trend عددی احتمالی و در بازه صفر تا یک است. این عدد هرچقدر به یک نزدیکتر باشد به معنای عدم وجود روند در داده‌ها (پیش‌بینی ثابت و یکنواخت شدن) و هر چقدر به صفر نزدیکتر باشد به معنای ایجاد روند در داده‌ها (پیش‌بینی صعودی یا نزولی شدن) خواهد بود.

به عنوان مثال اگر P-Trend = 0.71 به دست بیاید، پیش‌بینی می‌کنیم داده‌ها با احتمال 71% فاقد Trend خواهند بود و با احتمال 29% روند به خود می‌گیرند. به همین ترتیب برای هر عدد دیگر به دست آمده از P-Trend می‌توان چنین نتیجه‌ای به دست آورد.

Slope

اصولاً ما وقتی نام شیب Slope را می‌شنویم به یاد مدل‌های رگرسیونی و یا سری زمانی می‌افتیم. آزمون و روش تحلیل Test for Linear Trend که من در این متن به آن پرداختم، نوع خاصی از رگرسیون‌ها است که تخصص آن روندشناسی و درک وجود و ماهیت روند داده‌ها است.

تحلیل Test for Linear Trend عددی نیز برای Slope به ما می‌دهد. این عدد هرچقدر بزرگتر باشد به معنای وجود روند قوی‌تر در داده‌ها است. اعداد نزدیک به صفر برای Slope بیانگر عدم وجود روند در داده‌ها خواهد بود.

جهت محاسبه این شیب از کتاب زیر صفحات 952-940

Altman, D. G. 1991 Practical statistics for medical research.  Chapman and Hall


و همچنین کتاب زیر صفحات ۲۱۳-۲۱۲ و ۲۲۰-۲۱۹ استفاده می‌شود.

Sheskin, D. 2011 Handbook of Parametric and Nonparametric Statistical Procedures, Fifth Edition 5th Edition, Chapman and Hall/CRC
 
کتاب بالا حدود 970 صفحه است و من فایل PDF آن را در همان لینک قرار داده‌ام. علاقمند بودید به این کتاب‌ها می‌توانید مراجعه کنید.
 
همان‌گونه که بالاتر اشاره کردم نام این روش تحلیل
 Test for Linear Trend

 است. با این حال هنگامی که با نرم‌افزار Prism انجام می‌شود، علاوه بر روند خطی، روند غیرخطی (شاید بتوان نام آن را Test for Nonlinear Trend هم گذاشت) را هم بررسی می‌کند و به ازای هر کدام P-Trend جداگانه ارایه می‌کند.

من در لینک زیر سایت گراف پد سعی کرده‌ام به این آزمون و معرفی سایر پارامترهای آن بپردازم.

https://graphpad.ir/test-for-linear-trend-prism/
 
یک سوال خوب این است که Moving Average (MA) را بر روی چه length (L) تنظیم کنیم؟ یک سوال کامل‌تر می‌تواند این باشد که اصولاً در مدل‌های سری زمانی که ساده‌ترین آن همین MA است، پارامترهای مدل را برای رسیدن به بهترین (کمترین خطا) بر روی چه عددی قرار دهیم؟
 
آشنا باشید مدل‌های دیگری مانند Decomposition، Exponential Smoothing (همراه با انواع سه‌گانه آن)، Winters’ Method، SMA، AR، ARIMA و SARIMA دیگری نیز وجود دارند که در همه‌ی آن‌ها قرار دادن بهترین پارامترها که در نهایت ما را به بهترین مدل پیش‌بینی با کمترین خطا برسانند، مطرح است.
 
من در سایت گراف پد و بخش آموزش‌ها برخی از این مدل‌های سری زمانی را همراه با مثال و کار با نرم‌افزار Minitab توضیح داده‌ام. علاقمند بودید آنجا را ببینید.
 
برخی از آن‌ها واقعاً جالب توجه هستند و به عنون مثال یکی از انواع مدل Exponential Smoothing دارای پارامتری به نام گاما است که به آن ضریب روند می‌گوییم. عدد به دست آمده برای این پارامتر که از آن به عنوان یک احتمال رخداد (P) نام می‌برم، می‌تواند به ما در شناسایی دقیق نقاط ورود و خروج، کمک کند.
 
سوال این است که بهترین length در یک مدل MA چه عددی است. برای پاسخ به این سوال، ابتدا باید این نکته را بدانیم که انتخاب بهترین L در مدل MA، برای هر X ای باید جداگانه انجام شود. این X می‌تواند یک نماد بازار سهام، کریپتو و یا فارکس باشد. هر چیزی که در طول زمان Time حرکت دارد و امروزش با فردایش متفاوت است یا این لحظه‌اش با لحظه دیگر فرق می‌کند، مورد نظر ما است.
برای انتخاب و یافتن بهترین Length (L) (تاکید می‌کنم بهترین L به معنای یافتن بهترین و دقیق‌ترین مدل پیش‌بینی است) مراحل زیر را انجام می‌دهیم.
 
1-  ابتدا داده‌های واقعی و مشاهده شده از کمیت X خود را به دست بیاورید. به عنوان مثال اگر می‌خواهید بر روی یک نماد بورسی یا BTC یا هر چیز دیگری کار کنید، ابتدا داده‌های گذشته آن را در یک فایل اکسل فراهم کنید.
 
2-  داده‌ها را به نرم‌افزار Minitab که در انجام تحلیل‌های سری زمانی، مناسب و تاحدی ساده است، انتقال دهید.
 
 
3-  در Minitab یک تحلیل میانگین متحرک یا همان Moving Average (MA) را انتخاب کنید. خوب است همین جا بگویم من در این متن سعی می‌کنم خیلی ساده حرف بزنم و از ساده‌ترین مدل صحبت کنم. البته که همین مدل ساده، بسیار هم راهگشا است.
 
4-  در Moving Average (MA) طول دلخواهی برای MA Length خود انتخاب کنید. پیشنهاد می‌کنم از عدد 1 شروع کنید. پس از آن از نرم‌افزار بخواهید خطاها یا همان باقیمانده Residuals مدل MA (1) را برای شما به دست بیاورد.
 
 
با انجام این کار در فایل دیتا، یک ستون اضافه می‌شود که در آن خطای مدل MA(1) به ازای هر تایم آمده است. یعنی شما به ازای هر تایم یک عدد واقعی، یک عدد پیش‌بینی شده و یک عدد خطای پیش‌بینی دارید. یعنی رابطه‌ی زیر
 
E(t) = O(t) – P(t)
 
در این فرمول E‌ یعنی خطا، O عدد واقعی و P عدد پیش‌بینی شده برای زمان t است.
واضح است که E می‌تواند مثبت و یا منفی باشد. خطای مثبت یعنی ما کمتر از مقدار واقعی پیش‌بینی کرده‌ایم و خطای منفی یعنی ما بیشتر از مقدار واقعی پیش‌بینی کرده‌ایم.
 
5-  مرحله بالا را بار دیگر و این بار MA Length را برابر با 2 قرار دهید. این بار یک مدل MA(2) ساخته‌ایم. یک ستون دیگر نیز به فایل دیتا اضافه شده که خطاهای مدل MA(2) به ازای هر تایم را نشان می‌دهد.
 
6-  فرایند بالا را به تعداد دلخواه (هر چقدر بیشتر بهتر) تکرار می‌کنیم. مثلاً K بار تکرار کرده‌ایم و در نهایت K ستون از خطاها در اختیار داریم. این کار را می‌توانیم با برنامه‌نویسی در نرم‌افزار Minitab، سریعتر هم انجام دهیم.
 
 
7-  خب، حال دوباره به سوال اصلی برگردیم. بهترین MA Length که بیشترین دقت و کمترین خطا را داشته باشد کدام است؟ برای پاسخ به این سوال باید ابزاری جهت قضاوت و انتخاب بهترین ستون از بین K ستون خطا داشته باشیم.
 
8-  یک راه ساده و کاملاً غلط میانگین گرفتن از خطاهای هر ستون و بعد مقایسه میانگین‌ها با یکدیگر است. ببینیم کدام ستون کمترین میانگین را دارد و آن را به عنوان بهترین ستون، یعنی همان L بهینه انتخاب کنیم.
 
واضح است که این کار غلط است. به دلیل اینکه خطاها مثبت و منفی هستند و میانگین گرفتن از آن‌ها، باعث می‌شود که همدیگر را خنثی کنند. یعنی اگر در یک تایم به اندازه +5 خطا کنیم و در تایم دیگر -5 میانگین گرفتن باعث می‌شود که خطای ما صفر شود و ما فکر کنیم مدل ما خیلی خوب است و اصلاً خطا ندارد. (در پرانتز می‌نویسم که این کار با کمال تاسف یکی از ده‌ها حقه آماری است که به شما نشان می‌دهد چقدر کار من خوب است و باید با تاسف بیشتری بنویسم که اساس فرمول و محاسبه شاخص بورس تهران نیز بر چنین حقه‌ای قرار دارد. از این مطلب بگذریم که فعلاً موضوع حرف من نیست.)
 
9-  هنگامی که می‌خواهیم ضرایب یک مدل رگرسیونی را براورد کنیم، بهترین روش برای براورد و یافتن ضرایب استفاده از تکنیک Ordinary Least Squares regression (OLS) است. من در این مقاله درباره‌ی این تکنیک توضیح داده‌ام.
 
ما در این تکنیک به براورد پارامترها بر مبنای خطاهای مدل می‌پردازیم. آن مدلی را هم بهترین می‌دانیم که مجموع توان دوم خطاها را مینیمم کند.
 
یعنی آن مدلی بهینه است که رابطه‌ی زیر برای آن برقرار باشد
To Minimize Sum {E(t)^2}
 
 
10- این معادله به بیان ساده به معنای این است که از خطاها میانگین نگیرید، بلکه ابتدا آن‌ها را به توان دو برسانید و سپس آن‌ها را با هم جمع کنید. با انجام این کار، به عنوان همان مثال خطای +5 و -5 میانگین خطا صفر است (که خب گفتم غلط است و ما در واقعیت هر دو بار مرتکب خطای به اندازه 5 واحدی شده‌ایم) اما با استفاده از رابطه‌ی بالا ما به اندازه 50 واحد خطا داشته‌ایم. 5^2 + 5^2
 
11-  به این ترتیب بیایید برای هر کدام از ستون‌های فایل دیتا که بیانگر خطای مدل MA بود، عدد مجموع توان دوم خطاها را به دست بیاورید. حال با خیال راحت می‌توان گفت بهترین MA Length که نشان‌دهنده دقیق‌ترین مدل پیش‌بینی است، آن ستونی است که مجموع توان دوم خطاهای آن از همه کمتر باشد.
 
 
اساس آنچه من در اینجا بیان کردم بر این واقعیت قرار دارد که گذشته چراغی است برای راه آینده. آنچه اعداد در زمان‌های قبل طی کرده‌اند و به اینجا رسیده‌اند، راهی است که آینده را به ما نشان می‌دهند.
 
 
 
#گمشده


فرض کنید یک نفر از خانه بیرون رفته و دیگر بازنگشته. او گمشده است.
چگونه او را پیدا می‌کنید؟
با خودش تماس می‌گیرید؟ آشنایان و دوستان را خبر می‌کنید؟ به پلیس اطلاع می‌دهید؟ به بیمارستان‌ها و کلانتری‌ها و ... سر می‌زنید؟ اطلاعیه و اعلامیه به دیوار می‌زنید؟ به روزنامه‌ها و در اینترنت خبر می‌دهید؟می‌روید خیابان و فریاد و داد بیداد می‌کنید که ای مردم، بچه‌ام، مادرم یا پدرم گمشده؟
چه می‌کنید؟

هدف نهایی آمار همین است. پیدا کردن گمشده، گمشده‌ها و آنی که نیست و غایب شده است.
این گمشده می‌تواند داده‌‌ای در گذشته و یا در آینده باشد. ما می‌خواهیم او را بیابیم. اکسیر زرگری و کیمیاگری آمار همین است. کشف گمشده گذشته و آینده.

به گراف‌های تصویر پیوست نگاه کنید.

گراف a). در این گراف یک داده گمشده است. آن را با علامت ضربدر مشخص کرده‌ام. هدف ما یافتن او است.

گراف b). از یک مدل رگرسیونی بهینه، بر روی داده‌های موجود استفاده می‌کنیم. Y = f (X) مدل مدنظر ما خواهد بود. پیش‌بینی و Predict مدل، نقطه قرمز رنگ است. پیش‌بینی خوبی است، اما دقیقاً همان داده گمشده ما نیست. ما در پیدا کردن آن خطا داشته‌ایم.

گراف c). به نظر می‌رسد رگرسیون به تنهایی کافی نیست. سری زمانی Time Series نیز لازم است. پس مدل خود را به صورت
Y = f (X,t)

گسترش می‌دهیم.

مدل به دست آمده، پنج نقطه را برای ما برازش می‌دهد. در اینجا پیش‌بینی‌ها دقیق‌تر است، منتهی ما به عنوان خواننده که از قبل نمی‌دانیم داده گمشده کدام است، با پنج نقطه برازش شده روبه‌رو هستیم.

مدل تعمیم رگرسیون و سری زمانی برای اینکه خطای پیش‌بینی خود در یافتن داده گمشده را کاهش دهد، تعداد نقاط برازش شده را بیشتر کرده است.

گراف d). به نظر می‌رسد به جای کار کردن با یک تابع f در مدل
Y = f (X,t)

چندین تابع خطی و غیرخطی دیگر را هم تست کنیم. در اینجا علاوه بر سری زمانی، چند f دیگر نیز به کار می‌بریم. نتیجه چندان قابل قبول نیست. تعدد f های تحلیل، حتی باعث شده است خطای ما بیشتر هم شود. به این نکته دقت کنید.

گراف e). داده‌های موجود را به دو گروه تقسیم می‌کنیم. با دایره و مثبت آن‌ها را مشخص کرده‌ایم.
همان مدل تعمیم سری زمانی و رگرسیون یعنی Y = f (X,t) را یکبار دیگر و این‌بار به ازای هر کدام از گروه‌های دایره و مثبت، برازش می‌دهیم.
نتیجه بهتر شده است. هر چند هنوز با چند گزینه روبه‌رو هستیم، با این حال خطای انتخاب کمتر شده است.

گراف f). مدل سری زمانی را کنار می‌گزاریم و دو مدل رگرسیونی جداگانه با استفاده از داده‌های موجود، به ازای هر کدام از گروه‌های مشاهدات (دایره و مثبت) به دست می‌آوریم.

یعنی Y1 = f1 (X1) و Y2 = f2 (X2).

نتیجه به دست آمده تا حدی خوب است. مدل هم برای f1 (مشاهدات مثبت) و هم برای f2 (مشاهدات دایره) داده‌های گمشده احتمالی را برازش می‌دهد.

در f1 مدل فکر می‌کند که دو نقطه مثبت که به دور آن‌ها دایره قرمز رنگ کشیده شده و همچنین خط کوچک قرمز رنگ، محدوده احتمالی داده گمشده باشند.

واضح است که مدل f1 اشتباه می‌کند و برای ما که می‌دانیم داده گمشده کجاست (از روی گراف a) یک برازش غلط به حساب می‌آید. داده گمشده اصلا، در محدوده f1 و داده‌های مثبت قرار ندارد.

در f2 مدل به دور چند دایره خط قرمز کشیده است. از نظر این مدل داده گمشده در همین حوالی باید قرار داشته باشد. از روی گراف a می‌دانیم که f2 تا حد زیادی پیش‌بینی درستی در یافتن داده گمشده داشته است.

خب، حال بیایید به اصل موضوع این متن ببردازیم.

من در اینجا از 5 مدل جهت براورد و پیش‌بینی داده گمشده استفاده کردم. خوب است واضح بگویم که اگر از 50 مدل یا 500 مدل دیگر هم استفاده می‌کردیم، نمی‌توانستیم رابطه و مدلی را بیابیم که همیشه و قطعاً درست بگوید. بنابراین چند نکته می‌نویسم.
1- همه‌ی این مدل‌ها که من در اینجا برخی از خوبترین‌های آن‌ها را آوردم، محدوده‌ای از پیش‌بینی درست همراه با مقداری خطا را خواهند داشت.

2- یافتن داده گمشده‌ای در گذشته و یا آینده یک فرایند احتمالی است. یعنی همه‌ی مدل‌های پیش‌بین دارای احتمال پیش‌بینی قطعا درست در بازه (0,1) هستند.

3- آمار در چند سال اخیر توانسته است مدل‌هایی بسازد که احتمال درستی آن‌ها در بازه (0,1] قرار بگیرد. یعنی مدلی که همیشه قطعاً غلط است. اما همچنان از ساختن مدلی با احتمال درستی در بازه [0,1] ناتوان است. مدلی که همیشه قطعاً درست باشد، هنوز ساخته نشده است.

4- احتمالاً ساختن مدلی که همیشه 100 درصد درست باشد (p=1)، از رهگذر مدل‌هایی که همیشه قطعاً غلط هستند (p=0) ساخته خواهند شد. چیزهای زیادی در این باره هنوز نمی‌دانیم.

5- در سال‌های متمادی رگرسیون‌ها و بعد از آن انواع مدل‌های سری زمانی که بسیاری از اندیکاتورها بر مبنای آن‌ها ساخته شده‌اند، مدل‌های خوبی بودند و مورد استفاده قرار می‌گرفتند.

در چند سال اخیر کاربرد دقیق آن‌ها زیر سوال رفته است. به جای آن‌ها استفاده از فرایندهای گروه‌بندی و دسته‌بندی کردن داده‌ها (مثال‌های ساده آن Cluster Analysis، PCA، PCR و ....) و پس از آن استفاده از مدل‌های رگرسیونی و سری زمانی پیشنهاد می‌شود. مبنای این پیشنهاد، همه‌ی داده‌ها را با یک چشم ندیدن، ساختن گروه‌های همانند در داده‌ها و مشابه‌سازی در داده‌ها است.

6- آنچه که آمار امروزه به آن رسیده است، رام کردن اسب سرکش تصادف و فرایندهای تصادفی است.

اغلب مدل‌های پیش‌بین و یافتن داده‌های گمشده (به خصوص آینده) دارای احتمال درستی در بازه (1, 0.5) هستند و p تابع توزیع برنولی آن‌ها عددی بزرگتر از 0.5 است (p > 0.5).

برخی از مدل‌ها که تعدادی از آن‌ها را من در این متن آوردم دارای احتمال درستی با p > 0.9 هستند. این البته گام بلندی به جلو است، اما با هدف نهایی آمار که کشف قطعی آینده است، فاصله بسیار زیادی دارد.