GraphPad
2.21K subscribers
483 photos
34 videos
36 files
292 links
Download Telegram
امروز بعدازظهر که مانند همه‌ی زمان‌هایی که از دست ریاضیات و آمار (و این روزها از دست کاپلان مایر Kaplan-Meier) خسته می‌شوم و به داستان و رمان پناه می‌برم، رمانی می‌خواندم از نادر ابراهیمی که نوشته‌های او را به اندازه محمود دولت آبادی و جلال آل احمد دوست دارم. در جایی از کتاب که در سال ۱۳۵۲ نوشته شده است، قهرمان داستان چنین می‌گوید

ما بدون زنان خوب، فقط مردان کوچکیم.
#آمار_فازی

اجازه دهید از این‌جا شروع کنم که منطق کلاسیک هر چیزي را بر اساس یـک سیستم دوتایی نشان می‌دهد. (مثبت یا منفی، درست یا غلط، سفید یا سیاه، شکست یا پیروزی، بیمار یا سالم)

ولی منطق فازي درستی هر چیزي را با یک عدد که مقـدار آن بین صفر و یک است نشان می‌دهد. به تفاوت بین تعریف منطق کلاسیک و فازی دقت کنید. منطق کلاسیک همه چیز را صفر و یک می‌بیند یعنی یک عدد گسسته و منطق فازی هر چیزی را بین صفر و یک می‌بیند یعنی عددی پیوسته.

مثلاً اگر رنگ سیاه را با عدد صفر و رنگ سفید را با عدد 1 نشان دهیم، آنگاه رنـگ خاکسـتري عددي نزدیک به صفر خواهد بود.

در منطق کلاسیک یا ارسطویی، یـک دسـته‌بنـدي درست و نادرست از هر چیزی وجود دارد. همه‌ی گزاره‌ها درست یا نادرست‌اند. اما در منطق فازي، گـزاره‌هـا مقـداري درسـت و مقـداري نادرسـت‌اند.

جالب توجه است که بدانیم نظریه‌ی سیستم‌هاي فازي در سال ۱۹۶۵ توسط یک ایرانی به نام لطفی علی عسکرزاده اردبیلی زاده (۴ فوریه ۱۹۲۱ – ۶ سپتامبر ۲۰۱۷) معرفی شد. منطق فازي، بیان می‌کند کـه ابهام در ماهیت علم است. (این جمله بسیار دقیق است، یکبار دیگر آن را بخوانید)

نظریه سیستم‌های فازی معتقد است که باید به دنبال ساختن مدل‌هایی بود کـه ابهـام را بـه منزله‌ی بخشـی از سیسـتم پذیرفت.
برخلاف سایر مدل‌ها که معتقدند باید تقریب‌ها را دقیق‌تر کرد تا پیش‌بینی‌ها با دقت بیشتری انجام شود.

خب، این مقدمه تقریباً طولانی را گفتم که توجه شما را به شاخه‌ای از آمار با نام آمار فازی و به ویژه رگرسیون فازی جلب کنم. رگرسیون فازی تقریباً در نقطه مقابل رگرسیون کلاسیک قرار گرفته است.

اکثر مطالعات پیشرفته پیش‌بینی قیمت سهام، یا هر چیز دیگری که در طول زمان حرکت می‌کند و کم یا زیاد می‌شود، در روش‌های کلاسیکی، چون ARIMA و یا SARIMA قرار می‌گیرند. (خودم هم فکر نمی‌کردم به روش‌های سری زمانی که در اوایل دهه ۱۳۸۰ از بهترین روش‌های پیش‌بینی بود، امروز روش‌های کلاسیک و قدیمی بگوییم. پیشرفت علم تحلیل داده‌ها در این 20 سال خیره‌کننده بوده است)

مدتها است روش‌هایی، چون شبکه‌های عصبی نیز برای پیش‌بینی قیمت سهام تعریف شده و استفاده می‌شوند.
با این حال اگر می‌خواهید یک گام جلوتر باشید روش‌های رگرسیون فازی
 Fuzzy Regression Analysis
 
در پیش‌بینی قیمت را مطالعه کنید.
#تلگرام

چند روز پیش داده‌های یک مطالعه (انجام شده در استان‌های سمنان و گلستان) برایم ارسال شده بود، به نظرم جالب بود. بخش‌هایی از آن را برایتان می‌نویسم.

محقق در این مطالعه 577 نفر را بررسی کرده بود که در بازار سرمایه و بورس فعال هستند. مطالعه نیز در بازه زمانی ابتدای پاییز تا ابتدای زمستان امسال انجام شده بود.

جهت بررسی نتایج از یک مدل رگرسیون لجستیک باینری
Binary Logistic Regression (BLR)

استفاده شد. جالب توجه بود که Odds Ratio مطالعه بیشتر از یک و برابر با OR = 1.47 به دست آمد.

یعنی احتمال به دست آوردن سود برای فردی که اپلیکیشن تلگرام ندارد 1.47 برابر بیشتر از فردی است که تلگرام دارد.

یک موضوع اساسی در هر مطالعه مقایسه‌ای (مانند این مطالعه) این است که کمیت‌های اصطلاحاً مخدوش کننده، Adjust شوند. یعنی مثلاً سن، جنسیت، درآمد، تحصیلات، شغل میزان فعالیت در بازار سرمایه، و .... در هر گروه با هم همانند باشد که البته در این مطالعه رعایت شده بود.

مطالعه گروه سومی هم داشت، افرادی که تلگرام دارند اما در هیچ گروه یا کانال بورسی عضو نیستند.

در اینجا از مدل رگرسیون لجستیک چندجمله‌ای
Multinomial Logistic Regression

استفاده شد. Odds Ratio این گروه، تقریباً همانند گروه بدون تلگرام (OR = 0.95) و بیشتر از گروه افرادی بود که در کانال‌ها و گروه‌های بورسی تلگرام عضو هستند (OR = 1.39).

به معنای این که احتمال سود در افراد دارای تلگرام (بدون عضویت در کانال و گروه) کمی کمتر و تقریباً مشابه با افراد بدون اپلیکیشن تلگرام و 1.39 برابر بیشتر از افراد دارای تلگرام (عضویت در کانال‌ها و گروه‌های بورسی)، به دست آمده است.

در تصویر زیر هیستوگرام همراه با منحنی نرمال Normal Curve هر گروه را که با نرم‌افزار تحلیل آماری Minitab به دست آمده، مشاهده می‌کنید.

https://astat.ir/wp-content/uploads/2023/01/Histogram-of-Telegram-GraphPad.ir_.png
معمولاً عادت کرده‌ایم و در اغلب کتاب‌های درسی آماری نیز چنین نوشته شده است، هنگامی که می‌خواهیم به مقایسه بین دو چیز (هر چیزی که قابل اندازه‌گیری است) بپردازیم، از آزمون‌‌های پارامتری T Test و یا معادل ناپارامتری آن‌ها مانند من-ویتنی یا ویلکاکسون استفاده کنیم.
 
اگر هم تعداد چیزهایی که می‌خواهیم با هم مقایسه کنیم بیشتر از دو تا است (مثلاً سه تا و بیشتر) از آزمون‌های آنالیز واریانس و یا کوواریانس یعنی انواع General Linear Model (GLM) ها استفاده کنیم.
 
این یک مطلب پذیرفته شده در همه جای دنیا است که خب همان‌گونه که گفتم در کتاب‌های درسی نیز چنین نوشته شده و سالیان سال بیان و تدریس می‌شود.
 
مدتی پیش من اثبات کرده بودم که حتی اگر می‌خواهیم دو چیز را با هم مقایسه کنیم، استفاده از آزمون‌های GLM نتایج یکسانی با استفاده از T Test می‌دهد. بنابراین با توجه به اینکه GLM ها دقیق‌تر و نتایج بیشتری نسبت به T Test می‌دهند، خوب است کاملاً T Test ها از بین رفته و جایگزین آن‌ها GLM ها شوند.
 
البته که اثبات من با مثال نبود (با مثال که نمی‌توان هیچ فرضیه یا قانونی را ثابت کرد) بلکه بر مبنای روابط ریاضی و فرمول‌های آماره‌های آن به دست آمده بود.
 
حدود پنج روز قبل تاپیکی در ریسرچ گیت با همین موضوع مطرح شده بود. لینک آن را در زیر ببینید.
 
https://www.researchgate.net/post/When_using_SPSS_is_there_a_difference_between_the_GLM-univariate_t_test_analysis_and_the_compare_means-independent_sample_t_test
 
طراح تاپیک و سوال کننده Jeanine Blumenau از دانشگاه Witwatersrand، است.

پاسخ دهندگان و ریکامند کنندگان Bruce Weaver  (یک استاد تمام آمار در دنیا با بیش از 8200 سایتیشن و مقاله استناد شده به او) از دانشگاه Lakehead کانادا،

دیگری Christian Geiser از آمریکا (سایت او را در اینجا ببینید، او از بهترین آماری‌های آمریکا و از متخصصان نرم‌افزار آماری Mplus در دنیا است)

همچنین David Eugene Booth از دانشگاه Kent State University آمریکا با بیش از 2600 مقاله استناد شده به او)

پاسخ دهنده دیگر در این تاپیک، Jos Feys از دانشگاه KU Leuven بلژیک با سایتیشن بیش از 440 مقاله استناد شده به او است.
 
در بین پاسخ دهندگان که در بالا نام بردم یک ایرانی (من) هم قرار دارد.
 
بهترین پاسخ و به قول ریسرچ گیت Best Answer این تاپیک در بین همه این عنوان‌دارهای جهانی که به شما گفتم، همان فرد ایرانی قرار گرفته است. پاسخ و اثبات او چه بوده را در ابتدای این پست نوشتم.
 
خب، حال این پست را نوشتم که چه بگویم؟ تعریف و تمجید آن فرد ایرانی را بگویم؟ البته که این‌گونه هم بوده هست.

منتهی اصل حرف من این نیست، بلکه می‌خواهم بگویم امروزه حتی قوانین و تئوری‌هایی که سال‌های سال در علوم پایه‌‌ای مانند آمار و ریاضی در کتاب‌ها و در همه‌ی دنیا تدریس می‌شوند و به کار می‌روند، دانه دانه در حال بازنگری، اصلاح و بهبود هستند.

بنابراین حتماً قوانین اجتماعی، رفتاری، اقتصادی و بسیاری چیزهای دیگر که به انسان و جامعه به روز شده، مربوط است، در اولویت بیشتر و بالاتری برای اصلاح، بازنگری و بهبود قرار دارند.
روز گذشته مجله
Drug Combination Therapy (ISSN 2624-3075)

که وابسته به انتشارات
 Talent of Magical Research

در نیوزلند است، متنی جهت همکاری و ارسال مقاله در شماره آینده ژورنال، برایم فرستاده بود.

صرفنظر از متن او که تصویر آن را برایتان ارسال کرده‌ام، به نظرم فرصت خوبی برای پژوهشگران و محققان علاقمند به موضوعات
Combination of Herbs and Chemicals, Combination of Herbs, Combination of Chemicals, Network Pharmacology , Combination Therapies of Infectious Diseases

است که مقالات و مطالعات خود را در آنجا چاپ و منتشر کنند.

در لینک زیر سایت ژورنال و ایمیل آن‌ها را مشاهده می‌کنید.

https://www.tmrjournals.com/dct/
psmr@tmrjournals.com
#همکاری

من در جلسه شماره 396 شورای رقایت حضور داشتم. موضوع جلسه که با حضور رئیس و اعضای جلسه برگزار شد یک مبحث آماری و به حدنصاب جمعیتی به ویژه در شهرهای محروم و کم برخوردار مربوط می‌شد.

علاقمند بودید در سایت شورای رقابت می‌توانید موارد مورد بررسی در جلسه شماره 396 و اسامی اعضای شرکت کننده را مشاهده کنید.
 
از این موضوع بگذریم و می‌خواهم توجه شما را به یک نکته دیگر جلب کنم.
در همه جلسات شورای رقابت و در هر موضوعی، نماینده خود سازمان، وزارت‌خانه و دستگاهی که موضوع جلسه است نیز شرکت دارد. یعنی این‌گونه نیست که اعضای شورای رقابت بنشینند و خودشان با خودشان تصمیمی بگیرند و رسانه‌ای کنند.
 
به عنوان مثال در همین موضوع اخیر خودرو، علاوه بر اعضای شورای رقابت، نمایندگان وزارت صمت، خودروسازها و سایر ذینفعان نیز حضور داشته و دارند. تصمیمی هم که گرفته شده (در همه مصوبات شورای رقابت همین‌گونه است) با حضور همین ذینفعان نوشته و اقدام می‌شود.
 
البته نه من سر و کاری با شورای رقابت دارم و نه آن‌ها را تایید و یا رد می‌کنم. موضوع این نیست.

موضوع این است آن شش صفحه‌ای که به عنوان مصوبه شورای رقابت در موضوع خودرو، رسانه‌ای شده تصمیم صرف خود شورای رقابت نبوده و تصمیم خودروسازها و از آن مهم‌تر وزارت صمت نیز هست.

بنابراین خیلی ساده بنویسم فریب این شلوغ بازی‌ها و سیاه‌کاری‌های رسانه‌ای که قبول نداریم و شکایت می‌کنیم و مصوبه را اجرا نمی‌کنیم، را نخورید. خود آن‌ها در نوشتن این مصوبه همکاری و نقش داشته‌اند.
یکی از پرتکرارترین سوالاتی که از من می‌شود این است که یک ایده مطالعاتی بدهید که روی آن کار کنیم.

مثلاً پایان‌نامه، مقاله و یا یک طرح تحقیقاتی بر مبنای آن بنویسیم.
 
پاسخی که من می‌توانم به این موضوع بدهم و تا آنجا که می‌دانم هنوز به عنوان یک موضوع حل نشده در تحلیل‌های آماری مطرح است، به دست آوردن فاصله اطمینان برای میانه بقا

Confidence Interval for Median Survival 
است.
 
میانه بقا Median Survival که از جمله موضوعات مطرح در آنالیز بقا است، بیانگر نقطه زمانی است که در آن احتمال بقا برابر با 50 درصد می‌شود.

اینکه آنالیز بقا Survival Analysis چیست را هم می‌توانید در این نوشته ببینید. البته در این زمینه کتاب‌ها و مطالب زیادی وجود دارد که علاقمند بودید مطالعه کنید.
 
درباره‌ی محاسبه خود میانه بقا، مشکلی وجود ندارد و روش‌های استاندارد زیادی در این زمینه کشف شده است.

اما آن چیزی که هنوز حل نشده است، محاسبه فاصله اطمینان برای میانه بقا است. البته در این زمینه سه مطالعه انجام شده است. من اسامی آن‌ها را برایتان نوشته‌ام.

1- One method is in Collett starting at page 35.

2- Brookmeer and Crowley , A confidence interval for the median survival time. Biometrics (1982) vol. 38 (1) pp. 29-41

3- Barker reviews several methods and points out how different their results can be. The Mean, Median, and Confidence Intervals of the Kaplan-Meier Survival Estimate—Computations and Applications. The American Statistician (2009) vol. 63 (1) pp. 78-80
 
منتهی نکته‌ای که وجود دارد این است که هیچ‌کدام از این سه روش استاندارد نیست، نتایج آن‌ها با هم کاملاً متفاوت است و نرم‌افزارهای تحلیل آماری هیچ‌کدام را به عنوان یک کار مناسب، قبول ندارند.
 
به هر حال این متن را نوشتم که چنانچه به مطالعات آماری علاقمند هستید و می‌خواهید یک کار در سطح بالای بین‌المللی انجام دهید، ابتدا به یادگیری و کار در زمینه آنالیز بقا، سپس میانه بقا و در مرحله‌ی بعد یافتن فاصله اطمینان برای میانه بقا، بپردازید.
من در این کانال بارها از مفهومی به اسم Combination Index (CI) حرف زدم. در روزهایی که از این مفهوم می‌نوشتم، گفتم که عدد این شاخص بالاست و نشان می‌دهد روندی که در بازار (همان روزها) رخ میدهد، مربوط به کاربران انسانی و یا حقیقی‌ها نیست.


با این حال امروز می‌خواهم به موضوع دیگری اشاره کنم. اندازه CI از حدود ابتدای آبان شروع به کاهش کرده است. به زبان ساده یعنی الگوریتم‌ها، ربات‌ها و ارکان برهم زننده بازار، فعالیت خود را به شدت کاهش دادند. نتیجه هم این شد که با یک بازار صعودی از همان ابتدای آبان تا تقریباً انتهای دی‌ماه روبه‌رو بودیم.


اما از ابتدای بهمن تا همین روزها با یک بازار نزولی روبه‌رو هستیم. سوال این است که وضعیت CI در این حدود یک‌ماه چگونه بوده است؟ آیا باز هم عدد CI افزایش پیدا کرده که روند بازار نزولی شده؟


باید بگویم پاسخ این سوالات منفی است. بازار برای معدود دفعات نزولی شده اما CI بالا نرفته است. این مطلب به معنای آن است که روند ریزشی رخ داده از طرف کاربران غیرانسانی، ارکان بازار و حقوقی‌های بزرگ رخ نداده است.


به عبارت دیگر بازار در یک روند صعودی قرار گرفته بود. سیستمی هم مانع آن نبود (بزرگ نبودن عدد CI این را نشان می‌دهد) اما چرا بازار منفی شد؟


پاسخ این سوال و این روند ریزشی ایجاد شده را باید معلول رفتار حقیقی‌ها و کاربران انسانی پشت سیستم نشسته دانست. این‌که آیا خود آن‌ها از این اتفاق سود کرده‌اند را هم باید منفی دانست. به نظر نمی‌رسد (حداقل شبیه‌سازی‌ها اینگونه نشان می‌دهند) عمده این حقیقی‌ها نفعی از این وضعیتی که خودشان باعث به وجود آمدنش شده‌اند، برده باشند و یا در آینده ببرند.


بیشتر این حقیقی‌ها در فکر این بودند که اصطلاحاً در سقف بقروشند و دوباره در کف بخرند. تا آنجا که به شبیه‌سازی‌ها مربوط می‌شوند آن‌ها در سقف نتوانسته‌اند بفروشند، به نظر هم نمی‌رسد بتوانند در کف بخرند. آنچه هم که در پایان نصیب آن‌ها خواهد شد این است که روند بازار را ریزشی کرده‌اند، به سهامداران ضربه زده‌اند و در انتهای بازی ای که خودشان شروع کرده‌اند، ارزش سبدهای آنها هم کمتر از عدد انتهای دی‌ماه و حتی اواسط دی‌ماه خواهد شد.
#صفر

نرم‌افزار Prism وقتی می‌خواهد درباره‌ی رگرسیون خطرات متناسب کاکس
Cox Proportional Hazards Regression

حرف بزند، از این عبارت استفاده می‌کند که این تحلیل پیچیده‌ترین و سخت‌ترین آنالیز موجود در Prism است.

نرم‌افزار به عادت همیشگی خودش وقتی می‌خواهد تحلیلی را بیان کند یک مثال از داده‌های واقعی بیان می‌کند.

مثالی نیز که Prism برای رگرسیون کاکس ارایه می‌کند مربوط به داده‌های یک مطالعه در پاکستان است. از این‌جا می‌توانید مقاله منتشر شده مطالعه را ببینید.

اگر می‌پرسید چرا پاکستان، باید بگویم الف) پاکستان در بسیاری زمینه‌ها یک کشور پیشرفته است و ب) مطالعه و داده‌های آن آنقدر جذاب و مبتنی بر اصول علمی انجام شده بود که شرکت آمریکایی سازنده Prism این مطالعه و داده‌های آن را به عنوان منبع درسی و آموزش رگرسیون کاکس در دنیا معرفی کرده است.

رگرسیون کاکس اصولاً تحلیلی بر روی مدت بقا و زنده ماندن افراد است. مطالعه نیز با نام
Survival analysis of heart failure patients

منتشر شده است و مربوط به افرادی است که دارای مشکلات و بیماری‌های قلبی هستند.

داده‌های اصلی رگرسیون کاکس را که نگاه می‌کردم، در کنار انبوهی از داده‌ها، ستونی داشت که بیانگر شغل، درآمد و کار افراد مورد بررسی است.

برخی از آن‌ها در گذشته و یا در همان زمان مطالعه حرفه‌ای داشتند که می‌توان آن را مشابه با همان مفهوم فعال در بازارهای مالی، سهام، اوراق بهادر، تریدر و چیزهایی مشابه آن دانست.

البته که هدف این مقاله بررسی این افراد نبود و من به صورت خاص، این بخش از افراد را از سایرین جدا کردم.

در گراف زیر می‌توانید منحنی بقا این افراد را در مقایسه با سایرین مشاهده کنید. فهم گراف سخت نیست و یک موضوع ساده را نشان می‌دهد.

افرادی که در یک کلمه می‌توان آن‌ها را تریدر نامید و با دنیای کندل‌ها سر و کار دارند، خیلی زودتر از دیگران، صفر می‌شوند و می‌میرند. آن‌ها حدود 10-9 سال زودتر از بقیه افراد، دچار بیماری‌های قلبی منجر به مرگ می‌شوند.

صرفاً این متن را امروز آن هم زمانی که شاخص کل بیشتر از 80 هزار واحد مثبت است، نوشتم که بگویم هر فردی خودش را بهتر از دیگران می‌شناسد. اگر فکر می‌کنید دنیای کندل‌ها از بورس و ارز دیجیتال و هر چیز دیگر مانند آن، قلب و ذهن شما را بیش از حد به تپش و استرس وا می‌دارد، آن‌ها را رها کنید.

البته که منظور من خروج برای امروز و فردا نیست. موضوع این است که این‌گونه بازارها به سلامت شما ضربه شدید می‌زنند، بنابراین هر زمان که فکر کردید مناسب است برای همیشه آن‌ها را ترک کنید.

https://graphpad.ir/wp-content/uploads/2023/02/Estimated-Survival-Cox-regression-scaled.jpg
منحنی بقا را که بیانگر مقایسه میزان بقا و زنده ماندن افراد فعال در بازارهای مالی نسبت به سایر افراد است را در گراف بالا، به صورت جداگانه آورده‌ام.
تقریباً دو سال پیش، مقاله‌ای در سایت گراف پد نوشتم و در آن یک روش ابداعی که شامل دو تکنیک تو در تو جهت نرمال کردن داده‌هایی که فاقد توزیع نرمال هستند، معرفی کردم.

ایده از خودم بود و تکنیک‌ها بر روی تابع توزیع احتمال داده‌های موجود، برقرار بود.

نتیجه هم عالی به دست می‌آمد و تقریباً بدون استثنا می‌توانست داده‌هایی که توزیع نرمال نداشتند را به داده‌هایی منظم و دارای توزیع نرمال تبدیل کند.
 
تا آن‌جا که بعد از نوشتن مقاله هم مطلع شدم و بازخوردها به من می‌رسید، مورد استفاده دانشجویانی که می‌خواستند کارهای آماری خودشان را انجام دهند و به دلیل نرمال نبودن داده‌هایشان به مشکل برمی‌خوردند، قرار گرفته بود و مشکل نرمال نبودن داده‌ها را حل کرده بود.
 
با این حال این روش چندان به مذاق برخی از اساتید خوش نیامد، به دلیل اینکه استفاده از این روش باعث می‌شد شاخه‌ای از علوم آماری با نام آمار ناپارامتری، تقریباً از دور خارج و بلااستفاده شود، از طرف دیگر سبب شده بود کار دانشجویان راحت شود و نخواهند زحمت زیادی برای تحلیل‌های آماری خودشان انجام دهند.
 
بازخوردها در بین دانشجویان مثبت و در بین برخی از اساتید منفی و گاهی اوقات هم با لحن تند بود. ایراد بیشتر تماس‌ها و ایمیل‌ها و پیام‌ها این بود که منبع و رفرنس این روش از کجاست و شما از کدام مقاله یا کتاب این روش را نوشته‌اید. من هم پاسخی نداشتم به دلیل اینکه اصلاً رفرنسی وجود نداشت و هر آنچه بود زاییده ذهن خود من بود.
 
تا اینکه چند ماه پیش ایده‌ای به ذهنم رسید. عین همان متن مقاله روش ابداعی نرمال کردن داده‌ها که به فارسی نوشته بودم را به انگلیسی نوشتم. زیر مقاله انگلیسی هم نوشتم نویسنده
 Dr. Johann David Weiss

(هنگامی که داشتم مقاله را از فارسی به انگلیسی تبدیل می‌کردم، تلویزیون کارتون خانواده دکتر ارنست را نشان می‌داد. من هم به ذهنم رسید نام نویسنده رمانی که این کارتون بر مبنای آن نوشته شده را به عنوان نویسنده مقاله انگلیسی بنویسم.)
 
در مقاله فارسی هم که در سایت گراف پد آمده است، نوشتم که رفرنس و منبع این روش ابداعی، مقاله‌ای از دکتر یوهان داوید ویس است. لینک هم دادم به مقاله انگلیسی که آن را هم خودم نوشته بودم.
 
به این ترتیب و بعد از آن حتی یک پیام، ایمیل و تماس هم نداشتم که این مقاله را شما از روی کدام منبع و مرجع نوشته‌ای.
نویسنده مقاله رفرنس یک فرد خارجی بود و متن مقاله رفرنس هم به انگلیسی نوشته شده بود. مشکل به سادگی حل شد.
 
من مدتی است با خودم فکر می‌کنم مشکل آن مقاله فارسی چه بود؟ آیا صرفاً به این دلیل که ۱- نویسنده خارجی نبود و ایرانی بود. ۲- مقاله انگلیسی نبود و فارسی بود؟

این را از این جهت می‌نویسم که هیچ فردی نیامد از آقای یوهان داوید ویس بپرسد که شما خودت این روش را از کجا ابداع کردی. من ایمیل این فرد فرضی که در واقع ایمیلی بود که خودم ساخته بودم را هم کنار نام نویسنده مقاله انگلیسی نوشته بودم، اما حتی یک ایمیل هم برای دکتر یوهان ارسال نشده است.
#سال_1402

من این متن را حدود 370 روز پیش نوشتم و در آن بیان کردم که امید ریاضی سود به ضرر در بازار سرمایه تهران برای سال 1401، نسبت 43 به 57 خواهد بود.

این مطلب یعنی اینکه پیش‌بینی کردیم یک فرد تصادفی، با احتمال 43% می‌تواند در بازار سود و با احتمال 57% ضرر کند.

اکنون که به انتهای سال نزدیک می‌شویم و نتایج را می‌بینیم، پیش‌بینی مدل‌های آماری تا حد زیادی درست بوده است و امیدریاضی مشاهده شده سود به ضرر 47 به 53 ثبت شده است.

خوب است به این اعداد دقت کنیم و آن را کنار اعداد فرضی شاخص کل و یا هم‌وزن قرار دهیم تا متوجه شویم واقعاً برای افراد فعال در بازار سرمایه تهران چه اتفاقی افتاده است. این نتیجه به سادگی نشان می‌دهد سال 1401 همان‌گونه که پیش‌بینی می‌شد یک سال منفی برای عمده افراد (میانه) بوده است و بسیاری با ضرر این بازار را ترک کرده‌اند.

برای پیش‌بینی سال آینده 1402 لازم است ابتدا چند نکته بنویسم.

1- ایده من این است که ما در همه بازارهای مالی یک ضریب ثابت داریم. نام آن را ضریب ثابت میانه می‌گزارم.
به عنوان مثال قیمت نماد (کالا یا هر چیز دیگری مانند طلا، تتر، ارز دیجیتال) را فرض کنید که در یک بازه زمانی مشخص (مثلاً سه ماه) دو برابر می شود و 100 درصد افزایش پیدا می‌کند.

سوالی که من قبلاً نیز در این نوشته به آن پاسخ دادم این است که عمده افراد (میانه) در این نماد چقدر سود کرده‌اند؟ واضح است که همه 100 درصد سود نکرده‌اند. این نماد در مدت سه ماه، معامله و دست به دست شده و از نظر تئوری حتی امکان دارد عده‌ای ضرر نیز کرده باشند.

پس میانه سود چقدر است؟ پاسخ عددی حدود 24.9% است. این مطلب یعنی اینکه میانه سود عددی حدود یک چهارم، ابتدا و انتهای تایم زمانی ما است.

این عدد ثابت در همه روندها خود را نشان می‌دهد. می‌توان اثبات کرد عدد دقیق آن حدود 4.09 است. یعنی مثلاً اگر نماد X در مدت فرضی t به اندازه P درصد رشد کند، میانه سود عدد p/4 خواهد بود. (البته این معادله کمی پیچیده‌تر است و به t نیز ربط دارد، منتهی من آن را برای فهم راحت‌تر، ساده نوشتم).

این رابطه به ما نشان می‌دهد مثلاً اگر بیت کوین، نسبت به روز گذشته خود 10 درصد مثبت شده، بدانیم میانه سود 10 درصد نیست و حدود 2.5 درصد است. یعنی نیمی ار افراد معامله‌کننده در این روز فرضی فقط حدود 2.5 درصد سود کرده‌اند.

جالب توجه است که در روندهای منفی این عدد ضریب ثابت کوچکتر و حدود 3.17 است. مثلاً اگر همان بیت کوین 10 درصد ریزش داشته باشد، میانه ضرر افراد تریدر 3.15% است.

این نتیجه، یک یافته ساده را نشان می‌دهد که در همه‌ی دنیا افراد به سود اجازه بزرگتر شدن نمی‌دهند، اما به ضرر اجازه بزرگتر شدن می‌دهند.

بنابراین یک قانون کلی را می‌توان اینجا نوشت.
در بازارهای مالی، سودها کمتر و ضررها بیشتر (در مقایسه با عدد سود) از آن چیزی است که در چارت‌ها دیده می‌شوند.

2- پیش‌بینی می‌شود بازار سهام در سال آینده یک توزیع از نوع
Heavy-Tailed Distribution

خواهد بود. برای درک این مطلب این‌گونه می‌گویم که ما در همه بازارهای مالی یک نظم و انظباط در دریافت سود و ضرر را مشاهده می‌کنیم. حدود 10 درصد افراد خیلی سود می‌کنند، همین مقدار خیلی ضرر می‌کنند و بقیه نیز در طیفی از رده‌های سود و ضرر قرار می‌گیرند. یعنی تقریباً توزیع داده‌های سود و ضرر به صورت نرمال پراکنده می‌شود.

توزیع Heavy Tail توزیعی است که دم‌های آن (سمت چپ و راست) آن ضخیم است. یعنی اگر قبلاً می‌گفتیم 10 درصد خیلی سود (دم سمت راست) و 10 درصد خیلی ضرر (دم سمت چپ) می‌کنند و 80% بقیه در این بین قرار می‌گیرند، برای سال 1402 باید بگوییم هر دو سمت راست و چپ، ضخیم و با فراوانی بالاتر خواهد بود.

مثلا برای سال 1402 باید بگوییم 20% افراد خیلی سود و 20% خیلی ضرر و 60 درصد بقیه نیز در طیفی از رده‌های سود و ضرر قرار می‌گیرند.

سعی می‌کنم در پست بعد به این سوال که در سال آینده چه عواملی می‌توانند ما را در بین افراد دم سمت راست و یا دم سمت چپ قرار دهند، پاسخ دهم.
در متن قبلی به این نکته اشاره کردم که پیش‌بینی می‌شود توزیع بازدهی در بازار سرمایه تهران از نوع دم ضخیم Heavy-Tailed Distribution خواهد بود.

از من سوالاتی شده بود که این خانواده از توزیع‌های آماری چه ویژگی‌هایی دارد. در پاسخ شما را به داده‌های امروز 6 فروردین ارجاع می‌دهم. من در تصویر زیر هیستوگرام بازدهی امروز همه نمادهای معامله شده را بیان کرده‌ام.

امروز یک نمونه و مثال مناسب از توزیع دم ضخیم بود. دو طرف هیستوگرام داده‌ها هم در سمت مثبت و هم در سمت منفی، دارای ستون‌های بلند (به معنای فراوانی داده‌ها) است. من آن‌ها را رنگی کرده‌ام.

یکی از ویژگی‌های دیگر توزیع‌های دم کلفت، عدم نرمال بودن داده‌ها است که امروز نیز این نتیجه به سادگی دیده می‌شد (KS = 0.064, P value <0.01).

به نظر می‌رسد از این به بعد روزهای زیادی خواهیم داشت که بازدهی، فاقد توزیع نرمال باشد و همان‌گونه که گفتم با یک بازار Heavy-Tailed Distribution روبه‌رو خواهیم بود.
علاقمند بودید از این لینک می‌توانید نتایج تحلیل داده‌ها در نرم‌افزار Minitab را دریافت کنید.

نکته دیگری که می‌خواهم در این‌جا به آن اشاره کنم، مطلبی است که بارها به آن پرداخته‌ام و آن شاخص کل است.

من و شما بهتر می‌دانیم که ما در یک فضای ذهنی برای خودمان حرف می‌زنیم و قرار نیست مثلاً اگر فرمول یا رابطه جدیدی پیشنهاد و ارایه می‌دهیم (این نوشته را بخوانید) موثر واقع شود و یا به کار گرفته شود.

میانه مفهومی است که در علوم حیاتی و آنچه که با جان انسان‌ها سر و کار دارد (مانند پزشکی و دارویی) بیشتر از هر پارامتر دیگری به کار گرفته می‌شود و دوستانی که در این رشته‌ها کار می‌کنند به خوبی و بیشتر از من با مفاهیمی مانند IC50، EC50 و یا LD50 که همگی میانه موثر هستند، سر و کار دارند.

آمار و تحلیل‌های آماری قرار داده شده در علوم اقتصاد، مالی و رشته‌هایی از این رده، به دلیل نزدیکی آن‌ها به سیاست، عمدتاً بر پایه نمایش، شو و پرزنت قرار دارند و به همین دلیل اکثر پارامترهای آماری قرار گرفته در این علوم، اریب Bias و دارای بیشترین واریانس براورد (خطا) هستند.

به بیان ساده‌تر این براوردها (که شاخص کل و یا هم‌وزن از انواع آن‌ها می‌باشند)، بله آماری هستند، دارای فرمول و رابطه نیز می‌باشند، منتهی در رده‌بندی براوردهای آماری در دسته جانبدارانه و دارای بیشترین خطا قرار می‌گیرند.

به عنوان یک مثال ساده، هر چهار پارامتر بازدهی امروز منفی است. میانه و میانگین بر مبنای آخرین قیمت به ترتیب 1.15- و 0.79- درصد و بر مبنای قیمت پایانی 0.29- و 0.52- درصد هستند. این فایل را ببینید.

این مطلب به بیان ساده و برای نزدیک شدن به ذهن خواننده یعنی اینکه، شاخص میانه برخلاف شاخص کل که حدود 20 هزار واحد مثبت را نشان می‌دهد، عددی حدود 23 هزار واحد منفی بوده است.

به همین دلیل است که وقتی در یک فرایند بلند مدت نگاه می‌کنیم شاخص میانه هنوز در محدوده اعداد 1.31 تا 1.35 میلیون واحد قرار دارد، اما همه جا پر می‌شود که شاخص کل بالای دو میلیون واحد قرار گرفته است.

https://graphpad.ir/wp-content/uploads/2023/03/Histogram-14020106-GraphPad.ir_.png
تحلیل بقا که به آن Survival Analysis گفته می‌شود، ابزار و روشی است جهت بررسی این مطلب که چگونه احتمال وقوع یک رویداد معین، با گذر زمان کم و یا زیاد می‌شود.

به این ترتیب ما در آنالیز بقا، با سه کلمه‌ی اساسی که تشکیل دهنده‌ی این نوع از تحلیل‌های آماری هستند، رو‌به‌رو هستیم. این سه کلمه عبارتند از

احتمال، رویداد و زمان.

احتمال و زمان که مفاهیم شناخته شده‌ای هستند. آنچه باقی می‌ماند واژه رویداد و پاسخ به این سوال است که شما می‌خواهید احتمال وقوع کدام رویداد وابسته به زمان را محاسبه کنید.

در اینجا ما با طیف وسیعی از رویدادهای مورد علاقه در علوم مختلف روبه‌رو هستیم. هر چند که آنالیز بقا همان‌گونه که از نام آن برمی‌آید در تحلیل‌های آمار پزشکی و حیاتی ریشه دارد، منتهی کاملاً قابلیت تطابق و استفاده در سایر علوم را نیز دارد.

من از روزهای ابتدایی زمستان سال گذشته تا انتهای دی‌ماه، نُه (9) جلسه کلاس در موضوع آنالیز بقا داشتم. در این جلسات از مفاهیم مقدماتی تا کار با نرم‌افزار Prism بیان شده است.

گراف پد متن نوشتاری و ویدئویی این کلاس‌ها را در سایت خود قرار داده است. علاقمند بودید آن‌ها را ببینید و مطالعه کنید.

جلسه اول. مفاهیم و تعاریف اساسی در آنالیز بقا

جلسه دوم. داده‌های سانسور شده Censored Data

جلسه سوم. نسبت خطر Hazard Ratio چیست؟

جلسه چهارم. تحلیل‌های کاپلان مایر Kaplan-Meier

جلسه پنجم. میانه بقا Median Survival چیست؟

جلسه ششم. خطرات Hazards و نرخ خطر Hazard Rate

جلسه هفتم. رگرسیون خطرات متناسب کاکس Cox Proportional Hazards Regression

جلسه هشتم. باقیمانده ها Residuals در رگرسیون خطرات متناسب کاکس

جلسه نهم. تنظیمات رسم نمودار ها Graphs در رگرسیون Cox
من در کانال گراف پد، درباره‌ی Heavy-Tailed بودن توزیع بازده سهام به ویژه برای سال 1402 صحبت کردم. می‌توانید این متن و همچنین این نوشته را ببینید.



چند روز پیش مقاله‌ای با عنوان

An alternative stochastic model for linear portfolios



مشاهده کردم که توسط دو نویسنده به نام‌های Ismet birbiçer و Ali I. Genc (این فرد در زمینه  elliptical distributions و ساختن توزیع‌های جدید آماری معروف است) از دانشگاه Cukurova University (ترکیه)، نوشته شده بود.



این مقاله به تازگی در ژورنال

Communications in Statistics - Simulation and Computation, Volume 52, Issue 4 (2023)



دانشگاه میشیگان آمریکا چاپ شده است.



در این مقاله به صراحت نوشته شده است که



Stock market returns often tend to follow a non-normal probability distribution due to extreme losses in the tails. These cause fatter tails than normal and consequently heavy-tailed probability distributions are mostly used for modeling returns.



خواندن این مقاله را که به مدل‌سازی ریاضی و آماری portfolio و بررسی هفت real stocks پرداخته است، به شما پیشنهاد می‌کنم.
از گذشته برای خودم سوال بود، هنگامی که شاخص به عدد سقف قبلی یعنی 2.1 میلیون در سال 99 برسد، وضعیت سبدها چگونه خواهد بود؟


برای پاسخ به این سوال من یک شبیه‌سازی با جامعه آماری حدود 80 هزار نفری انجام دادم. در این شبیه‌سازی میلیون‌ها حالت و ترکیب احتمالی متفاوت از خرید و فروش همه نمادها توسط این 80 هزار نفر شبیه‌سازی شده، بررسی شده است.


در این مدل، من دو گروه از افراد (سبدها) را کنار گذاشتم و از مطالعه خارج کردم.


1- آن‌هایی که به هر دلیلی در فاصله بین سقف قبلی 2.1 تا زمان رسیدن به همان عدد 2.1 میلیون، از بازار خارج شده‌اند و سبدهای خود را صفر کرده‌اند.

2- سبدهایی که صرفاً دارای عرضه اولیه‌های ارایه شده در بازه زمانی مرداد 99 تا فروردین 402 بوده‌اند.


در گراف زیر توزیع فراوانی بازدهی سبدهای 80 هزار نفر شبیه‌سازی شده، هنگامی که شاخص دوباره به سقف قبلی خود بازگشته است، ارایه شده است. چند نکته درباره‌ی آن نوشته‌ام.


الف) 78.15 درصد افراد دارای سبدهای با ارزش کمتر از دفعه قبل هستند. به عبارت ساده، شاخص به جای خود بازگشته منتهی برای حدود 78 درصد افراد، ارزش سبدها به جای خود بازنگشته.


ب) 11.29 درصد افراد، سبدهایی با افت بیشتر از 50 درصد را تجربه می‌کنند.


پ) برای 7.43 درصد افراد، ارزش سبدها بیشتر از 50 درصد، نسبت به زمانی که شاخص 2.1 میلیون بوده، رشد داشته است.



https://graphpad.ir/wp-content/uploads/2023/04/Histogram-of-Data-GraphPad.ir_.png
الف) فرض کنید n نفر فرضی (مثلاً ۱۰۰۰ نفر) روز دو‌شنبه ۲۰ مرداد سال ۱۳۹۹ و بر روی شاخص ۲.۱ میلیون، برای اولین بار وارد بازار سرمایه شده و به تصادف سهام می‌خرند. چه نمادهایی و به چه مقدار مهم نیست.
 
سپس پی کار خودشان می‌روند و کاملاً فراموش می‌کنند که وارد بازار شده و سهام خریده‌اند. ما به این افراد، گروه غیرفعال می‌گوییم.

فرض کنید این افراد در روز سه‌شنبه ۱۵ فروردین ۱۴۰۲ که شاخص دوباره به عدد ۲.۱ میلیون رسیده، سبد خود را نگاه می‌کنند. چه اتفاقی برای سبد آن‌ها افتاده؟
 
واضح است که هر کدام عملکردی دارند. یکی ارزش سبدش دو برابر شده، دیگری نصف دفعه قبل هم نیست و یکی دیگر مثلاً ۲۰ درصد در ضرر است.
 
سوال این است که عمده (میانه) افراد غیرفعال چگونه هستند؟
پاسخ این است که یک براورد فاصله‌ای Confidence Interval از اختلاف بین ارزش سبد این افراد در روز ۲۰ مرداد ۹۹ با ۱۵ فروردین ۴۰۲ نشان می‌دهد، میزان ضرر آن‌ها در یک بازه (۱۷-۱۵) درصد قرار دارد.
 
این بازه را می‌توان انحراف خالص شاخص از خودش نامید و البته موضوع بحث من در این نوشته نیست.
 
بنابراین به عبارت ساده، ارزش سبد میانه افرادی که در روز ۲۰ مرداد ۹۹ وارد بازار شده‌اند و سپس فعالیتی در بازار نداشته و خربد و فروشی انجام نداده‌اند، نسبت به روزی که شاخص دوباره در روز ۱۵ فروردین ۴۰۲ به عدد قبلی بازگشته، ۱۵ تا ۱۷ درصد کمتر شده است.
 

ب) ۱۰۰۰ نفر فرضی دیگر را در نظر بگیرید که آن‌ها هم دقیقاً مانند گروه الف) در روز دو‌شنبه ۲۰ مرداد سال ۱۳۹۹ و بر روی شاخص ۲.۱ میلیون، وارد بازار شده‌اند. آن‌ها هم به تصادف نمادهایی را خریداری کرده‌اند.
 
منتهی برخلاف گروه قبلی در بازار حضور فعال داشته‌اند. به این معنا که بر مبنای منطق و دلیل خودشان در بازار خرید و فروش می‌کردند. از نماد X به نماد Y و از Y به Z و همین‌طور نمادهای دیگر.
 
سوال این است، مقدار ارزش ریالی سبد این افراد در روز سه‌شنبه ۱۵ فروردین ۱۴۰۲ که شاخص دوباره به عدد ۲.۱ میلیون رسیده، چگونه است؟
 
پاسخ به این سوال در متن قبلی و گراف آن دیده می‌شود. پیک و نقطه اوج گراف را نگاه کنید. در یک مدل شبیه‌سازی، نشان داده شد که میانه افراد در ضرر حدود (۲۶-۲۴) درصد هستند.

 
من در گراف زیر، توزیع احتمالی انحراف سبد افراد هم در گروه الف) غیرفعال و هم در گروه ب) فعال را رسم کرده‌ام. این گراف نشان می‌دهد، میانه افراد غیرفعال، در ضرر حدود ۱۶ درصد و میانه افراد فعال، در ضرر حدود ۲۵ درصد هستند.
 
در این زمینه بیان چند نکته ضروری است.
۱- این‌گونه نیست که همه‌ی ۱۰۰۰ نفر فرضی غیرفعال دارای نتیجه بهتری از همه ۱۰۰۰ نفر افراد فعال هستند. این نتیجه ساده را میتوان از همپوشانی دو گراف زیر نیز به دست آورد.

در این تحلیل، ما از میانه‌ها یعنی عمده افراد حرف می‌زنیم و نتیجه ساده هم این است که بیشتر افراد غیرفعال دارای نتیجه بهتری نسبت به افراد فعال هستند.


۲- طبیعی است که فکر کنیم همه افراد فعال، در هر موقعیت خرید یا فروش در فاصله زمانی (مرداد ۹۹ تا فروردین ۴۰۲) که قرار گرفته‌اند، بر این نظر بوده‌اند که کار درستی انجام می‌دهند و ترید آن‌ها منجر به عملکرد بهتری برایشان خواهد شد.

با این حال آنچه در پایان داستان به دست آمده این است که عمده افراد (میانه) چنانچه کاری نمی‌کردند، نتیجه بهتری به دست می‌آوردند.
 
https://graphpad.ir/wp-content/uploads/2023/05/Deviation-of-Data-GraphPad.ir_.png
 
 
من در این متن نوشتم که میانه انحراف ارزش سبد افراد فعال در بازار سرمایه از 20 مرداد 99 تا 15 فروردین 402 (نقطه‌ای که شاخص دوباره به عدد خود بازگشته است) در بازه (26-24) درصد منفی قرار دارد. همین عدد یعنی میانه انحراف ارزش سبد برای افراد غیرفعال در بازه (17-15) درصد منفی قرار گرفته است.

بنابراین به بیان ساده، شاخص در روز 15 فروردین 402 به مقدار 2.1 میلیون سقف قبلی خود بازگشته بود، با این‌حال ارزش سبد میانه افراد (چه فعال و چه غیرفعال) همچنان منفی بود.

حال یک سوال مهم از خودمان بپرسیم و سعی کنیم به آن پاسخ دهیم.
عدد شاخص تا چه اندازه باید جلوتر می‌رفت تا ارزش سبد میانه افراد از مقدار منفی خارج و اصطلاحاً سربه‌سر شود؟ عدد خالص شاخص بدون انحراف، جهت سربه‌سر شدن ارزش سبدها، چند بوده است؟

نکته‌ای که وجود دارد این است که شاخص کل از روز 15 فروردین 402 تا شنبه 16 اردیبهشت، به عدد 2.53 میلیون واحد رسیده بود یعنی حدود 19.6% افزایش.

جالب است که بدانیم شاخص میانه در این مدت عملکرد بهتری از شاخص کل داشته است و مقدار افزایش آن حدود 22.7 درصد بوده است.

خب، اینها یعنی چه؟
یعنی اینکه شاخص کل و بازار سرمایه صرفاً تا آن‌جایی جلو رفته که در لبه‌های مرز سربه‌سر شدن ارزش سبد میانه افراد فعال (و کمی جلوتر از افراد غیرفعال) نسبت به مرداد 99 قرار گیرد. شاخص جلوتر از این لبه‌ها حرکت نکرده و نرفته است.

به عبارت دیگر، عدد دقیق شاخص کل، برای رسیدن به ارزش سبد سربه‌سر با مرداد 99، برای میانه افراد، مقدار 2.57 میلیون واحد بوده است، که خب شاخص تا نزدیک‌های این عدد رسیده و سپس بار دیگر ارزش سبدها را منفی کرده است.

من از بیان این موضوع می‌خواهم به دو نتیجه برسم.

الف) عدد 2.53 تا 2.57 میلیون واحد، مقداری برای شاخص کل بوده است که میانه افراد به ارزش ریالی سربه‌سر سبد خود نسبت به مرداد 99 رسیده‌اند. البته نقش این افراد در ریزش 200 هزار واحدی این دو روز چندان برجسته نیست.

ب) من در این متن که آن را در مرداد سال 401 نوشتم، بیان کردم که انتهای هنر بازارساز، کار کردن و تحلیل با اکسل است.
با این حال این‌بار و در اردیبهشت سال 402 باید بنویسم که بازار ساز از فضای ساده‌لوحانه اکسل فاصله گرفته و عدد دقیق سربه‌سر شدن میانه افراد را به درستی تشخیص داده است.
تصمیم عامدانه ریزش با همان محدوده سربه‌سر شدن میانه افراد، تلاقی پیدا کرده است که البته ابزار مستندی در اختیار نداریم که بدانیم این تلاقی نتیجه یک برنامه‌ریزی بوده و یا اتفاقی تصادفی رخ داده است.
اگر این سوال را چند ماه پیش از من می‌پرسیدید با اطمینان زیادی می‌گفتم که این تلاقی حاصل یک اتفاق تصادفی بوده است. با این حال رفتار حرفه‌ای تیم بازارساز در این چند ماه، می‌تواند ذهنیت را به سمت یک برنامه‌ریزی سوق دهد.

اما آینده.
همچنان ایده من Heavy-Tailed بودن توزیع بازده سهام در سال 402 است. علاقمند بودید این نوشته و این نوشته را بخوانید.
غیرنرمال بودن داده‌ها، رفتار آونگی نمادها از مثبت بزرگ به منفی بزرگ و بالعکس، سود و ضرر زیاد برای تعداد افراد زیاد، عدم صفر بودن و یا نزدیک به صفر بودن بتای بازدهی سهام و بلکه مثبت بزرگ و منفی بزرگ بتای بازدهی، از ویژگی‌های این نوع خانواده توزیع‌های آماری می‌باشد.
در 21 March سال 2023 (اولین روز فروردین امسال) فردی به نام Chetna Chauhan از دانشگاه Los Andes کشور کلمبیا، سوالی در ریسرچ‌گیت مطرح کرد که زمینه‌ساز بحث‌های زیادی در میان پژوهشگران آماری دنیا قرار گرفت.

سوال او بر این مبنا بود که وقتی در آمار تئوری با نام قضیه حد مرکزی Central Limit Theorem وجود دارد که می‌گوید هنگامی که تعداد داده‌ها به اندازه کافی زیاد باشد، داده‌ها به سمت توزیع نرمال شدن، حرکت می‌کنند و همچنین روش‌هایی جهت نرمال کردن داده‌ها (داستان یکی از آن‌ها را من در این نوشته، بیان کردم)، بنابراین دیگر چه لزومی دارد که از آزمون‌های ناپارامتری که جهت تحلیل بر روی داده‌های غیرنرمال، ساخته و ابداع شده‌اند، استفاده کنیم؟

در این لینک می‌توانید سوال او و پاسخ‌ها را مشاهده کنید.

در این زمینه چند نکته وجود دارد.
1- چنانچه به مباحث آماری علاقمند هستید، لینک بالا را ببینید. این سوال توسط بهترین اساتید آمار حال حاضر دنیا مانند Jochen Wilhelm آلمانی و Bruce Weaver کانادایی و همچنین Daniel Wright آمریکایی پاسخ داده و یا ریکامند شده است.
2- قضیه حد مرکزی (CLT) در تحلیل بازده سهام، طراحی سبد بهینه و مدیریت ریسک، می‌تواند مورد استفاده قرار گیرد. در این زمینه می‌توانید این لینک و مقاله را ببینید. همه‌ی شبیه‌سازی‌هایی که من در کانال گراف پد از آن‌ها نام برده‌ام، بر مبنای این قضیه انجام می‌شود.

3- خوب است این نکته را بگویم که آنچه در معمولاً به عنوان نرمال سازی داده‌ها از آن یاد می‌شود، صرفاً چیزی به نام استانداردسازی داده‌ها است. نرمال کردن داده‌ها فرایندی تا حدی پیچیده است و به معنای این است که تابع ریاضی و احتمالی داده‌ها از فرمول توزیع نرمال، پیروی کند و حداقل یکی از چهار آزمون اصلی نرمالیتی مانند کلوموگروف-اسمیرنف بیانگر نرمال بودن داده‌ها باشد.

4- قدیمی‌ترین متون مربوط به تحلیل‌های ناپارامتری مربوط به قرن 13 میلادی است. نوشته‌هایی مربوط به سال 1599 و یکی دیگر که به تحلیل نسبت جنسیت انسان در بدو تولد می‌پرداخت در سال 1710 نوشته شده است. این مطلب را از این جهت می‌گویم که بدانیم آزمون‌های ناپارامتری دارای قدمت و تاریخچه هستند و طرفداران خاص خود را در دنیای حتی امروزی آمار دارند. بنابراین وجود روش‌ها و تکنیک‌هایی که سبب شود آمار ناپارامتری حذف و یا بدون استفاده شود، برای آن‌ها مطلوب نخواهد بود.

سوال Chetna Chauhan کلمبیایی، جرقه‌ی مباحثی که البته چند سالی است مطرح شده را دوباره روشن کرد که اصولاً ما به آمار ناپارامتری و تحلیل‌های مرتبط با آن نیازی داریم و یا خیر، آیا آن‌ها باید برای همیشه حذف شوند؟

جهت پاسخ به این سوال که برای خود من هم ایجاد شده بود همان‌گونه که من در کنار سایر اساتید آمار تاپیک بالا در ریسرچ گیت، بیان کردم (در این لینک ببینید)، سبب شد که من روزهای فروردین سال 402 را به بررسی و مطالعه آزمون‌ها و تحلیل‌های ناپارامتری، بپردازم.

من 9 مقاله در این زمینه نوشته و در سایت گراف پد و ریسرچ گیت، منتشر کردم که در هر کدام از آن‌ها به توضیح و کاربرد آنالیزهای ناپارامتری پرداختم. اسامی این مقالات را در ادامه نوشته‌ام.

مقاله اول. تحلیل ناپارامتری من ویتنی Mann-Whitney

مقاله دوم. آزمون کروسکال والیس Kruskal-Wallis H Test

مقاله سوم. آزمون ناپارامتری Jonckheere-Terpstra

مقاله چهارم. تحلیل رتبه علامت دار ویلکاکسون Wilcoxon Signed-Rank

مقاله پنجم. آزمون ناپارامتری کوکران Cochran's Q Test

مقاله ششم. تحلیل ناپارامتری همگنی حاشیه ای Marginal Homogeneity Test

مقاله هفتم. آزمون ناپارامتری علامت Sign Test

مقاله هشتم. تحلیل ناپارامتری فریدمن Friedman Test

مقاله نهم. ضریب تطابق کندال Kendall's Coefficient Of Concordance (W)

چنانچه به موضوعات آماری علاقمند بودید آن‌ها را ببینید و بخوانید. نوشتن این مقالات و آشنا شدن بیشتر با دنیای آمار ناپارامتری سبب شد دیدگاه اولیه من که بر مبنای حذف و عدم کاربرد تحلیل‌های ناپارامتری در تحلیل داد‌ه‌های امروزی بود، اصلاح شده و دریابم که آنالیزهای ناپارامتری همچنان می‌توانند مفید، موثر و دقیق باشند.
#Trend

آیا ابزار و روش تحلیلی وجود دارد که برای ما یک عدد تولید کند و ما با استفاده از آن عدد بگوییم، روند و گام‌های بعدی داده‌ها صعودی – نزولی و یا فاقد روند (یکنواخت، ثابت) خواهد بود؟

پاسخ به این سوال مثبت است و می‌توان از تحلیلی با نام آزمون روند خطی
 Test for Linear Trend 

نام برد.

این آزمون هنگامی که با نرم‌افزار Prism انجام می‌شود، علاوه بر بررسی وجود روند خطی، وجود روند غیرخطی را نیز تست می‌کند.

خب، حال بیایید به خروجی‌های مهم Test for Linear Trend بپردازیم.

P-Trend

اولین یافته و شاید مهم‌ترین آن، یک مقدار احتمال P-Value است. دوستانی که با مباحث آماری آشنا هستند می‌دانند در هر تست آماری P-Value ها به عنوان ابزار قضاوت آماری قرار می‌گیرند و به ما می‌گویند یافته معنادار است و یا معنادار نیست.

به عنوان مثال در یک تحلیل همبستگی، عدد به دست آمده از P-Value به ما می‌گوید ارتباط وجود دارد و یا وجود ندارد و یا در یک تحلیل مقایسه‌ای به ما می‌گویند مشابهت و همانندی وجود دارد و یا وجود ندارد.


هنگامی که از
 Test for Linear Trend

 استفاده می‌کنیم به P-Value به دست آمده از این آزمون، اصطلاحاً P-Trend می‌گوییم.

عدد P-Trend همان عددی است که من در ابتدای متن از آن نام بردم. بیایید آن را بیشتر بشناسیم.
 
خوب است بدانیم P-Trend که همان P-Value سابق است، از جنس احتمال است و بنابراین به عنوان یک اندازه در بازه بین صفر و یک تعریف می‌شود. (دقت کنید هیچ‌وقت صفر و یا یک به دست نمی‌آید) P نوشته شده در ابتدای نام آن به معنای Probability است.

این اتفاق بسیار مثبتی است. از دیدگاه آماری هر پارامتری که از جنس Probability باشد، قابلیت این را دارد که در چارچوب علمی قرار گیرد و وارد دنیای تئوری احتمال که خود بسیار گسترده است، شود. (در واقع ریشه تفاوت میان ریاضی و آمار همین است. ریاضیات به دنیای قطعیت و حتمیات می‌پردازد و آمار به دنیای احتمالات.)


گفتیم که P-Trend عددی احتمالی و در بازه صفر تا یک است. این عدد هرچقدر به یک نزدیکتر باشد به معنای عدم وجود روند در داده‌ها (پیش‌بینی ثابت و یکنواخت شدن) و هر چقدر به صفر نزدیکتر باشد به معنای ایجاد روند در داده‌ها (پیش‌بینی صعودی یا نزولی شدن) خواهد بود.

به عنوان مثال اگر P-Trend = 0.71 به دست بیاید، پیش‌بینی می‌کنیم داده‌ها با احتمال 71% فاقد Trend خواهند بود و با احتمال 29% روند به خود می‌گیرند. به همین ترتیب برای هر عدد دیگر به دست آمده از P-Trend می‌توان چنین نتیجه‌ای به دست آورد.

Slope

اصولاً ما وقتی نام شیب Slope را می‌شنویم به یاد مدل‌های رگرسیونی و یا سری زمانی می‌افتیم. آزمون و روش تحلیل Test for Linear Trend که من در این متن به آن پرداختم، نوع خاصی از رگرسیون‌ها است که تخصص آن روندشناسی و درک وجود و ماهیت روند داده‌ها است.

تحلیل Test for Linear Trend عددی نیز برای Slope به ما می‌دهد. این عدد هرچقدر بزرگتر باشد به معنای وجود روند قوی‌تر در داده‌ها است. اعداد نزدیک به صفر برای Slope بیانگر عدم وجود روند در داده‌ها خواهد بود.

جهت محاسبه این شیب از کتاب زیر صفحات 952-940

Altman, D. G. 1991 Practical statistics for medical research.  Chapman and Hall


و همچنین کتاب زیر صفحات ۲۱۳-۲۱۲ و ۲۲۰-۲۱۹ استفاده می‌شود.

Sheskin, D. 2011 Handbook of Parametric and Nonparametric Statistical Procedures, Fifth Edition 5th Edition, Chapman and Hall/CRC
 
کتاب بالا حدود 970 صفحه است و من فایل PDF آن را در همان لینک قرار داده‌ام. علاقمند بودید به این کتاب‌ها می‌توانید مراجعه کنید.
 
همان‌گونه که بالاتر اشاره کردم نام این روش تحلیل
 Test for Linear Trend

 است. با این حال هنگامی که با نرم‌افزار Prism انجام می‌شود، علاوه بر روند خطی، روند غیرخطی (شاید بتوان نام آن را Test for Nonlinear Trend هم گذاشت) را هم بررسی می‌کند و به ازای هر کدام P-Trend جداگانه ارایه می‌کند.

من در لینک زیر سایت گراف پد سعی کرده‌ام به این آزمون و معرفی سایر پارامترهای آن بپردازم.

https://graphpad.ir/test-for-linear-trend-prism/