GraphPad
2.21K subscribers
483 photos
34 videos
36 files
292 links
Download Telegram
راستش صادقانه می‌خواستم یک نکته‌ای را بگویم. 👇

گراف پد یک کانال بورسی نیست.

بلکه فقط یک کانال آماری است که سعی می‌کنه در حد بضاعت خودش به آموزش نرم‌افزارها و کاربردهای آماری بپردازد.

اما اینکه چه چیزی باعث می‌شود داده‌های بورس برای آمار جذاب باشد، صرفنظر از کسب درآمد و سودآوری، وجود داده‌های پویا و زنده‌ای است که در جلوی چشم آمار و به ویژه مباحث سری زمانی Time Series آن خودنمایی می‌کنند.

باید اعتراف کنم که این حجم از داده‌های زنده، در هیچ علم و دانش دیگری، به وسعت و گستردگی داده‌های بورسی که در هر ثانیه ثبت می‌شوند، وجود ندارد.

به خاطر همین رقص داده‌هاست که آمار سعی می‌کنه با ابزارهایی که در اختیار دارد، گوشه‌ای از کار را بگیرد و در این بازی شریک شود.
انواع روشهای آماری که طیف وسیعی هم دارند، مثل آدمهایی می‌مانند، که هیچ فردی با اونها دوست نمیشه، در حالی که خیلی خوبند و توانایی‌های زیادی دارند.
🔆 یکی از Following های من در ریسرچ گیت، Yoshinori Ohsumi محقق ژاپنی است.

🔸 او برنده جایزه نوبل پزشکی و همچنین جوایز معتبر بین‌المللی Kyoto Prize Laureate و Breakthrough Prize Laureate است.

🔸 در محافل عمومی و پژوهشی کشورهای مسلمان نیز به دلیل نوشتن مقاله‌ای بسیار معتبر و دقیق با موضوع تاثیر مثبت روزه بر سلامت فرد روزه دار، که با همکاری Tokyo Institute of Technology نوشته شده، شناخته شده است.

🔸 چند روز پیش مقاله‌ای توسط او منتشر شده که برخی از روشهای آماری نه چندان پیچیده در آن به کار رفته است. علاقمند بودید می‌توانید در لینک زیر مقاله او را مشاهده کنید.

https://www.researchgate.net/publication/344896523_Atg9_is_a_lipid_scramblase_that_mediates_autophagosomal_membrane_expansion

🔸 خواندن مقاله را به افرادی که علاقمند به مشاهده کاربردهای علوم آماری هستند، پیشنهاد می‌کنم.

🔸 در لینک زیر نیز می‌توانید پروفایل
Yoshinori Ohsumi
در ریسرچ گیت را ببینید.

https://www.researchgate.net/profile/Yoshinori_Ohsumi
🔆
#پالایش_یکم

راستش روند و رفتار مدل معاملاتی این نماد آنقدر جذاب و جالب بود، حیفم آمد چیزی ننویسم. حداقل به عنوان یک کار پژوهشی.

🔸 به نظرم مدل Time Series این نماد اصطلاحا لبه دار خواهد بود. به زبان ساده یعنی اینکه می‌توان خوب خرید و خوب فروخت و این روند را بارها و بارها تکرار کرد.

در این‌گونه مدل‌ها پیشنهاد این نیست که بخرید یا بفروشید، بلکه پیشنهاد این است که هم بخرید و هم بفروشید. با این حال، فاصله زمانی بین خرید و فروش نه خیلی کوتاه باید باشد و نه خیلی بلند.

🔸 مدل سری زمانی نماد به شدت روان است. در آن هیچ عامل و فاکتور غیر انسانی و یا دست پشت پرده‌ای دیده نمی‌شود. این موضوع را من در سری زمانی هیچ نماد دیگری ندیده‌ام.

به عنوان مثال آنچه که این روزها در #شستا دیده می‌شود، به وضوح عامل غیرانسانی است. اسم آن را می‌توان هر چیزی گذاشت، ربات، الگوریتم، برنامه‌نویسی یا هر چیز دیگر. من اسم آن را عامل X می‌گذارم.

سوال. هدف این عامل X چیست؟
پاسخ. خیلی ساده، زورگویی. ما در آمار و در طراحی یک مدل، مفهومی داریم به نام

Force the line to go through (x,y)

به زبان ساده یعنی اینکه مدل بیچاره را مجبور می‌کنیم، از نقاطی که موردنظر من است، عبور کند. حتی اگر اصلا این نقاط در داده‌های واقعی وجود نداشته باشد.

فایده این کار چیست؟
یک کلمه. ایده من تایید می‌شود.

یعنی اینکه من به بیننده نشان می‌دهیم، ببینیم چقدر درست گفتم. روند سهم، همان است که من گفتم.
به نظرم رفتار سری زمانی #شستا یک پروژه است برای اثبات یک ایده، یا اثبات یک نوع تحلیل خاص.

نکته دیگر اینکه عامل X به نظر می‌رسد، تمام وقت مشغول به کار نیست و اجازه بازی کردن به عامل انسانی را تا حدی می‌دهد، با این حال به محض تلاش عامل انسانی جهت خروج از چارچوب، دوباره دست به کار می‌شود و روند حرکت را به همان ساختار طراحی شده، بر می‌گرداند.

🔸 روان بودن مدل #پالایش_یکم به نظر چندان طولانی نخواهد بود. با ورود فاکتورهای متعدد انسانی و احتمالاً همان عامل X که در بالا گفتم، از میزان پویایی آن کاسته خواهد شد. با این حال به شدت ابزار قضاوت خوبی جهت تشخیص قدرت و توان معاملاتی شما خواهد بود. اگر از آن، در مدت زمانی که همچنان روان است، سودهای خوبی گرفتید پس شما تریدر خوبی هستید و اگر نتوانستید از آن سودهای خوبی بگیرید، خب، خیلی ساده، شما تریدر خوبی نیستید.
🔆 #نرم‌افزار

🔸 سال ۱۳۸۲ و در دوره لیسانس که گروه آمار دانشگاه شهید چمران اهواز بودم، پروژه درسی سری زمانی داشتم درباره قیمت سکه طلا. بررسی یک روند بلند مدت از گذشته تا سال ۸۲ و یافتن عوامل موثر بر قیمت سکه. هدف مطالعه نیز به دست آوردن مدلی بود که با استفاده از آن بتوانیم به پیش بینی آینده قیمت سکه بپردازیم. پروژه درسی بود و هر کدام از دانشجویان برحسب علاقه یک موضوع انتخاب می‌کردند.

🔸 من در این پروژه ابتدا با استفاده از تحلیل عاملی Factor Analysis حدود چهل عامل اثرگزار را بررسی کردم و سپس همه این عوامل را در هفت عامل مهمتر خلاصه کردم، در نهایت نیز با استفاده از مدل‌های سری زمانی موجود، بین قیمت سکه و آن هفت عامل یک مدل و رابطه به دست آورده بودم.

🔸 در هر مدل آماری مهمترین یافته اندازه عددی R Square است.
توضیح کوتاه اینکه R Square عددی بین صفر تا یک است و هر چه به یک نزدیکتر باشد، نشان می‌دهد، مدل به دست آمده قدرت و توانایی بیشتری جهت پیش بینی دارد.
عدد R Square مدل من خیلی بالا و برابر با 0.971 بود.
این یعنی اینکه مدل به اندازه ۹۷ درصد توانایی پیش بینی آینده را داشت. خیلی عالی بود.

🔸 آن روزها نرم‌افزارها چندان پیشرفته نبودند و به دست آوردن یک مدل خوب ربطی به آنها نداشت، قطعا به توانایی علمی من هم که تازه کلاس سری زمانی داشتم با دکتر رحیم چینی پرداز که آن روزها استاد تمام دانشگاه اهواز بود، ربطی نداشت.

🔸 خوب بودن مدل به دست آمده فقط و فقط به نظم و انظباط درونی داده‌ها، عدم وجود داده‌های پرت در آنها و از همه مهمتر عدم وجود عوامل مخدوش کننده، مربوط می‌شد.

🔸 اما این روزها.
نرم‌افزارها بسیار بهتر شده‌اند، اگر آن روزها در سال ۸۲ ما با ورژن ۱۰ نرم‌افزار SPSS یا ورژن ۷ نرم‌افزار Minitab کار می‌کردیم و خیلی از کارها را نرم افزارها نمی‌توانستند انجام دهند، اکنون SPSS ورژن ۲۶ شده و Minitab ورژن ۱۹ و بسیاری از کارها را نیز می‌توانند انجام دهند، اما چه شده که ضریب تعیین و یا همان R Square مدل‌ها اینقدر پایین آمده.
امروزه یک مدل آماری در بهترین حالت R Square بیشتر از ۸۰ درصد در مطالعات اقتصادی و برآورد قیمت به دست نمی‌دهد.

🔸 برای پاسخ به این سوال، همان نتایج و داده‌های سال ۸۲ را نگاه می‌کردم. وقتی ما می‌خواهیم یک مدل آماری برازش دهیم، نرم‌افزار برخی از نقاط و داده‌ها را به عنوان داده پرت Outlier شناسایی می‌کند. به معنای اینکه اینها به درد نمی‌خورند و بهتر است از مطالعه خارج شوند. این داده‌ها مخدوش کننده بوده و اندازه درست بودن مدل را کاهش می‌دهند.
در مدل و داده‌های سال ۸۲ که به بررسی روند قیمت سکه طلا از گذشته تا سال ۸۲ می‌پرداخت، تعداد داده‌های پرت بسیار کم بود. داده‌ها در یک نظم ریاضی حرکت می‌کردند، برای همین یافتن مدل آماری آنها چندان پیچیده نبود.

🔸 اما این روزها. فرض کنید بخواهیم برای سهم X در بورس تهران و یا همان قیمت سکه، مدل آماری برازش دهیم.
چه پیش می آید؟
همان ابتدای کار، نرم‌افزار ورژن ۱۹ مینیتب، Error می‌دهد که چه خبرتونه، حداقل نیمی از داده‌ها، اصطلاحا Outlier و پرت هستند و باید به عنوان مخدوش کننده از مطالعه کنار گذاشته شوند. به بیان ساده یعنی اینکه روند اعداد از دیدگاه یک ابزار کامپیوتری پیشرفته نیز منطقی نیست.

🔸 و در پایان
لطفاً کمتر داده پرت تولید کنید، صدای نرم‌افزارها هم در آمده.
🔆 General Linear Model

🔸 تا چند سال پیش، آمار و علوم آماری به دو شاخه و گروه اصلی تقسیم می‌شد، که هر کدام پژوهشگران و پیروان خاص خود را داشت. آنها به شرح زیر بودند.

🔸 الف) مقایسه گرایان.
در دیدگاه و متد علمی این افراد، همه مطالعات آماری را میتوان با مقایسه و Compare پاسخ داد. آیا دو یا چند چیز شبیه به هم هستند؟ روند حرکتی اعداد متفاوت است؟ کدام بیشتر است کدام کمتر؟ آنها همه سوالات را با آزمون‌های Compare پاسخ می‌دادند. آنقدر هم بزرگ شدند که در درون خودشان شاخه بزرگ دیگری با نام آمار توزیع آزاد یا آمار ناپارامتری ایجاد کردند.

🔸 ب) ارتباط گرایان.
از دیدگاه این افراد، همه مطالعات آماری و علمی با روشهای ارتباط سنجی و یافتن اندازه تاثیر، قابل پاسخ است. بالا و پایین شدن یک یا چند چیز، بر کم و زیاد شدن چیز دیگر چقدر موثر است؟ رابطه بین Variable ها چگونه است؟ a بر روی b چقدر اثر دارد؟ از نظر این افراد همه سوالات با روشهای ارتباطی مانند همبستگی ها، رگرسیون ها و توابع قابل پاسخ بود.

بین این دو گروه رقابت سختی در جریان بود.

🔸 تا اینکه
General Linear Models

و به اختصار GLM ها یا به قول پژوهشکده آمار مدل‌های خطی عام، متولد شد. تفسیر و توضیح آن بسیار جالب توجه بود.

🔸 قبل از کشف GLM، حتی سری زمانی Time Series نیز با آن همه ادعا، تسلیم ارتباط گرایان شده بود.
رگرسیون او را تسلیم کرده بود. اما رگرسیون چه بود؟ خیلی ساده
Y = f (X)

یعنی برای پیش بینی y و یافتن چگونگی تاثیر xها بر y از یک تابع مانند f استفاده کنیم. همین.

رگرسیون به جای x در مدل بالا، گفت از t یعنی Time استفاده کنیم. به زبان ساده یعنی برای پیش بینی y از زمان و Time بهره ببریم. پس مدل اینگونه شد
Y = f (t)

به این ترتیب، علوم سری زمانی با همین ترفند ساده رگرسیون، در قلمرو ارتباط گرایان قرار گرفت.
تفسیر سری زمانی بسیار ساده شد. سری زمانی چیزی نیست جز یک مدل رگرسیونی، که به جای xها، t قرار می‌گیرد.

🔸 دوباره به GLM ها برگردیم. توضیح GLM شگفت آور بود. در یک کلام آنها می‌گفتند

همه چیز رگرسیون است.

روشهای GLM حتی آنالیزهای مقایسه میانگین و تحلیل‌های واریانس و کوواریانس که غول‌های بزرگ و بسیار پرکاربرد مقایسه گرایان بودند را به زیر کشیدند و آنها را در قالب یک مدل رگرسیونی تعریف کردند. تکلیف کوچکترهایی مانند T Test که معلوم بود.

🔸 با کشف GLM آمار دارای یک پادشاه شد.
رگرسیون Regression
و نوشته شد، همه چیز رگرسیون است.

حتی همبستگی و Correlation که به دنبال جای پایی در آمار برای خود بود، با تعریفی ساده از بتای ضرایب رگرسیونی، مشخص شد که آنها نیز نوعی رگرسیون هستند و بنابراین در مرتبه ای پایین تر از رگرسیون قرار گرفت.

🔸 اما GLM چیست؟
آنها به شانزده روش اصلی تقسیم بندی می‌شوند. من در سایت گراف پد
GraphPad.ir

در حال حاضر به بیان و توضیح شش روش پرداخته‌ام و آموزش ویدیویی و اسلایدی آنها را آورده‌ام. امیدوارم در آینده نزدیک بتوانم ده روش باقیمانده را نیز بنویسم و بگویم.

🔆 متن طولانی بود، ببخشید 🌹
#ایده
#پیش‌بینی_فردا_و_فرداها

بیایید یک ایده روی کاغذ داشته باشیم. فعلاَ روی کاغذ.

از یک سوال شروع می‌کنم. آیا امکان دارد در پایان هر روز بازار بورس، یک لیستی ارایه دهیم از تمام نمادهای معامله شده، به ترتیب اولویت و احتمال مثبت بودن فردا.

به بیان دیگر در این لیست، رتبه اول مربوط به نمادی باشد که بالاترین احنمال مثبت بودن فردا را دارد و به همین ترتیب تمام نمادها تا انتهای لیست، که در رتبه آخر نمادی قرار می‌گیرد که کمترین احتمال مثبت بودن فردا را دارد؟

پاسخ مثبت است. بله می‌توان در پایان هر روز، به هر نماد یک عدد نسبت داد که آن عدد بیانگر اندازه احتمال مثبت بودن فردا است.

اما چگونه؟ با چه ابزاری؟

سعی می‌کنم از پایه و مقدمات شروع کنم و بگویم. هر چند کمی طولانی است. اما پیشنهاد می‌کنم با دقت بخوانید.

در نوشته قبلی گفتم همه چیز رگرسیون است. پس از همان شروع می‌کنم.

رگرسیون چه بود؟ خیلی ساده.
Y = f (X)

به معنای اینکه با استفاده از تابعی مانند f و مشاهده و اندازه‌گیری X مقدار عددی Y را پیش‌بینی کنیم. در هر مدل رگرسیونی، X در اختیار ما است و ما آن را می‌بینیم و اندازه می‌گیریم اما Y در اختیار ما نیست و ما باید از روی X مقدار Y را به دست بیاوریم.

می‌خواهیم از همین ابزار استفاده کنیم تا به ایده خودمان برسیم. یعنی پیش‌بینی احتمال مثبت بودن نماد در بازار فردا. گام به گام پیش می‌رویم.

🔸 الف) Y چیست؟


از Y شروع می‌کنیم. به جای Y خیلی ساده P مخفف Probability قرار می‌دهیم. چرا؟ چون می‌خواهیم یک احتمال پیش‌بینی کنیم. احتمال مثبت بودن نماد در روز بعد.
پس مدل رگرسیونی زیر را خواهیم داشت.

P = f (X)

در این مدل X ها را که داریم و درباره آن‌ها در ادامه صحبت می‌کنم، اما f یا همان تابعی که قرار است X را به P مرتبط کند چیست؟

🔸ب) f چیست؟
بیایید درباره f حرف بزنیم. f از کجا ساخته می‌شود؟ چه تابعی قرار دهیم؟

برای پاسخ به این سوال، یکبار دیگر مدل رگرسیون را ببینیم.

Y = f (X)

در تئوری آماری اثبات می‌شود این‌که f چه باشد به جنس و ماهیت Y مربوط است. یعنی پاسخ به این سوال که از چه f ای استفاده می‌کنیم، به این برمی‌گردد اعداد Y چه هستند و چه جنسی دارند. چند مثال ببینیم.
۱) فرض کنید Y پیشامد Event رخدادن بیماری کووید ۱۹ باشد. قبلاَ در همین کانال نوشتم که به نظر می‌رسد که رخداد این بیماری دارای توزیع آماری پواسن Poisson باشد، امروزه این مطلب ثابت شده است. پس f ما در این مثال تابع پواسنی خواهد بود و مدل ما رگرسیون پواسنی.

۲) فرض کنید Y پیشامد فاصله زمانی بین دو زمین لرزه باشد. می‌دانیم فاصله بین دو زمین لرزه دارای توزیع آماری با نام نمایی Exponential است. پس f ما در این مثال تابع نمایی خواهد بود و مدل ما رگرسیون نمایی.

۳) بسیاری از پدیده‌های اطراف ما دو حالتی و اصطلاحاَ صفر و یکی هستند. یعنی یا رخ می‌دهد (یک) یا رخ نمی‌دهد (صفر). مثبت یا منفی، برد یا باخت، روشن یا خاموش، بیمار یا سالم. این پدیده‌ها و پیشامدها دارای توزیع آماری با نام برنولی Bernoulli هستند. ما در این پدیده‌ها به دنبال یافتن احتمال رخداد پیشامد هستیم. یعنی همان P که ابتدای متن از آن حرف زدم. ما در این نوشتار می‌خواهیم درباره این پدید‌ها حرف بزنیم.

یکبار دیگر مدل رگرسیونی که به مدل احتمالی تبدیل شد را ببینید.

P = f (X)

سوال ما این بود که در این مدل از چه f ای استفاده کنیم؟
تا اینجا به این نتیجه رسیدیم که پیشامدی که ما می‌خواهیم بررسی کنیم دو حالتی است، مثبت یا منفی. پس توزیع آن برنولی است. در تئوری آماری که البته چندان هم پیچیده نیست، نتیجه می‌شود وقتی توزیع پیشامد ما برنولی است، تابع f به صورت زیر خواهد بود. اسم آن را تابع لجستیک می‌نامیم.

f (X) = eX / (1+eX)

علامت / به معنای تقسیم است و X در توان e قرار دارد.
پس مدل احتمالی ما به صورت زیر خواهد بود.
P = eX / (1+eX)

در این مدل با استفاده از X که آن‌ها را می‌دانیم، مقدار P را به دست می‌آوریم.

در این‌جا دوست دارم دو نکته بگویم.

آ) احتمال، مادر آمار است. به این نکته توجه کنید که ما در ابتدا فقط دو عدد داشتیم، صفر (پیشامد رخ نمی‌دهد) یا یک (پیشامد رخ می‌دهد). اما حالا مدل احتمالی داریم. یعنی بی‌نهایت عدد از بازه (۱ . ۰). مثلا عدد ۰.۲۷ یعنی پیشامد با احتمال ۲۷ درصد رخ می‌دهد یا ۰.۶۳ یعنی پیشامد با احتمال ۶۳ درصد رخ می‌دهد و به همین ترتیب.

ب) احتمال یک اندازه است. همین کلمه اندازه و این تعریف، علوم آماری را دگرگون کرده و جرقه پیشرفت آمار شده است. از هواشناسی تا زمین‌شناسی در حیطه علوم آماری قرار دارد. از پاسخ مثبت به این سوال که آیا موجودات فضایی وجود دارند تا احتمال رخدادن زمین لرزه در کف اقیانوس‌ها چقدر است، در مفاهیم و کاربردهای علوم آماری قرار می‌گیرند. فرصتی شد بعداَ درباره آن بیشتر خواهم نوشت.
یه ادامه متن خودمان بپردازیم.

به این‌جا رسیدیم که مدل احتمالی ما به صورت زیر خواهد بود.

P = eX / (1+eX)

در این مدل با استفاده از X که آن‌ها را می‌دانیم، مقدار P را به دست می‌آوریم. P‌ هم همان احتمال رخدادن پیشامد مورد نظر ما است. ما این پیشامد را مثبت بودن نماد در روز بعد تعریف می‌کنیم.

به منظور کاربرد این مدل احتمالی در واقعیت و بر روی دیتا، آن را به یک مدل رگرسیون احتمالی که نام آن را رگرسیون لجستیک Logistic Regression می‌گذاریم، تبدیل می‌کنیم.

مدل رگرسیون لجستیک به صورت زیر خواهد بود. منظور از exp همان عدد نِپِر یا e است.

P = exp {b0 + b1 X} / (1+ exp {b0 + b1 X})

یکبار دیگر مدل لجستیک بالا را مرور کنیم.

پارامتر P که احتمال است و احتمال رخداد پیشامد یا همان مثبت بودن نماد در فردا را نشان می‌دهد.

منظور از X اعدادی هستند که ما آن‌ها را می‌دانیم، مثلاَ قیمت پایانی سهم در امروز، یا هر چیز دیگر.

همچنین b0 و b1 نیز ضرایب رگرسیونی هستند که توسط نرم‌افزارها محاسبه می‌شوند. نگران آن‌ها نباشید.

به این ترتیب و در نهایت می‌توانیم با استفاده از این مدل رگرسیون لجستیک، به یافتن و براورد احتمال مثبت بودن نماد در روز بعد بپردازیم.

🔸پ) X چیست؟

حال به موضوع X ها می‌پردازیم. گفتیم آن‌ها را داریم و عوامل اثرگذار بر P یا همان احتمال مثبت شدن فردا هستند. من X‌ها را به دو دسته تقسیم می‌کنم. آن‌ها چه هستند؟

کمیت X های داخلی.
آن‌ها فاکتورهایی از جنس خود نماد هستند. به عنوان مثال عبارتند از

قیمت پایانی، اولین و آخرین قیمت، کمترین و بیشترین قیمت امروز

تعداد، حجم و ارزش معاملات امروز

خرید و فروش حقیقی و حقوقی امروز

نسبت فروشنده به خریدار امروز

موارد بالا برای یک روز است. به طور حتم قیمت فردا تاثیرپذیر از روزهای قبل نیز هست. پس همه فاکتورهای بالا را برای یک دوره تناوب به دست آورید. مثلاَ اگر امروز دوشنبه است، اعداد فاکتورهای بالا را برای همه روزها تا دوشنبه هفته قبل به دست بیاورید.

فاکتورهای دیگری نیز وجود دارند، مانند

حجم مبنا، میانگین حجم ماه و درصد سهام شناور

همچنین EPS و PE سهم به همراه PE گروه

اخبار و گزارشات منتشر شده از سهم. این یک مفهوم کیفی است. اما آن را کمی می‌کنیم. می‌توانیم آن را با کدهای ۱ تا ۷ ارزیابی کنیم. کد ۷ یعنی خبرهای خوب و مثبت و کد ۱ یعنی اخبار و گزارشات منفی.

آن‌ها را هم به دست می‌آوریم.

کمیت X های بیرونی.

آن‌ها فاکتورهایی از جنس خارج نماد هستند. به عنوان مثال عبارتند از
درصد شاخص کل و هم وزن امروز (می‌توان آن را برای یک تناوب نیز محاسبه کرد. به دقت کار اضافه می‌کند.)

قیمت ارز و طلای امروز

تورم ماهانه

ریسک سیاسی. این نیز یک مفهوم کیفی است. اما آن را کمی می‌کنیم. می‌توانیم آن را با کدهای ۱ تا ۷ ارزیابی کنیم. کد ۷ یعنی بالاترین ریسک سیاسی و اوضاع نامساعد سیاسی و روانی جامعه و کد ۱ شرایط عادی و نرمال.

روز هفته. احتمالا موثر باشد. امروز چندشنبه است؟ شاید واقعاَ رفتار سهم روز چهارشنبه با شنبه متفاوت باشد. نمی‌دانیم. تست می‌کنیم.

به این ترتیب تعداد X های زیادی را وارد مدل می‌کنیم. هر آن‌چه که خودتان فکر می‌کنید بر روی نماد موثر است را نیز وارد مدل احتمالی نماد کنید. از تعداد زیاد آن‌ها نترسید، مهم نیست. هر کدام که به درد بخور نبود، نرم‌افزار حذف خواهد کرد و X های اصطلاحاَ معنادار و مفید را نگه خواهد داشت.

🔆 و در پایان

مدل رگرسیون لجستیک زیر را خواهیم داشت.

P = exp {b0 + b1 X1 + …. + bk Xk} / (1+ exp {b0 + b1 X1 + …. + bk Xk})


به معنای این‌که به تعداد k تا کمیت اثرگزار X داریم که می‌خواهیم با استفاده از آن‌ها، احتمال مثبت بودن قیمت نماد در روز بعد را به دست آوریم.

این ابزار بسیار دقیق خواهد بود. به دلیل اینکه خود رگرسیون لجستیک، یک تحلیل احتمالی دقیق است. از طرف دیگر سعی کرده‌ایم X های اثرگزار زیادی در مدل وارد کنیم.

این فرایند را برای همه نمادهای بازار انجام می‌دهیم. به این ترتیب ما برای هر نماد یک مدل احتمالی از نوع رگرسیون لجستیک خواهیم داشت. با استفاده از آن‌ها می‌توانیم احتمال مثبت بودن سهم در فردا را به دست بیاوریم و بنابراین ایده و لیست ما که همه نمادها را به ترتیب اولویت احتمال مثبت بودن فردا، دسته‌بندی کنیم ایجاد خواهد شد.

مدل‌های رگرسیون لجستیک هر روز خود را بهبود خواهند داد، امروز فردا را پیش‌بینی می‌کنند و با به دست آمدن اطلاعات فردا، پس فردا پیش‌بینی خواهد شد و به همین ترتیب روزهای آینده.

🔆 متن را در سایت گراف پد و در لینک زیر نیز می‌توانید مشاهده کنید.

https://graphpad.ir/logistic-regression-stock-market/
#شاخص_کل

یک شنبه ۲۵ خرداد ۹۹ عدد شاخص کل دقیقاَ برابر با ۱۱۸۵۴۲۲ بوده است. این روز را انتخاب کردم چون اولین زمانی است که شاخص از این محدوده عبور کرده است.

روز گذشته ۲۷ دی‌ماه نیز شاخص کل برابر با ۱۱۸۶۷۱۱ شده است. به بیان خیلی ساده، شاخص کل در این دو روز تقریباَ با یکدیگر برابر بوده است.

حال بیایید قیمت پایانی چند نماد را در این دو روز با هم مقایسه کنیم. به این لیست خودتان هم اضافه کنید. هر نمادی را که دوست دارید و یا در سبد خودتان قرار دارد. به منظور درک بهنر از نمادهایی که امسال عرضه شده‌اند و یا بعد از تاریخ ۲۵ خرداد امسال افزایش سرمایه داشته‌اند، استفاده نمی‌کنیم. از نمادهای بورسی نیز استفاده کنید.

🔸 شبندر ۲۵ خرداد ۲۵۱۴۰ بوده است و اکنون ۱۹۲۲۰
🔸 فولاد ۱۱۶۸۰ و اکنون ۱۰۳۲۰
🔸 خودرو ۲۵۳۰ بوده و اکنون ۲۴۵۰
🔸 وخارزم ۱۱۵۰۰ بوده و اکنون ۸۲۲۰
🔸 وغدیر ۱۱۶۹۰ و اکنون ۹۸۶۰
🔸 قرن ۶۵۶۰۰ بوده و اکنون ۶۴۱۲۰
🔸 اخابر ۱۷۰۳۰ بوده و اکنون ۱۱۰۹۰

سوال مهم این است. چگونه امکان دارد عدد شاخص کل دوباره به جایگاه قبلی خود برگردد اما بسیاری از نمادها در قیمت کمتری قرار داشته باشند؟ آیا دستکاری و اشتباهی رخ داده و می‌دهد؟ آیا دستی یا دستوری در کار است؟

پاسخ این است. مطلقاَ خیر. هیچ دستکاری، دستور و یا اشتباهی رخ نداده. در واقع با فرمول و رابطه‌ای که نحوه محاسبه شاخص کل دارد، همه چیز درست است. به بیان ساده رابطه درست است، اما ضابطه آن غلط است. فرمول محاسبه شاخص کل، قیمت محور نیست و حرف اول و آخر را در آن قیمت نمی‌زند. مشکل همین جا است.

فرمول ساخته شده برای شاخص کل که از فروردین سال ۱۳۷۷ طراحی شده، به موضوع اقتصاد کلان بر می‌گردد و دولت‌ساز است (منظورم از دولت اداره کننده سیستم است و شخص خاصی نیست.) و سبدهای ما یک موضوع اقتصاد خرد. ساده بگویم و بنویسم شاخص کل، اصلاَ برای من و شما طراحی نشده. آنچه که مربوط به من و شما است و کاملاَ به قیمت وابسته است، مفهومی به نام شاخص میانه است که قبلاَ درباره آن حرف زدم و عدد آن اکنون برابر با ۷۱۰ هزار واحد است.

نحوه محاسبه شاخص کل با فرمول موجود دو ایراد اساسی دارد. با مثال بیان می‌کنم.

الف) در یک حالت انتزاعی، فرض کنید قیمت تمام سهام موجود در بازار بورس یه عدد ۱۰ ریال میل کند. (یک مفهوم حدی ریاضی) فکر می‌کنید شاخص کل با فرمول موجود، چقدر خواهد بود؟ یک محاسبه ساده نشان می‌دهد شاخص کل در این صورت برابر با ۱۷۰ هزار واحد خواهد شد. جالب است شما بازاری خواهید داشت که هر سهم تنها یک تومان ارزش دارد اما شاخص ۱۷۰ هزار واحد است.

ب) روز گذشته ۲۷ دی‌ماه شاخص کل برابر با ۱۱۸۶۷۱۱ بوده است. اولین روز کاری امسال یعنی پنجم فروردین عدد شاخص کل ۵۰۸۶۶۲ بوده است. یعنی شاخص کل حدود ۲.۳۳ برابر شده است.

مفهوم رسانه‌ای این جمله چیست؟
پاسخ. همه آن‌هایی که حتی از اول امسال وارد بورس شده‌اند تقریباَ ۱۳۳ درصد سود کرده‌اند. قدیمی‌ها که دیگر خیلی بیشتر.
آیا این جمله درست است؟ آیا قیمت سهام امروز نسبت به قیمت ابتدای سال، ۱۳۳ درصد بیشتر پیدا کرده؟ واضح است که پاسخ منفی است. بسیاری در ضرر هستند.

متاسفانه مبنای تصمیم گیری و قضاوت همین شاخص کل شده. در گزارشات به رده‌های بالا چنین می‌نویسند.
آقا بیخود سهامداران داد و بیداد می‌کنند. شاخص همین الان هم ۲.۳ برابر شده. همه در سود هستند. همه این داد و بیدادها برای این است که از سودشان کم شده.
ناراحت کننده است. البته که بسیاری از گزارشات در موضوعات مختلف همین گونه ارسال می‌شود.

البته که اگر شاخص کل با همین فرمول موجود، قابل خرید و فروش بود و نمادی بود مانند سایر نمادهای بازار، آن وقت اندازه عددی آن واقعی و درست‌تر می‌شد.

و در پایان. ایده شخصی من این است جملاتی مانند شاخص حمایت یک میلیون و دویست را از دست داد، مفاهیمی کاملاَ ذهنی هستند که به رفتار جمعی منتهی می‌شود. حمایت و مقاومت. ذهن ما چنین مفاهیمی را می‌سازد. داده‌ها همچین چیزی در خود ندارند، آن‌ها آزاد هستند.
#سود

در نظر بگیرید، قیمت هر سهم یک نماد ۱۰۰۰ تومان است. فرض کنید و روندی را در نظر بگیرید که این نماد هر روز صف خرید باشد، حجم مبنا را هم بدهد و پایانی را پر کند. همه می‌دانیم که قیمت هر سهم این نماد پس از ۱۶ روز حدوداَ ۲۰۸۰ تومان می‌شود.

به بیان ساده، قیمت سهم پس از ۱۶ روز، بیشتر از دو برابر شده و ۱۰۰ درصد افزایش قیمت داشته است. حتی فرض کنید، معامله و خرید و فروش در این نماد، مشمول کارمزد نمی‌شود و قیمت سر به سر همان قیمت خرید است.

پس یکبار دیگر مرور کنیم. نماد ما در یک روند مستقیم صعودی هر روز ۵+ است. پس از ۱۶ روز قیمت آن دو برابر می‌شود و هیچ هزینه کارمزدی هم برای معامله در آن، پرداخت نمی‌شود.

🔸 یک سوال مهم. در این روند رمانتیک و عالی، افراد چقدر سود کرده‌اند؟

چند پاسخ به این سوال را ببینیم.

🔸 اگر به من باشد می‌گویم، سود افراد صفر درصد بوده. آیا پاسخ من غلط است؟ خیر من درست می‌گویم. چون من افرادی را می‌گویم که روز شانزدهم و به اختصار d16 خرید کرده‌اند. آن‌ها هیچ سودی نکرده‌اند.

🔸 اگر یک مدیر مسئول گزارش بنویس، بخواهد به این سوال پاسخ دهد، می‌گوید مردم ۱۰۰ درصد سود کرده‌اند. آیا او غلط می‌گوید؟ خیر او هم درست می‌گوید. چون افرادی را می‌گوید که روز اول d1 خرید کرده‌اند و در d16 فروخته‌اند.

🔸 فرض کنید افرادی روز اول خرید کرده‌اند و روز بعد فروخته‌اند. آن‌ها چقدر سود کرده‌اند؟

🔸 یا مثلاَ فردی روز چهارم d4 خریده و d9 فروخته. او چقدر سود کرده؟

🔸 فردی d5 خریده و d7 فروخته. بعد دیده عجب اشتباهی کرده. روند صعودی است. دوباره d8 توانسته خرید کند و بار دیگر در d14 فروخته. او چقدر سود کرده؟

پس واضح است که میزان سود کاملاَ به این وابسته است که چه روزی خرید انجام شده و کدام روز فروش. همه افراد که d16 خرید نکرده‌اند. همه افراد نیز d1 نخریده‌اند و d16 فروخته‌اند.

اما من به دنبال پاسخ به این سوال هستم. عموم افراد و بیشتر آن‌ها چقدر سود کرده‌اند؟ ساده، میانه سود چقدر است؟

🔸 تخصصی ‌ترین نرم‌افزار آماری، برنامه‌ای با نام R است. یک نرم‌افزار اصطلاحاَ متن باز و بی‌انتها. در رشته‌های دیگر چندان کاربرد پیدا نکرده و خاص رشته آمار آن هم آمار محض است.

من در این نرم‌افزار 1024 = 10^2 جایگشت و حالت خرید و فروش را در نظر گرفته‌ام. از نرم‌افزار R نیز خواسته‌ام، میانه سود در این روند صعودی صد درصدی را برایم محاسبه کند.

واضح است که هر چه تعداد حالت‌ها بیشتر شود، پاسخ دقیق‌تر خواهد بود. با این حال پاسخ، یعنی درصد سود میانه (بیشتر مردم چقدر سود کرده‌اند) با بیشتر شدن تعداد جایگشت‌ها، به یک عدد همگرا می‌شود. آن عدد چند است؟

🔸 جالب است. ۲۴.۹. یعنی به زبان ساده، در این روند رمانتیک که اصلاَ کارمزدی نمی‌دهیم و نمودار صعودی قیمت سهم، چشم آن مسئول را گرفته تا چاره‌ای و کنترلی کند، بیشتر مردم حدود ۲۵ درصد سود کرده‌اند. واضح است که در روندهای صعودی کوتاه‌تر، میانه سود مردم خیلی کمنر از ۲۴.۹ خواهد بود.

همه حرف من در این متن چیست؟
میانه سود و سودی که عموم افراد حتی در همان روندهای افزایشی بورس کرده‌اند، خیلی کمتر از آن نمودارهای چشم‌گیر بوده است.

🔸 متاسفانه هنگامی که قرار است درباره سود و رفاه گزارش داده شود ماکزیمم‌ها بیان می‌شود و هنگامی که قرار است درباره ضرر و فلاکت گزارش داده شود، مینیمم‌ها. هر دو هم درست است، اما عاقبت این گزارش‌ها چه خواهد بود؟ شما را به سخنرانی ۱۹ مهرماه سال ۹۱ در بجنورد ارجاع می‌دهم.
#دماسنج

🔸 هوای خانه سرد است، دماسنج گرما نشان می‌دهد. اوضاع خوب است و مردم هم دعاگو هستند.

🔸 به نظرم اگر روزگاری قرار بود، دانه دانه مشکلات کشور بیان، اولویت بندی و سپس حل شود، اصلاح این دماسنج جهت بیان واقعی سبدها، در آن اولویت‌های بالا قرار گیرد.

🔸 چند خبرگزاری نگاه می‌کردم، همه از اوضاع خوب امروز و رشد بیش از ۱۲ هزار واحدی شاخص سخن می‌گفتند. آنها چه می‌دانند، درون خانه چه خبر است. عدد شاخص که نمای خانه شده سبز است و مثبت، زیباست. کافی نیست؟
#محمود #ابوالقاسم #محمد

🔸 دهه ۱۳۶۰ همسایه روبه‌روی خانه پدری زادگاه من در خیابان صاحب الزمان شهرستان ازنا استان لرستان، اهل خانه ای بودند آرام و صبور. برای من که در آن زمان کودک چند ساله ای بودم، عجیب بود که چرا هر از چندگاهی بر در خانه پارچه سیاه و سفیدی می‌زنند، حجله می بندند و شمعی روشن می‌کنند.

🔸 به گلزار شهدای ازنا که بروید، سه برادر را می‌بینید که کنار هم آرمیده‌اند و روی سنگ هر سه نوشته فرزند باقر. یکی اسیر بوده و از شدت جراحات جان سپرده، دیگری در والفجر مقدماتی و محمد برادر کوچکتر در شلمچه.

🔸 آقای جمهوری اسلامی قبلی و آقای جمهوری اسلامی فعلی، این نهایت نامردی است که سه جوان دست گل مش باقر را بگیری و حالا در دوران پیری و تنهایی او و همسرش را به تظلم خواهی وادار کنی. با خانه مش باقر چه کار داری؟
#مدل_آماری

🔆 می‌دانیم که یک مدل سری زمانی به صورت زیر تعریف می‌شود.
Y = f (t)

به معنای اینکه با استفاده از تابعی مانند f می‌توانیم Y را از روی زمان t پیش‌بینی کنیم.

🔸 همچنین می‌دانیم که یک مدل رگرسیونی به صورت زیر تعریف می‌شود.
Y = f (X)

یعنی اینکه با استفاده از تابعی مانند f می‌توانیم Y را از روی کمیت X پیش‌بینی کنیم.

🔸 تابع f نیز می‌تواند خطی یا غیرخطی باشد. اصولاَ کار مهم تحلیل این است که چه f ای انتخاب کنیم تا بهترین براورد و پیش‌بینی را برای Y به دست بیاوریم.

🔸 حال بیایید یک ایده جدید داشته باشیم و البته آن را نیز تست کنیم.

می‌خواهیم مدلی به صورت زیر بسازیم.
Y = f (t, X)

🔸به معنای اینکه با استفاده از تابعی مانند f بتوانیم Y را هم از روی زمان t و هم از روی X پیش‌بینی کنیم.
به نظرم با این کار بتوان مدلی بهتر و با ضریب تعیین R Square بیشتر، طراحی کرد.
🔸 بیایید این ایده را تست کنیم.
من Y را قیمت سهم در یک روز خاص (مثلاَ همین امروز دوشنبه ۲۰ بهمن) در نظر می‌گیرم. t زمان‌های ثبت قیمت در هر دقیقه و X حجمی که در آن لحظه معامله شده است.

🔸 هدف من این است بتوانیم یک مدل پیش‌بینی روزانه برای قیمت سهم ارایه دهیم. یعنی مثلاَ ساعت ۱۰:۴۵ دقیقه قیمت چقدر خواهد بود. یا مثلاَ ساعت ۱۲ قیمت چه عددی پیش‌بینی خواهد شد و به همین ترتیب در همه تایم‌های یک روز خاص.

🔸 مدلی که در بالا و در تصویر می‌بینید، مربوط به یک نماد بورس تهران است (پالایش). نام نماد مهم نیست و بر روی هر کدام از سایر نمادها نیز می‌توان انجام داد.

🔸 واضح است که محور افقی زمان در هر دقیقه است. محور عمودی نیز قیمت آخرین معامله است.
خطوط آبی رنگ قیمت واقعی و خطوط نارنجی، قیمت پیش‌بینی شده بر مبنای همان مدل f (t, X) است.

🔸 صرفنظر از اینکه مدل به دست آمده، چقدر خوب برازش داده است، دو نکته برایم جالب توجه بود.

🔸 به محدوده زمانی و قیمتی A نگاه کنید. مدل به خوبی صف خرید چند دقیقه بعد را پیش‌بینی کرده است.

🔸 به محدوده B نیز نگاه کنید. مدل با خطای بسیار اندکی کف افت قیمت را برازش داده و آن محدوده را حداقل قیمت روزانه دانسته است.

🔸 اگر دقت کنید، مدل در ابتدای کار و ساعت ۹ به خوبی کار نمی‌کند و صف خرید ابتدای صبح را پیش‌بینی ‌نمی‌کند، اما هر چه زمان می‌گذرد، خطای برازش کاهش پیدا می‌کند. البته شاید این عدم پیش‌بینی صف خرید توسط مدل در ابتدای صبح، اشاره‌ای بر این است که نماد در صف خرید استمرار پیدا نخواهد کرد و افت قیمت پیدا می‌کند. از دیدگاه مدل این نماد نباید امروز با صف خرید شروع می‌کرده است.

🔸بقیه موارد را هم خودتان می‌توانید در نمودار ببینید.

🔆 به نظرم این نحوه پیش‌بینی روزانه با استفاده از ترکیبی از مدل سری زمانی و رگرسیون غیرخطی، ایده جالب و با دقت بالایی خواهد بود.
امروز شنبه ۲۵ بهمن ۹۹، ماتریس داده‌ها را نگاه می‌کردم، یک نکته جالب توجه بود. برای اولین بار از تاریخ ۱۹ مرداد که بازار شروع به ریزش کرد، شاخص میانه جلوتر از شاخص کل و هم‌وزن قرار گرفته بود. داده‌های سری زمانی خودم را هم نگاه می‌کردم ضریب پرش تقریباَ روی عدد ۷۸ قرار گرفته است. توضیح اینکه این عدد مقداری از صفر تا صد است و بالاتر بودن آن میل بیشتر داده‌ها به صعود و بالا رفتن در ادامه تایم‌های سری زمانی را نشان می‌دهد. این عدد ۷۸ نیز کمتر در این چند ماهه ثبت شده بود و معمولا ما با ضرایب پرش کمتر از ۳۰ روبه‌رو بوده‌ایم.
به هر حال اوضاع در داخل داده‌ها خوب است و نوید روزهای بهتر. مگر آن‌که فاکتورهای بیرون داده‌ها که مولفه‌ها و افراد قدرتمندی هستند و شما بهتر از من آن‌ها را می‌شناسید، دوباره دست به کار شوند.
#احتمال

چند روز پیش تاپیک و سوالی با موضوع زیر مطرح شده بود.
Can someone throw light on how to convert discrete probability distribution to continuous probability distribution?

این تاپیک که به یکی از پر خواننده‌ترین‌ها در ریسرچ گیت تبدیل شده است، سوال می‌کند چگونه می‌توان یک توزیع احتمال گسسته را به توزیع احتمال پیوسته تبدیل کرد؟ به زبان ساده یعنی اینکه آیا راهی وجود دارد که بتوان اعداد گسسته (مثلاَ ۱، ۲، ۳، ...) را به اعداد پیوسته (مثلا ۱، ۱.۷، ۲.۳، ....) تبدیل کرد؟

این ایده که به مباحث و تئوری احتمال مربوط می‌شود در حال حاضر مقدمات و مبانی خود را طی می‌کند. با این حال هدف نهایی آن، این است که به این نتیجه برسد اعداد به ظاهر هم‌سان، از دیدگاه احتمالی با هم برابر نیستند، بر فرض مثال ۲ با ۲ برابر نیست.

امروزه تئوری احتمال گسترش یسیار یافته و برخلاف آنچه که در مدارس و دبیرستان‌ها (در حد همان تاس و سکه قرن شانزدهم میلادی) آموزش داده می‌شود، کاربردهای فراوانی در علوم اقتصادی تا مخابرات و فناوری‌های نظامی یافته است. فرایندهای تصادفی، که جزئی از تئوری احتمال است، بخش و هسته اصلی داده‌های پهبادها و موشک‌های پیشرفته را در بر می‌گیرد.

قبلاَ هم نوشتم که احتمال مادر آمار است و چنانچه ایده و تئوری بالا بتواند اثبات شود، تحولی بزرگ در علوم داده و دیتا ایجاد خواهد کرد. به این ترتیب هر علم، دانش و تکنیکی که با تحلیل و آنالیز در ارتباط است دچار دگرگونی در فهم و استنباط خواهد شد.
در لینک زیر می‌توانید تاپیک زیر را مشاهده کنید.

https://www.researchgate.net/post/Can_someone_throw_light_on_how_to_convert_discrete_probability_distribution_to_continuous_probability_distribution

در این تاپیک Jochen Wilhelm's که یکی از بزرگترین آماری‌های دنیا است و Joachim Domsta که به نظرم بهترین محقق تئوری احتمال حال حاضر دنیا است، پاسخ داده‌اند.
پاسخ من به سوال و تاپیک بالا منفی است، به معنای این که از دیدگاه تئوری راهی وجود ندارد که بتوان یک توزیع احتمال گسسته را به توزیع احتمال پیوسته تبدیل کرد. به هر حال شاید اشتباه می‌کنم. با احترام فراوان، متن پاسخ خودم در ریسرچ گیت که توسط Joachim Domsta ریکامند شده است را اینجا نوشته‌ام، علاقمند بودید، بخوانید.

Question. Can someone throw light on how to convert discrete probability distribution to continuous probability distribution?

Answer. Let (Ω,F,P) be a probability space. Let X:Ω→R be a random variable defined on this probability space. Suppose that X is a discrete random variable. If g:R→R is any function, then g(X), which is indeed a composite function g∘X:Ω→R defined by goX(ω):=g(X(ω)) for all ω∈Ω, is called a transformation of the random variable X.

Now, the question is, can g(X) be a continuous random variable given that X is discrete. In other words, can the distribution of g(X) be a continuous one?

A discrete random variable is a one for which the range is finite or countably-infinite. A continuous random variable is a one with uncountably-infinite range. Since X is a discrete random variable, the range of X, which is the set {X(ω):ω∈Ω}, is finite or countable.

The original question thus reduces to, can the range of the random variable g(X) be uncountable ? Do you think it is plausible?

Certainly not. The range of g(X) is obtained by mapping each element of the range of X, which is the set {X(ω):ω∈Ω}, according to the function g. Since g is a function, each element of the set {X(ω):ω∈Ω} can be mapped to one, and only one, element. Thus the range of g(X) cannot become bigger than the range of X.

In other words, the range of the random variable g(X) cannot be uncountably infinite. Therefore g(X) cannot be a continuous random variable.
#داده‌سازی

فرض کنید پروژه یا تحقیقی دارید که بر مبنای آن باید دیتا و داده‌های جمع‌آوری کنید. مثلاَ یک کار پرسشنامه‌ای دارید و باید از افرادی نظرخواهی کنید. یا مثلاَ یک کار اعتبارسنجی دارید و باید افراد را قبل و بعد از آزمون مورد ارزشیابی قرار دهید. یا حتی یک کار آزمایشگاهی و تخصصی و می‌خواهید تاثیر فاکتورهای خود را بسنجید. یعنی تعدادی سوال و فرضیه دارید و باید بر مبنای داده‌ها آن‌ها را آزمون کنید.

حال فرض کنید به هر دلیلی که خودتان می‌دانید، نتوانید یا نخواهید داده‌ها را جمع‌آوری کنید. مثلاَ حال و حوصله ندارید بروید پرسشنامه پخش کنید و از افراد سوال و جواب کنید. یا وقت و هزینه ندارید بروید انواع گروه‌های Case و Control بسازید و آن‌ها را با هم مقایسه کنید.

خیلی ساده. می‌خواهید داده‌سازی کنید.

سوال من این است. آیا می‌توان این کار را نرم‌افزاری انجام داد؟ چقدر زمان می‌برد؟

پاسخم به این سوال این است. بله، خیلی تمیز می‌توان برای هر نوع مطالعه‌ای، داده و فایل دیتا ساخت. در عرض فقط چند دقیقه. هیچ کس هم نفهمد، آنقدر داده‌ها را عالی و خوب ساخت که پیش فرض‌ها مطالعه مثلاَ نرمال بودن داده‌ها تایید شود و از آن مهم‌تر، فرضیات و سوالات تحقیق هم مورد قبول و تایید قرار گیرد.

اینکه، این کار چگونه انجام می‌شود، موضوع حرف من فعلاَ نیست و البته با همان نرم‌افزار دوست داشتنی Minitab این کار به زیبایی قابل انجام است.

اما از آن‌جا که دست بالای دست بسیار است، داده‌هایی که با این روش ساخته می‌شوند. یک ایراد اساسی دارند. این داده‌ها در آزمون Run Test و یا Mann-Kendall Test رد می‌شوند. یعنی اگر فردی فایل دیتا شما را داشته باشد و این آزمون‌ها را روی آن‌ها انجام دهد، داده‌های شما نمی‌توانند آزمون‌هایی که نام بردم را اصطلاحاَ پاس کنند و در آن‌ها قبول شوند.

در اینجا است که شک می‌کنیم نکند این داده‌ها ساختگی و نتیجه یک فرایند داده‌سازی بوده و حاصل مطالعه و تحقیق واقعی نباشند.

خیلی ساده، وقتی بر روی داده‌های روزانه نمادهایی مانند شستا، فملی، پالایش، شپنا، دارا یکم، وبملت، وتجارت، وبصادر، خودرو، خساپا و تاحدی شبندر، آزمون‌های Run Test و یا Mann-Kendall Test را انجام می‌دهم، داده‌ها در این آزمون‌ها رد می‌شوند. آن هم با مقدار احتمال یا P value های خیلی بالا.

مقدار احتمال‌های آزمون‌های Run Test و یا Mann-Kendall Test آنقدر بالا است که به نظرم اگر همه آدم‌ها ساعت ۹ خوابشان ببرد و هیچ آدمی پشت سیسنم نباشد، باز هم حجمی از خرید و فروش انجام می‌شود.

اینکه چه دستی یا دست‌هایی در کار است را شما بهتر از من می‌دانید، اما واضح بگویم و البته با تاسف، آنچه مدت‌ها است روی تابلو می‌بینید، از دیدگاه آماری یک کلمه است. ساختگی و همان داده‌سازی که به شما در ابتدا گفتم.
اندرین خانه، بین، رهزن نیست

هر چه هست، ایمنی و صلح و صفاست

نشنیدم بنا، چنین محکم

گر چه در دهر، صد هزار بناست


پروین اعتصامی
امروز داشتم، برخی از کارهای قدیمی خودم را نگاه می‌کردم که به فایل‌ها و نوشتارهایم در سال ۹۳ و موسسه عالی آموزش وپژوهش مدیریت و برنامه‌ریزی که متعلق به نهاد ریاست جمهوری است، برخوردم. از تیرماه سال ۹۳ تا دی‌ماه همان سال آنجا بودم و پس از اتفاقات اولین کنفرانس اقتصاد ایران در دی‌ماه ۹۳ که برایم افتاد دیگر آنجا نرفتم. متن‌ها و نوشته‌هایم که حاصل مطالعات شخص من در چند ماه کار در آن‌جا بود، شامل صدها فایل و نمودار و گراف است که شاید بعدها آن‌ها را منتشر کردم.

در تصویری که برایتان قرار داده‌ام، مربوط به یکی از کارهایم در آنجا و بررسی بلند مدت نرخ مشارکت اقتصادی زنان ایران در بازار کار از سال ۱۳۳۵ تا پاییز سال ۹۳ بود. این گراف برای سال ۱۳۹۳ نمودار و چارت تازه و جدیدی بود و اعداد آن را خیلی به زحمت و با مطالعه کتابخانه‌های چند دانشگاه و البته مرکز آمار ایران به دست آورده بودم. به ویژه اعداد مربوط به قبل از انقلاب را.
👇
به آن قسمتی از گراف که در بالا برایتان مشخص کرده‌ام، نگاه کنید. سال ۱۳۸۳ نرخ مشارکت اقتصادی زنان کشور ۱۱.۴ درصد بوده است. یک دفعه در سال ۱۳۸۴ این نرخ شده است ۱۷ درصد.

یعنی ما در طول یکسال صدها هزار شغل برای زنان جامعه ایجاد کردیم؟ واضح است که خیر، اتفاقاَ اگر روزنامه‌های آن روزها را نگاه کنید می‌بینید جامعه خیلی هم مشکل بیکاری داشته و گفتمان غالب آن روزها اشتغال و بیکاری بوده است (مثل امروز که مفاهیمی مانند تحریم و برجام است)

پس چه اتفاقی افتاد یکدفعه ما از نرخ ۱۱ درصدی در مشارکت اقتصادی زنان رسیدیم به ۱۷ درصد در سال بعد.
خیلی ساده و بدون هیچ گونه تردستی یا خلاف‌گویی. اتفاقاَ خیلی هم درست می‌گفتیم و واقعاَ مشارکت اقتصادی زنان ما در سال ۸۴ همان ۱۷ درصد است و در سال ۸۳ همان ۱۱.۴ درصد.

موضوع یک نکته بسیار ساده بود.
تعریف شغل عوض شده بود. ما به هر فردی که در هفته حداقل یک ساعت کار می‌کرد می‌گفتیم، آهان، یافتم، این آدم شاغل است.
به همین سادگی و بدون هیچ‌گونه هزینه‌ای ما صدها هزار شغل ساختیم و نرخ مشارکت اقتصادی زنان بالا رفت.

حالا هم خیلی ساده به دوستانی که شاخص کل بورس را پی می‌گیرند و آن را هر روز رصد می‌کنند، می‌گویم. این بنده خدا و برادر کوچکتر آن یعنی شاخص هم‌وزن را رها کنید. تعریف آن‌ها مشکل دارد وگرنه نحوه محاسبه‌ آن‌ها کاملاَ هم درست است.
شاخص فقط و فقط یک چیز است. همان پرتفوی شما.