GraphPad
2.21K subscribers
483 photos
34 videos
36 files
292 links
Download Telegram
یه ادامه متن خودمان بپردازیم.

به این‌جا رسیدیم که مدل احتمالی ما به صورت زیر خواهد بود.

P = eX / (1+eX)

در این مدل با استفاده از X که آن‌ها را می‌دانیم، مقدار P را به دست می‌آوریم. P‌ هم همان احتمال رخدادن پیشامد مورد نظر ما است. ما این پیشامد را مثبت بودن نماد در روز بعد تعریف می‌کنیم.

به منظور کاربرد این مدل احتمالی در واقعیت و بر روی دیتا، آن را به یک مدل رگرسیون احتمالی که نام آن را رگرسیون لجستیک Logistic Regression می‌گذاریم، تبدیل می‌کنیم.

مدل رگرسیون لجستیک به صورت زیر خواهد بود. منظور از exp همان عدد نِپِر یا e است.

P = exp {b0 + b1 X} / (1+ exp {b0 + b1 X})

یکبار دیگر مدل لجستیک بالا را مرور کنیم.

پارامتر P که احتمال است و احتمال رخداد پیشامد یا همان مثبت بودن نماد در فردا را نشان می‌دهد.

منظور از X اعدادی هستند که ما آن‌ها را می‌دانیم، مثلاَ قیمت پایانی سهم در امروز، یا هر چیز دیگر.

همچنین b0 و b1 نیز ضرایب رگرسیونی هستند که توسط نرم‌افزارها محاسبه می‌شوند. نگران آن‌ها نباشید.

به این ترتیب و در نهایت می‌توانیم با استفاده از این مدل رگرسیون لجستیک، به یافتن و براورد احتمال مثبت بودن نماد در روز بعد بپردازیم.

🔸پ) X چیست؟

حال به موضوع X ها می‌پردازیم. گفتیم آن‌ها را داریم و عوامل اثرگذار بر P یا همان احتمال مثبت شدن فردا هستند. من X‌ها را به دو دسته تقسیم می‌کنم. آن‌ها چه هستند؟

کمیت X های داخلی.
آن‌ها فاکتورهایی از جنس خود نماد هستند. به عنوان مثال عبارتند از

قیمت پایانی، اولین و آخرین قیمت، کمترین و بیشترین قیمت امروز

تعداد، حجم و ارزش معاملات امروز

خرید و فروش حقیقی و حقوقی امروز

نسبت فروشنده به خریدار امروز

موارد بالا برای یک روز است. به طور حتم قیمت فردا تاثیرپذیر از روزهای قبل نیز هست. پس همه فاکتورهای بالا را برای یک دوره تناوب به دست آورید. مثلاَ اگر امروز دوشنبه است، اعداد فاکتورهای بالا را برای همه روزها تا دوشنبه هفته قبل به دست بیاورید.

فاکتورهای دیگری نیز وجود دارند، مانند

حجم مبنا، میانگین حجم ماه و درصد سهام شناور

همچنین EPS و PE سهم به همراه PE گروه

اخبار و گزارشات منتشر شده از سهم. این یک مفهوم کیفی است. اما آن را کمی می‌کنیم. می‌توانیم آن را با کدهای ۱ تا ۷ ارزیابی کنیم. کد ۷ یعنی خبرهای خوب و مثبت و کد ۱ یعنی اخبار و گزارشات منفی.

آن‌ها را هم به دست می‌آوریم.

کمیت X های بیرونی.

آن‌ها فاکتورهایی از جنس خارج نماد هستند. به عنوان مثال عبارتند از
درصد شاخص کل و هم وزن امروز (می‌توان آن را برای یک تناوب نیز محاسبه کرد. به دقت کار اضافه می‌کند.)

قیمت ارز و طلای امروز

تورم ماهانه

ریسک سیاسی. این نیز یک مفهوم کیفی است. اما آن را کمی می‌کنیم. می‌توانیم آن را با کدهای ۱ تا ۷ ارزیابی کنیم. کد ۷ یعنی بالاترین ریسک سیاسی و اوضاع نامساعد سیاسی و روانی جامعه و کد ۱ شرایط عادی و نرمال.

روز هفته. احتمالا موثر باشد. امروز چندشنبه است؟ شاید واقعاَ رفتار سهم روز چهارشنبه با شنبه متفاوت باشد. نمی‌دانیم. تست می‌کنیم.

به این ترتیب تعداد X های زیادی را وارد مدل می‌کنیم. هر آن‌چه که خودتان فکر می‌کنید بر روی نماد موثر است را نیز وارد مدل احتمالی نماد کنید. از تعداد زیاد آن‌ها نترسید، مهم نیست. هر کدام که به درد بخور نبود، نرم‌افزار حذف خواهد کرد و X های اصطلاحاَ معنادار و مفید را نگه خواهد داشت.

🔆 و در پایان

مدل رگرسیون لجستیک زیر را خواهیم داشت.

P = exp {b0 + b1 X1 + …. + bk Xk} / (1+ exp {b0 + b1 X1 + …. + bk Xk})


به معنای این‌که به تعداد k تا کمیت اثرگزار X داریم که می‌خواهیم با استفاده از آن‌ها، احتمال مثبت بودن قیمت نماد در روز بعد را به دست آوریم.

این ابزار بسیار دقیق خواهد بود. به دلیل اینکه خود رگرسیون لجستیک، یک تحلیل احتمالی دقیق است. از طرف دیگر سعی کرده‌ایم X های اثرگزار زیادی در مدل وارد کنیم.

این فرایند را برای همه نمادهای بازار انجام می‌دهیم. به این ترتیب ما برای هر نماد یک مدل احتمالی از نوع رگرسیون لجستیک خواهیم داشت. با استفاده از آن‌ها می‌توانیم احتمال مثبت بودن سهم در فردا را به دست بیاوریم و بنابراین ایده و لیست ما که همه نمادها را به ترتیب اولویت احتمال مثبت بودن فردا، دسته‌بندی کنیم ایجاد خواهد شد.

مدل‌های رگرسیون لجستیک هر روز خود را بهبود خواهند داد، امروز فردا را پیش‌بینی می‌کنند و با به دست آمدن اطلاعات فردا، پس فردا پیش‌بینی خواهد شد و به همین ترتیب روزهای آینده.

🔆 متن را در سایت گراف پد و در لینک زیر نیز می‌توانید مشاهده کنید.

https://graphpad.ir/logistic-regression-stock-market/
#شاخص_کل

یک شنبه ۲۵ خرداد ۹۹ عدد شاخص کل دقیقاَ برابر با ۱۱۸۵۴۲۲ بوده است. این روز را انتخاب کردم چون اولین زمانی است که شاخص از این محدوده عبور کرده است.

روز گذشته ۲۷ دی‌ماه نیز شاخص کل برابر با ۱۱۸۶۷۱۱ شده است. به بیان خیلی ساده، شاخص کل در این دو روز تقریباَ با یکدیگر برابر بوده است.

حال بیایید قیمت پایانی چند نماد را در این دو روز با هم مقایسه کنیم. به این لیست خودتان هم اضافه کنید. هر نمادی را که دوست دارید و یا در سبد خودتان قرار دارد. به منظور درک بهنر از نمادهایی که امسال عرضه شده‌اند و یا بعد از تاریخ ۲۵ خرداد امسال افزایش سرمایه داشته‌اند، استفاده نمی‌کنیم. از نمادهای بورسی نیز استفاده کنید.

🔸 شبندر ۲۵ خرداد ۲۵۱۴۰ بوده است و اکنون ۱۹۲۲۰
🔸 فولاد ۱۱۶۸۰ و اکنون ۱۰۳۲۰
🔸 خودرو ۲۵۳۰ بوده و اکنون ۲۴۵۰
🔸 وخارزم ۱۱۵۰۰ بوده و اکنون ۸۲۲۰
🔸 وغدیر ۱۱۶۹۰ و اکنون ۹۸۶۰
🔸 قرن ۶۵۶۰۰ بوده و اکنون ۶۴۱۲۰
🔸 اخابر ۱۷۰۳۰ بوده و اکنون ۱۱۰۹۰

سوال مهم این است. چگونه امکان دارد عدد شاخص کل دوباره به جایگاه قبلی خود برگردد اما بسیاری از نمادها در قیمت کمتری قرار داشته باشند؟ آیا دستکاری و اشتباهی رخ داده و می‌دهد؟ آیا دستی یا دستوری در کار است؟

پاسخ این است. مطلقاَ خیر. هیچ دستکاری، دستور و یا اشتباهی رخ نداده. در واقع با فرمول و رابطه‌ای که نحوه محاسبه شاخص کل دارد، همه چیز درست است. به بیان ساده رابطه درست است، اما ضابطه آن غلط است. فرمول محاسبه شاخص کل، قیمت محور نیست و حرف اول و آخر را در آن قیمت نمی‌زند. مشکل همین جا است.

فرمول ساخته شده برای شاخص کل که از فروردین سال ۱۳۷۷ طراحی شده، به موضوع اقتصاد کلان بر می‌گردد و دولت‌ساز است (منظورم از دولت اداره کننده سیستم است و شخص خاصی نیست.) و سبدهای ما یک موضوع اقتصاد خرد. ساده بگویم و بنویسم شاخص کل، اصلاَ برای من و شما طراحی نشده. آنچه که مربوط به من و شما است و کاملاَ به قیمت وابسته است، مفهومی به نام شاخص میانه است که قبلاَ درباره آن حرف زدم و عدد آن اکنون برابر با ۷۱۰ هزار واحد است.

نحوه محاسبه شاخص کل با فرمول موجود دو ایراد اساسی دارد. با مثال بیان می‌کنم.

الف) در یک حالت انتزاعی، فرض کنید قیمت تمام سهام موجود در بازار بورس یه عدد ۱۰ ریال میل کند. (یک مفهوم حدی ریاضی) فکر می‌کنید شاخص کل با فرمول موجود، چقدر خواهد بود؟ یک محاسبه ساده نشان می‌دهد شاخص کل در این صورت برابر با ۱۷۰ هزار واحد خواهد شد. جالب است شما بازاری خواهید داشت که هر سهم تنها یک تومان ارزش دارد اما شاخص ۱۷۰ هزار واحد است.

ب) روز گذشته ۲۷ دی‌ماه شاخص کل برابر با ۱۱۸۶۷۱۱ بوده است. اولین روز کاری امسال یعنی پنجم فروردین عدد شاخص کل ۵۰۸۶۶۲ بوده است. یعنی شاخص کل حدود ۲.۳۳ برابر شده است.

مفهوم رسانه‌ای این جمله چیست؟
پاسخ. همه آن‌هایی که حتی از اول امسال وارد بورس شده‌اند تقریباَ ۱۳۳ درصد سود کرده‌اند. قدیمی‌ها که دیگر خیلی بیشتر.
آیا این جمله درست است؟ آیا قیمت سهام امروز نسبت به قیمت ابتدای سال، ۱۳۳ درصد بیشتر پیدا کرده؟ واضح است که پاسخ منفی است. بسیاری در ضرر هستند.

متاسفانه مبنای تصمیم گیری و قضاوت همین شاخص کل شده. در گزارشات به رده‌های بالا چنین می‌نویسند.
آقا بیخود سهامداران داد و بیداد می‌کنند. شاخص همین الان هم ۲.۳ برابر شده. همه در سود هستند. همه این داد و بیدادها برای این است که از سودشان کم شده.
ناراحت کننده است. البته که بسیاری از گزارشات در موضوعات مختلف همین گونه ارسال می‌شود.

البته که اگر شاخص کل با همین فرمول موجود، قابل خرید و فروش بود و نمادی بود مانند سایر نمادهای بازار، آن وقت اندازه عددی آن واقعی و درست‌تر می‌شد.

و در پایان. ایده شخصی من این است جملاتی مانند شاخص حمایت یک میلیون و دویست را از دست داد، مفاهیمی کاملاَ ذهنی هستند که به رفتار جمعی منتهی می‌شود. حمایت و مقاومت. ذهن ما چنین مفاهیمی را می‌سازد. داده‌ها همچین چیزی در خود ندارند، آن‌ها آزاد هستند.
#سود

در نظر بگیرید، قیمت هر سهم یک نماد ۱۰۰۰ تومان است. فرض کنید و روندی را در نظر بگیرید که این نماد هر روز صف خرید باشد، حجم مبنا را هم بدهد و پایانی را پر کند. همه می‌دانیم که قیمت هر سهم این نماد پس از ۱۶ روز حدوداَ ۲۰۸۰ تومان می‌شود.

به بیان ساده، قیمت سهم پس از ۱۶ روز، بیشتر از دو برابر شده و ۱۰۰ درصد افزایش قیمت داشته است. حتی فرض کنید، معامله و خرید و فروش در این نماد، مشمول کارمزد نمی‌شود و قیمت سر به سر همان قیمت خرید است.

پس یکبار دیگر مرور کنیم. نماد ما در یک روند مستقیم صعودی هر روز ۵+ است. پس از ۱۶ روز قیمت آن دو برابر می‌شود و هیچ هزینه کارمزدی هم برای معامله در آن، پرداخت نمی‌شود.

🔸 یک سوال مهم. در این روند رمانتیک و عالی، افراد چقدر سود کرده‌اند؟

چند پاسخ به این سوال را ببینیم.

🔸 اگر به من باشد می‌گویم، سود افراد صفر درصد بوده. آیا پاسخ من غلط است؟ خیر من درست می‌گویم. چون من افرادی را می‌گویم که روز شانزدهم و به اختصار d16 خرید کرده‌اند. آن‌ها هیچ سودی نکرده‌اند.

🔸 اگر یک مدیر مسئول گزارش بنویس، بخواهد به این سوال پاسخ دهد، می‌گوید مردم ۱۰۰ درصد سود کرده‌اند. آیا او غلط می‌گوید؟ خیر او هم درست می‌گوید. چون افرادی را می‌گوید که روز اول d1 خرید کرده‌اند و در d16 فروخته‌اند.

🔸 فرض کنید افرادی روز اول خرید کرده‌اند و روز بعد فروخته‌اند. آن‌ها چقدر سود کرده‌اند؟

🔸 یا مثلاَ فردی روز چهارم d4 خریده و d9 فروخته. او چقدر سود کرده؟

🔸 فردی d5 خریده و d7 فروخته. بعد دیده عجب اشتباهی کرده. روند صعودی است. دوباره d8 توانسته خرید کند و بار دیگر در d14 فروخته. او چقدر سود کرده؟

پس واضح است که میزان سود کاملاَ به این وابسته است که چه روزی خرید انجام شده و کدام روز فروش. همه افراد که d16 خرید نکرده‌اند. همه افراد نیز d1 نخریده‌اند و d16 فروخته‌اند.

اما من به دنبال پاسخ به این سوال هستم. عموم افراد و بیشتر آن‌ها چقدر سود کرده‌اند؟ ساده، میانه سود چقدر است؟

🔸 تخصصی ‌ترین نرم‌افزار آماری، برنامه‌ای با نام R است. یک نرم‌افزار اصطلاحاَ متن باز و بی‌انتها. در رشته‌های دیگر چندان کاربرد پیدا نکرده و خاص رشته آمار آن هم آمار محض است.

من در این نرم‌افزار 1024 = 10^2 جایگشت و حالت خرید و فروش را در نظر گرفته‌ام. از نرم‌افزار R نیز خواسته‌ام، میانه سود در این روند صعودی صد درصدی را برایم محاسبه کند.

واضح است که هر چه تعداد حالت‌ها بیشتر شود، پاسخ دقیق‌تر خواهد بود. با این حال پاسخ، یعنی درصد سود میانه (بیشتر مردم چقدر سود کرده‌اند) با بیشتر شدن تعداد جایگشت‌ها، به یک عدد همگرا می‌شود. آن عدد چند است؟

🔸 جالب است. ۲۴.۹. یعنی به زبان ساده، در این روند رمانتیک که اصلاَ کارمزدی نمی‌دهیم و نمودار صعودی قیمت سهم، چشم آن مسئول را گرفته تا چاره‌ای و کنترلی کند، بیشتر مردم حدود ۲۵ درصد سود کرده‌اند. واضح است که در روندهای صعودی کوتاه‌تر، میانه سود مردم خیلی کمنر از ۲۴.۹ خواهد بود.

همه حرف من در این متن چیست؟
میانه سود و سودی که عموم افراد حتی در همان روندهای افزایشی بورس کرده‌اند، خیلی کمتر از آن نمودارهای چشم‌گیر بوده است.

🔸 متاسفانه هنگامی که قرار است درباره سود و رفاه گزارش داده شود ماکزیمم‌ها بیان می‌شود و هنگامی که قرار است درباره ضرر و فلاکت گزارش داده شود، مینیمم‌ها. هر دو هم درست است، اما عاقبت این گزارش‌ها چه خواهد بود؟ شما را به سخنرانی ۱۹ مهرماه سال ۹۱ در بجنورد ارجاع می‌دهم.
#دماسنج

🔸 هوای خانه سرد است، دماسنج گرما نشان می‌دهد. اوضاع خوب است و مردم هم دعاگو هستند.

🔸 به نظرم اگر روزگاری قرار بود، دانه دانه مشکلات کشور بیان، اولویت بندی و سپس حل شود، اصلاح این دماسنج جهت بیان واقعی سبدها، در آن اولویت‌های بالا قرار گیرد.

🔸 چند خبرگزاری نگاه می‌کردم، همه از اوضاع خوب امروز و رشد بیش از ۱۲ هزار واحدی شاخص سخن می‌گفتند. آنها چه می‌دانند، درون خانه چه خبر است. عدد شاخص که نمای خانه شده سبز است و مثبت، زیباست. کافی نیست؟
#محمود #ابوالقاسم #محمد

🔸 دهه ۱۳۶۰ همسایه روبه‌روی خانه پدری زادگاه من در خیابان صاحب الزمان شهرستان ازنا استان لرستان، اهل خانه ای بودند آرام و صبور. برای من که در آن زمان کودک چند ساله ای بودم، عجیب بود که چرا هر از چندگاهی بر در خانه پارچه سیاه و سفیدی می‌زنند، حجله می بندند و شمعی روشن می‌کنند.

🔸 به گلزار شهدای ازنا که بروید، سه برادر را می‌بینید که کنار هم آرمیده‌اند و روی سنگ هر سه نوشته فرزند باقر. یکی اسیر بوده و از شدت جراحات جان سپرده، دیگری در والفجر مقدماتی و محمد برادر کوچکتر در شلمچه.

🔸 آقای جمهوری اسلامی قبلی و آقای جمهوری اسلامی فعلی، این نهایت نامردی است که سه جوان دست گل مش باقر را بگیری و حالا در دوران پیری و تنهایی او و همسرش را به تظلم خواهی وادار کنی. با خانه مش باقر چه کار داری؟
#مدل_آماری

🔆 می‌دانیم که یک مدل سری زمانی به صورت زیر تعریف می‌شود.
Y = f (t)

به معنای اینکه با استفاده از تابعی مانند f می‌توانیم Y را از روی زمان t پیش‌بینی کنیم.

🔸 همچنین می‌دانیم که یک مدل رگرسیونی به صورت زیر تعریف می‌شود.
Y = f (X)

یعنی اینکه با استفاده از تابعی مانند f می‌توانیم Y را از روی کمیت X پیش‌بینی کنیم.

🔸 تابع f نیز می‌تواند خطی یا غیرخطی باشد. اصولاَ کار مهم تحلیل این است که چه f ای انتخاب کنیم تا بهترین براورد و پیش‌بینی را برای Y به دست بیاوریم.

🔸 حال بیایید یک ایده جدید داشته باشیم و البته آن را نیز تست کنیم.

می‌خواهیم مدلی به صورت زیر بسازیم.
Y = f (t, X)

🔸به معنای اینکه با استفاده از تابعی مانند f بتوانیم Y را هم از روی زمان t و هم از روی X پیش‌بینی کنیم.
به نظرم با این کار بتوان مدلی بهتر و با ضریب تعیین R Square بیشتر، طراحی کرد.
🔸 بیایید این ایده را تست کنیم.
من Y را قیمت سهم در یک روز خاص (مثلاَ همین امروز دوشنبه ۲۰ بهمن) در نظر می‌گیرم. t زمان‌های ثبت قیمت در هر دقیقه و X حجمی که در آن لحظه معامله شده است.

🔸 هدف من این است بتوانیم یک مدل پیش‌بینی روزانه برای قیمت سهم ارایه دهیم. یعنی مثلاَ ساعت ۱۰:۴۵ دقیقه قیمت چقدر خواهد بود. یا مثلاَ ساعت ۱۲ قیمت چه عددی پیش‌بینی خواهد شد و به همین ترتیب در همه تایم‌های یک روز خاص.

🔸 مدلی که در بالا و در تصویر می‌بینید، مربوط به یک نماد بورس تهران است (پالایش). نام نماد مهم نیست و بر روی هر کدام از سایر نمادها نیز می‌توان انجام داد.

🔸 واضح است که محور افقی زمان در هر دقیقه است. محور عمودی نیز قیمت آخرین معامله است.
خطوط آبی رنگ قیمت واقعی و خطوط نارنجی، قیمت پیش‌بینی شده بر مبنای همان مدل f (t, X) است.

🔸 صرفنظر از اینکه مدل به دست آمده، چقدر خوب برازش داده است، دو نکته برایم جالب توجه بود.

🔸 به محدوده زمانی و قیمتی A نگاه کنید. مدل به خوبی صف خرید چند دقیقه بعد را پیش‌بینی کرده است.

🔸 به محدوده B نیز نگاه کنید. مدل با خطای بسیار اندکی کف افت قیمت را برازش داده و آن محدوده را حداقل قیمت روزانه دانسته است.

🔸 اگر دقت کنید، مدل در ابتدای کار و ساعت ۹ به خوبی کار نمی‌کند و صف خرید ابتدای صبح را پیش‌بینی ‌نمی‌کند، اما هر چه زمان می‌گذرد، خطای برازش کاهش پیدا می‌کند. البته شاید این عدم پیش‌بینی صف خرید توسط مدل در ابتدای صبح، اشاره‌ای بر این است که نماد در صف خرید استمرار پیدا نخواهد کرد و افت قیمت پیدا می‌کند. از دیدگاه مدل این نماد نباید امروز با صف خرید شروع می‌کرده است.

🔸بقیه موارد را هم خودتان می‌توانید در نمودار ببینید.

🔆 به نظرم این نحوه پیش‌بینی روزانه با استفاده از ترکیبی از مدل سری زمانی و رگرسیون غیرخطی، ایده جالب و با دقت بالایی خواهد بود.
امروز شنبه ۲۵ بهمن ۹۹، ماتریس داده‌ها را نگاه می‌کردم، یک نکته جالب توجه بود. برای اولین بار از تاریخ ۱۹ مرداد که بازار شروع به ریزش کرد، شاخص میانه جلوتر از شاخص کل و هم‌وزن قرار گرفته بود. داده‌های سری زمانی خودم را هم نگاه می‌کردم ضریب پرش تقریباَ روی عدد ۷۸ قرار گرفته است. توضیح اینکه این عدد مقداری از صفر تا صد است و بالاتر بودن آن میل بیشتر داده‌ها به صعود و بالا رفتن در ادامه تایم‌های سری زمانی را نشان می‌دهد. این عدد ۷۸ نیز کمتر در این چند ماهه ثبت شده بود و معمولا ما با ضرایب پرش کمتر از ۳۰ روبه‌رو بوده‌ایم.
به هر حال اوضاع در داخل داده‌ها خوب است و نوید روزهای بهتر. مگر آن‌که فاکتورهای بیرون داده‌ها که مولفه‌ها و افراد قدرتمندی هستند و شما بهتر از من آن‌ها را می‌شناسید، دوباره دست به کار شوند.
#احتمال

چند روز پیش تاپیک و سوالی با موضوع زیر مطرح شده بود.
Can someone throw light on how to convert discrete probability distribution to continuous probability distribution?

این تاپیک که به یکی از پر خواننده‌ترین‌ها در ریسرچ گیت تبدیل شده است، سوال می‌کند چگونه می‌توان یک توزیع احتمال گسسته را به توزیع احتمال پیوسته تبدیل کرد؟ به زبان ساده یعنی اینکه آیا راهی وجود دارد که بتوان اعداد گسسته (مثلاَ ۱، ۲، ۳، ...) را به اعداد پیوسته (مثلا ۱، ۱.۷، ۲.۳، ....) تبدیل کرد؟

این ایده که به مباحث و تئوری احتمال مربوط می‌شود در حال حاضر مقدمات و مبانی خود را طی می‌کند. با این حال هدف نهایی آن، این است که به این نتیجه برسد اعداد به ظاهر هم‌سان، از دیدگاه احتمالی با هم برابر نیستند، بر فرض مثال ۲ با ۲ برابر نیست.

امروزه تئوری احتمال گسترش یسیار یافته و برخلاف آنچه که در مدارس و دبیرستان‌ها (در حد همان تاس و سکه قرن شانزدهم میلادی) آموزش داده می‌شود، کاربردهای فراوانی در علوم اقتصادی تا مخابرات و فناوری‌های نظامی یافته است. فرایندهای تصادفی، که جزئی از تئوری احتمال است، بخش و هسته اصلی داده‌های پهبادها و موشک‌های پیشرفته را در بر می‌گیرد.

قبلاَ هم نوشتم که احتمال مادر آمار است و چنانچه ایده و تئوری بالا بتواند اثبات شود، تحولی بزرگ در علوم داده و دیتا ایجاد خواهد کرد. به این ترتیب هر علم، دانش و تکنیکی که با تحلیل و آنالیز در ارتباط است دچار دگرگونی در فهم و استنباط خواهد شد.
در لینک زیر می‌توانید تاپیک زیر را مشاهده کنید.

https://www.researchgate.net/post/Can_someone_throw_light_on_how_to_convert_discrete_probability_distribution_to_continuous_probability_distribution

در این تاپیک Jochen Wilhelm's که یکی از بزرگترین آماری‌های دنیا است و Joachim Domsta که به نظرم بهترین محقق تئوری احتمال حال حاضر دنیا است، پاسخ داده‌اند.
پاسخ من به سوال و تاپیک بالا منفی است، به معنای این که از دیدگاه تئوری راهی وجود ندارد که بتوان یک توزیع احتمال گسسته را به توزیع احتمال پیوسته تبدیل کرد. به هر حال شاید اشتباه می‌کنم. با احترام فراوان، متن پاسخ خودم در ریسرچ گیت که توسط Joachim Domsta ریکامند شده است را اینجا نوشته‌ام، علاقمند بودید، بخوانید.

Question. Can someone throw light on how to convert discrete probability distribution to continuous probability distribution?

Answer. Let (Ω,F,P) be a probability space. Let X:Ω→R be a random variable defined on this probability space. Suppose that X is a discrete random variable. If g:R→R is any function, then g(X), which is indeed a composite function g∘X:Ω→R defined by goX(ω):=g(X(ω)) for all ω∈Ω, is called a transformation of the random variable X.

Now, the question is, can g(X) be a continuous random variable given that X is discrete. In other words, can the distribution of g(X) be a continuous one?

A discrete random variable is a one for which the range is finite or countably-infinite. A continuous random variable is a one with uncountably-infinite range. Since X is a discrete random variable, the range of X, which is the set {X(ω):ω∈Ω}, is finite or countable.

The original question thus reduces to, can the range of the random variable g(X) be uncountable ? Do you think it is plausible?

Certainly not. The range of g(X) is obtained by mapping each element of the range of X, which is the set {X(ω):ω∈Ω}, according to the function g. Since g is a function, each element of the set {X(ω):ω∈Ω} can be mapped to one, and only one, element. Thus the range of g(X) cannot become bigger than the range of X.

In other words, the range of the random variable g(X) cannot be uncountably infinite. Therefore g(X) cannot be a continuous random variable.
#داده‌سازی

فرض کنید پروژه یا تحقیقی دارید که بر مبنای آن باید دیتا و داده‌های جمع‌آوری کنید. مثلاَ یک کار پرسشنامه‌ای دارید و باید از افرادی نظرخواهی کنید. یا مثلاَ یک کار اعتبارسنجی دارید و باید افراد را قبل و بعد از آزمون مورد ارزشیابی قرار دهید. یا حتی یک کار آزمایشگاهی و تخصصی و می‌خواهید تاثیر فاکتورهای خود را بسنجید. یعنی تعدادی سوال و فرضیه دارید و باید بر مبنای داده‌ها آن‌ها را آزمون کنید.

حال فرض کنید به هر دلیلی که خودتان می‌دانید، نتوانید یا نخواهید داده‌ها را جمع‌آوری کنید. مثلاَ حال و حوصله ندارید بروید پرسشنامه پخش کنید و از افراد سوال و جواب کنید. یا وقت و هزینه ندارید بروید انواع گروه‌های Case و Control بسازید و آن‌ها را با هم مقایسه کنید.

خیلی ساده. می‌خواهید داده‌سازی کنید.

سوال من این است. آیا می‌توان این کار را نرم‌افزاری انجام داد؟ چقدر زمان می‌برد؟

پاسخم به این سوال این است. بله، خیلی تمیز می‌توان برای هر نوع مطالعه‌ای، داده و فایل دیتا ساخت. در عرض فقط چند دقیقه. هیچ کس هم نفهمد، آنقدر داده‌ها را عالی و خوب ساخت که پیش فرض‌ها مطالعه مثلاَ نرمال بودن داده‌ها تایید شود و از آن مهم‌تر، فرضیات و سوالات تحقیق هم مورد قبول و تایید قرار گیرد.

اینکه، این کار چگونه انجام می‌شود، موضوع حرف من فعلاَ نیست و البته با همان نرم‌افزار دوست داشتنی Minitab این کار به زیبایی قابل انجام است.

اما از آن‌جا که دست بالای دست بسیار است، داده‌هایی که با این روش ساخته می‌شوند. یک ایراد اساسی دارند. این داده‌ها در آزمون Run Test و یا Mann-Kendall Test رد می‌شوند. یعنی اگر فردی فایل دیتا شما را داشته باشد و این آزمون‌ها را روی آن‌ها انجام دهد، داده‌های شما نمی‌توانند آزمون‌هایی که نام بردم را اصطلاحاَ پاس کنند و در آن‌ها قبول شوند.

در اینجا است که شک می‌کنیم نکند این داده‌ها ساختگی و نتیجه یک فرایند داده‌سازی بوده و حاصل مطالعه و تحقیق واقعی نباشند.

خیلی ساده، وقتی بر روی داده‌های روزانه نمادهایی مانند شستا، فملی، پالایش، شپنا، دارا یکم، وبملت، وتجارت، وبصادر، خودرو، خساپا و تاحدی شبندر، آزمون‌های Run Test و یا Mann-Kendall Test را انجام می‌دهم، داده‌ها در این آزمون‌ها رد می‌شوند. آن هم با مقدار احتمال یا P value های خیلی بالا.

مقدار احتمال‌های آزمون‌های Run Test و یا Mann-Kendall Test آنقدر بالا است که به نظرم اگر همه آدم‌ها ساعت ۹ خوابشان ببرد و هیچ آدمی پشت سیسنم نباشد، باز هم حجمی از خرید و فروش انجام می‌شود.

اینکه چه دستی یا دست‌هایی در کار است را شما بهتر از من می‌دانید، اما واضح بگویم و البته با تاسف، آنچه مدت‌ها است روی تابلو می‌بینید، از دیدگاه آماری یک کلمه است. ساختگی و همان داده‌سازی که به شما در ابتدا گفتم.
اندرین خانه، بین، رهزن نیست

هر چه هست، ایمنی و صلح و صفاست

نشنیدم بنا، چنین محکم

گر چه در دهر، صد هزار بناست


پروین اعتصامی
امروز داشتم، برخی از کارهای قدیمی خودم را نگاه می‌کردم که به فایل‌ها و نوشتارهایم در سال ۹۳ و موسسه عالی آموزش وپژوهش مدیریت و برنامه‌ریزی که متعلق به نهاد ریاست جمهوری است، برخوردم. از تیرماه سال ۹۳ تا دی‌ماه همان سال آنجا بودم و پس از اتفاقات اولین کنفرانس اقتصاد ایران در دی‌ماه ۹۳ که برایم افتاد دیگر آنجا نرفتم. متن‌ها و نوشته‌هایم که حاصل مطالعات شخص من در چند ماه کار در آن‌جا بود، شامل صدها فایل و نمودار و گراف است که شاید بعدها آن‌ها را منتشر کردم.

در تصویری که برایتان قرار داده‌ام، مربوط به یکی از کارهایم در آنجا و بررسی بلند مدت نرخ مشارکت اقتصادی زنان ایران در بازار کار از سال ۱۳۳۵ تا پاییز سال ۹۳ بود. این گراف برای سال ۱۳۹۳ نمودار و چارت تازه و جدیدی بود و اعداد آن را خیلی به زحمت و با مطالعه کتابخانه‌های چند دانشگاه و البته مرکز آمار ایران به دست آورده بودم. به ویژه اعداد مربوط به قبل از انقلاب را.
👇
به آن قسمتی از گراف که در بالا برایتان مشخص کرده‌ام، نگاه کنید. سال ۱۳۸۳ نرخ مشارکت اقتصادی زنان کشور ۱۱.۴ درصد بوده است. یک دفعه در سال ۱۳۸۴ این نرخ شده است ۱۷ درصد.

یعنی ما در طول یکسال صدها هزار شغل برای زنان جامعه ایجاد کردیم؟ واضح است که خیر، اتفاقاَ اگر روزنامه‌های آن روزها را نگاه کنید می‌بینید جامعه خیلی هم مشکل بیکاری داشته و گفتمان غالب آن روزها اشتغال و بیکاری بوده است (مثل امروز که مفاهیمی مانند تحریم و برجام است)

پس چه اتفاقی افتاد یکدفعه ما از نرخ ۱۱ درصدی در مشارکت اقتصادی زنان رسیدیم به ۱۷ درصد در سال بعد.
خیلی ساده و بدون هیچ گونه تردستی یا خلاف‌گویی. اتفاقاَ خیلی هم درست می‌گفتیم و واقعاَ مشارکت اقتصادی زنان ما در سال ۸۴ همان ۱۷ درصد است و در سال ۸۳ همان ۱۱.۴ درصد.

موضوع یک نکته بسیار ساده بود.
تعریف شغل عوض شده بود. ما به هر فردی که در هفته حداقل یک ساعت کار می‌کرد می‌گفتیم، آهان، یافتم، این آدم شاغل است.
به همین سادگی و بدون هیچ‌گونه هزینه‌ای ما صدها هزار شغل ساختیم و نرخ مشارکت اقتصادی زنان بالا رفت.

حالا هم خیلی ساده به دوستانی که شاخص کل بورس را پی می‌گیرند و آن را هر روز رصد می‌کنند، می‌گویم. این بنده خدا و برادر کوچکتر آن یعنی شاخص هم‌وزن را رها کنید. تعریف آن‌ها مشکل دارد وگرنه نحوه محاسبه‌ آن‌ها کاملاَ هم درست است.
شاخص فقط و فقط یک چیز است. همان پرتفوی شما.
نوشتن این متن برای خودم هم سخت بود، اما خُب گفتم در این شب اصطلاحاَ چهارشنبه سوری، خوب است از نگاهی که به میزان فرهنگ و مردم‌دوستی، جامعه ایرانی محصور شده در جغرافیای سرزمینی ایران می‌شود، کمی مطلع شوید.

حدود دو ماه پیش بر روی داده‌های تز محققی از دانشگاه Argosy (Arizona, United States) تحلیل‌های آماری انجام می‌دادم. او به بررسی میزان فرهنگ، مردم‌داری، انسان‌دوستی و احترام جمعی، بین مردم ۱۹ کشور دنیا می‌پرداخت.

این کشورها عبارت بودند از
استرالیا، اندونزی، ژاپن، مغولستان، روسیه، هند، ایران، اردن، مصر، نیجریه، زیمباوه، آفریقای جنوبی، فرانسه، آلمان، ایرلند، آمریکا، کلمبیا، بولیوی و شیلی.

مصاحبه از افراد به صورت اینترنتی انجام شده و پرسشنامه‌های یکسانی برای آن‌ها ایمیل شده بود.
فاکتورهایی نظیر سن، جنسیت، تحصیلات و درآمد در بین پاسخ‌دهندگان هر کشور کنترل شده و فراوانی آن‌ها با هم اختلاف معنادار نداشت. این موضوع بسیار مهم بود تا مبادا تفاوت در این فاکتورها مطالعه را مخدوش کنند.

داستان این مطالعه و یافته‌های آن برای جامعه ایران امروزی غم‌انگیز بود.
در انتهای جدول آزمون رتبه‌بندی فریدمن Friedman Test که به ترتیب کشورها را از نظر اندازه و میزان بالا بودن آیتم‌ها و شاخص‌های فرهنگ و انسان‌دوستی، رتبه‌بندی می‌کرد، ایران قرار داشت. اینکه چه شده جامعه ایرانی در این جایگاه قرار گرفته و کدام روند را طی کرده، سوالی است که شاید بهتر است به آن پاسخ داده نشود.
جلیل محمد قلی زاده، مدیر و سردبیر مجله ای است که از سال ۱۲۸۵ تا ۱۳۱۰ منتشر می‌شد. مجله، نشریه‌ای بود طنز و مصور که عموم کاریکاتورهای آن توسط سید علی بهزاد که از نقاشان برجسته آن روزهای ایران بود، کشیده می‌شد. مجله او بعدها الهام بخش نسیم شمال و چرند و پرند دهخدا شده بود.

در سال ۱۳۹۵، نود و شش مقاله این مجله توسط دانشگاه کرمان، در کتابی چاپ و منتشر شد.

بخش هایی از کتاب به وقایع و اوضاع و احوال جامعه ایرانی از اسفند ۱۲۹۹ تا اردیبهشت ۱۳۰۰ می‌پردازد.

اما عجیب است که آنچه او از احوال نامساعد جامعه، معیشت، فرهنگ، سواد، سیاست حکومت و مردم آن روزها بیان می‌کند، همانند اوضاع همین روزها است. انگار جلیل محمد قلی زاده، جامعه امروز را وصف می‌کند و سید علی بهزاد احوال امروز را به تصویر می‌کشد.

مقالات او در آغازین روزهای سال ۱۳۰۰ سرشار است از امید و آرزو. از آزادی خواهی، ترقی، پیشرفت برای ایران در قرن جدید.

اما خب، با صد افسوس باید نوشت، انگار نه انگار صد سال بر این مرز و بوم گذشته. آب از آب در این یک قرن تکان نخورده. غصه ها و آرمان ها همان ها بوده که صد سال پیش بوده. آن هم در قرنی که جامعه جهانی به سرعت دویده و ما قرنی جدید را تحویل میگیریم که همچنان در دم در، کفش های خود را می جوریم.
به امید آینده‌ای بهتر برای مردم سرزمینم
#Syntax

یکی از بیشترین سوالاتی که در زمینه تحلیل‌های آماری پرسیده می‌شود، مفهوم
Interaction Multiple Comparisons
است.

برای فهم بهتر مطلب
فرض کنید کمیت (Variable) داریم به اسم A. این کمیت خود دارای مثلاَ پنج سطح (Level) به نام‌های a1, a2, a3, a4, a5 است. ما خیلی ساده با استفاده از نرم‌افزاری مثل SPSS می‌توانیم این سطوح را با هم مقایسه کنیم (آنالیز واریانس)

حال فرض کنید کمیت دیگری داریم با نام B. این کمیت نیز دارای مثلاَ چهار سطح به نام‌های b1, b2, b3, b4 است. همانند بالا و باز هم خیلی ساده با استفاده از SPSS می‌توانیم این سطوح را با هم مقایسه کنیم (یک آنالیز واریانس دیگر)

حال سوال و مفهوم
Interaction Multiple Comparisons

این است. چگونه می‌توان این سطوح را به صورت متقاطع با هم مقایسه کرد؟ مثلاَ بیاییم a1 را با b3 مقایسه کنیم و یا بخواهیم a5 را با b4 مورد آزمون و مقایسه قرار دهیم؟

موضوع جالب توجهی که وجود دارد این است که نرم‌افزاری مانند SPSS تا به امروز که ورژن ۲۷ آن هم ارایه شده، در منوها و آنالیزهای خود جایی برای انجام این نوع تحلیل ندارد. یعنی گزینه‌ای وجود ندارد که ما آن را انتخاب کنیم و سپس نرم‌افزار برای ما مقایسه‌های متقاطع را نیز انجام دهد.

برای انجام این کار، من در Syntax ها و محیط برنامه‌نویسی نرم‌افزار SPSS کمی دست برده‌ام. Syntax و برنامه انجام آزمون‌های مقایسه‌های متقاطع مثلاَ برای یک مطالعه اندازه‌گیری مکرر (RM) آن هم از نوع Multivariate به شرح زیر است.

GLM TOC.Feb TOC.Apr TOC.May TOC.June TOC.July TOC.Aug TOC.Sep DOC.Feb DOC.Apr DOC.May DOC.June
DOC.July DOC.Aug DOC.Sep BY Type Scenario
/WSFACTOR=Time 7 Polynomial
/MEASURE=TOC DOC
/METHOD=SSTYPE(3)
/EMMEANS=TABLES(Type) COMPARE ADJ(LSD)
/EMMEANS=TABLES(Scenario) COMPARE ADJ(LSD)
/EMMEANS=TABLES(Time) COMPARE ADJ(LSD)
/EMMEANS=TABLES(Type*Scenario) COMPARE(Type)ADJ(BONFERRONI)
/EMMEANS=TABLES(Type*Scenario) COMPARE(Scenario)ADJ(BONFERRONI)
/EMMEANS=TABLES(Type*Time) COMPARE(Type)ADJ(BONFERRONI)
/EMMEANS=TABLES(Scenario*Time) COMPARE(Scenario)ADJ(BONFERRONI)
/EMMEANS=TABLES(Type*Scenario*Time) COMPARE(Type)ADJ(BONFERRONI)
/CRITERIA=ALPHA(.05)
/WSDESIGN=Time
/DESIGN=Type Scenario Type*Scenario.

استفاده از محیط برنامه‌نویسی نرم‌افزار SPSS و کار با Syntax ها را به جای استفاده از منوها و تحلیل‌های قرار گرفته در نرم‌افزارها، به شما پیشنهاد می‌کنم. آن‌ها قابلیت‌های خیلی بیشتری به ما می‌دهند. فایل برنامه و Syntax این مثال را نیز در ادامه برایتان قرار داده‌ام.
GraphPad
#آزاده_شریعت
#آزاده_آزاده

واضح است که در حدی نیستم که تلنگری بزنم و البته ابزار مستندی هم ندارم که بگویم اگر در مطالعه دانشگاه Argosy به جای ۱۹ کشور، ۱۹۰ کشور بررسی می‌شد، باز هم میانگین فرهنگ مردمان محصور شده در جغرافیای سرزمینی ایران، در انتهای جدول رتبه‌بندی فریدمن، قرار می‌گرفت. اما خب برایم خیلی سخت بود که امروز که به خاک سپرده شد، چیزی نگویم و ننویسم که این آزاده، حق چه کسی را پایمال کرده بود و به کدامین گناه نابخشوده، آن هم در یک جامعه، که خودش در انتهای جدول فرهنگ فریدمن قرار گرفته، به نابودی کشیده شد.
🔆 دوستانی که با نرم‌افزار
GraphPad Prism
کار می‌کنند، می‌توانند ورژن جدید و بهبود یافته این نرم‌افزار را که به تازگی ارایه شده، از لینک زیر در سایت گراف پد، دریافت کنند.

https://graphpad.ir/prism9/