🔸داده کــــاوی🔸


#بخش_4


🔸یادگیری عمـیق🔸



یکی از معروف‌ترین تکنیک هایی که توی Data science استفاده میشه و گل سرسبد این حوزه هست، AI (هوش مصنوعی) یا دقیق‌ترش Machine learning و دقیق‌ترش Deep learning هست.


به طور خلاصه، هوش مصنوعی عبارت است از شبیه‌سازی هوش انسان در سیستم‌های کامپیوتری و نخستین بار که پژوهش‌ها در زمینهٔ هوش مصنوعی آغاز شد، تلاش پژوهشگران بر این بود تا با توانمندسازی کامپیوترها آن‌ها را قادر سازند تا وظایف تعریف‌شده‌ای مانند بازی کردن را انجام دهند


یک تعریف ساده از یادگیری ماشینی هم عبارت است از توانایی ماشین برای یادگیری با استفاده از مجموعه‌ای از داده‌ها و عمل بر اساس آن‌ها و نه صرفاً بر اساس قوانین تعریف‌شده و ثابتی که از قبل کدنویسی شده‌اند. به زبان ساده‌تر، یادگیری ماشینی این امکان را برای ماشین (سیستم) فراهم می‌آورد تا خود به تنهایی بتواند چیزی را بیاموزد به طوری که در یادگیری ماشینی از قدرت پردازش کامپیوترهای مدرن به منظور تحلیل مجموعه‌های بزرگ دیتا استفاده می‌شود


درواقع Deep learning یکی از روش‌های یادگیری ماشینی است که این امکان را برای یک سرویس مبتنی بر هوش مصنوعی فراهم می‌سازد تا هم از طریق یادگیری نظارت‌شده و یادگیری نظارت‌نشده آموزش ببیند.



🔹مثالهایی از کاربرد یادگیری عمیق🔹



⭐️الکسا، سیری یا کورتانا، دستیار‌های مجازی هوشمندی هستند که از یادگیری عمیق جهت فهمیدن صحبت و زبان انسان‌ها، وقتی با آن‌ها در تعامل هستند استفاده می‌کنند.




⭐️یادگیری ماشین برای تشخیص چهره نیز استفاده می‌شود، اما نه الزاماً برای مسائل امنیتی. به عنوان مثال در فرآیند تگ کردن افراد روی پست های Face book، یا پرداخت مبلغ خرید هر شخص با شناسایی چهره آن در آینده‌ای نزدیک.

چالش مهم در این زمینه زمانی است که فرض کنید مدل مو یا ریش شخص تغییر کند. یا تصویری که گرفته شده است به دلیل نور کم محیط، کیفیت مناسبی نداشته باشد(‼️)




⭐️نتفلیکس چگونه ویدئو بعدی را به شما پیشنهاد می‌دهد؟ یا آمازون چطور محصولات مرتبط با سلیقه‌تان را به شما ارائه می‌کند؟ آن هم محصولاتی که به آن‌ها احتیاج دارید ولی تا قبل از این نمیدانستید؟




🔹 5 تا از کاربردی ترین نرم افزار های یادگیری عمیق در سال 2020🔹



🔹 Neural Designer
🔹 H2O.ai
🔹 DeepLearningKit
🔹 Microsoft Cognitive Toolkit
🔹 Keras






#داده_کاوی
#مقاله
#هوش_مصنوعی
#یادگیری_عمیق
#یادگیری_ماشین
#AI #Artificial_Intelligence
#Machine_learning
#Deep_learning






منابع :
upgrad.com
aminaramesh.ir
sokanacademy.com



@gu_stat

#آمارریاضی
#قضیه_باسو

در بسیاری از مسایل آماری مثل نظریه برآورد و آزمون فرض ها نیاز به وجود اثبات استقلال دو آماره داریم.با استفاده از قضیه باسو بدون این که توزیع توام دو آماره محاسبه شوند٫با داشتن شرایط لازم وجود این استقلال ثابت می شود.
نتایج ساده در علم آمار که اهمیت آنها در طول زمان پایدار باشد خیلی کم هستند. قضیه باسو یکی از این استثناهاست.قضیه باسو مثل لم نیمن-پیرسن٫نامساوی کرامر-رائو و قضیه رائو بلاکول هسته اصلی استنباط آمار کلاسیک را تشکیل می دهد.این قضیه یکی از قضیه های مشهور آمار است که در سال 1955 توسط باسو اثبات شد و سال ها پس از اثباتش مشهور و کارا باقی ماند.شور و اشتیاق راجع به این قضیه و همچنین کاربردهای متنوع آن گواه این امر است.در واقع این قضیه در بیشتر کتاب های مهم استنباط آماری از جمله لهمن٫ماخوپادیای و کلا و برگر بیان شده است.قضیه باسو به صورت یک نتیجه کاملا کاربردی ظاهر می شود و این جنبه آن باعث شده که کاربردهای فراوانی در زمینه های مختلف داشته باشد.این قضیه باعث کشف ارتباط بین بسندگی٫آماره های کمکی و استقلال می شود که البته قبل از آن چنین ارتباطی تصور نمی شد.
به نظر می رسد ایده ای که باسو را به فکر مطرح کردن این قضیه انداخت به شرح زیر باشد:
(چنانچه آماره بسنده ای٫کامل باشد علاوه بر داشتن همه اطلاعات لازم درباره پارامتر هیچ اطلاع بیشتری درباره آن ندارد.پس چنین آماره ای نمی تواند ارتباطی با یک آماره کمکی که شامل هیچ اطلاعی در باره پارامتر نیست (چون توزیع آن پارامتر بستگی ندارد)داشته باشد.از این رو طبیعی به نظر می رسد که هر آماره کمکی مستقل از آماره بسنده کامل باشد).

@gu_stat

✅نمودار درختی برای انتخاب توزیع مورد نظر...

#Distributions
#Statistics
👇👇👇
@gu_stat

〽️آزمایش برنولی〽️

#آزمایش_تصادفی که فقط #دو_مقدار داشته باشد و نتایج آن از قبل قابل پیش‌بینی باشد، یک «آزمایش برنولی» است. معمولا نتایج #آزمایش_برنولی را با «موفقیت»یا «شکست» مشخص می‌کنند.
برای مثال پرتاب یک سکه به منظور مشاهده شیر، یک آزمایش برنولی است. زیرا اگر #موفقیت را مشاهده شیر و #شکست را مشاهده خط در نظر بگیریم، نتایج این آزمایش تصادفی، فقط دو مقدار موفقیت یا شکست را خواهد داشت.
یکی از شرایط مهم آزمایش برنولی،#ثابت_بودن احتمال موفقیت یا شکست است. به این معنی که با تکرار این آزمایش در شرایط یکسان، احتمال موفقیت تغییر نمی‌کند. باید توجه داشت که این تکرارها باید #مستقل از یکدیگر باشند.
نام برنولی برای این نوع آزمایش براساس نام ریاضیدان سوئیسی #جاکوب_برنولی که در این زمینه تحقیقات زیادی داشته، انتخاب شده است.

♦️کابردهای متغیر تصادفی برنولی♦️

اغلب از متغیر و توزیع برنولی در #علوم_پزشکی استفاده می‌کنند تا وضعیت #سالم یا #ناسالم بودن فرد را نشان دهند. در #رگرسیون_لجستیک از توزیع برنولی برای #مدلسازی وقوع بیماری استفاده می‌شود. همچنین براساس مجموع چند متغیر تصادفی برنولی مستقل و با پارامتر یکسان،
می‌توان متغیر تصادفی #دو_جمله‌ای ایجاد کرد.


@gu_stat

🔸How to Become a Data Analyst in 2020🔸

🔸چطور در سال 2020 تبدیل به یک تحلیلگر داده شویم؟🔸

#بخش_1

🔹تحلیلگر داده کیست؟
🔹چه کار میکند؟
🔹چقدر حقوق میگیرد؟
🔹چه مهارت ها و چه پیشینه ای نیاز دارد؟




#تحلیلگر_داده
#آنالیز_داده

منبع:
365 Data Science

@gu_stat

#دانستنی_آماری
#کاربرد_رگرسیون

مدل های رگرسیون برای مقاصد چند مشتمل برموارد زیر مورد استفاده قرار می­گیرند:
 1) توصیف داده ها
2) برآورد پارامترها
3) پیشگویی و برآورد
4) کنترل
مهندسین و دانشمندان برای خلاصه کردن و توصیف مجموعه ای از داده ها مکرراً از معادلات استفاده می­کنند. تحلیل رگرسیونی برای گسترش چنین معادلاتی مؤثر و کمک کننده می­باشد. گاهی اوقات مسائل برآورد پارامترها می­تواند از طریق روش های رگرسیونی حل شوند.
از کاربردهای دیگر رگرسیون پیشگویی متغیر پاسخ است. پیش بینی ها ممکن است درطراحی عملیات مربوطه به تحویل همچون تنظیم و تهیه برنامه یا ارزیابی به انجام رساندن عملیات تحویل مفید واقع شود. هنگامی که مدل رگرسیونی برای پیش گویی بکار می­­رود خطرات برون بینی ناشی از مدل یا خطای معادله مورد بحث قرار گرفته است. درحالی که حتی وقتی که مشکل مدل دقیق است برآورد ضعیف پارامترهای مدل هنوزممکن است موجب ضعف پیشگویی دراجرا شود.
مدل های رگرسیونی ممکن است به منظور کنترل نیز مورد استفاده قرارگیرند. وقتی که یک معادله رگرسیونی برای اهداف  و مقاصد کنترل بکار می­رود نکتۀ مهم این است که متغیرها به طوراتفاقی با هم ارتباط داشته باشند. باید توجه داشته باشیم هنگامی که معادله فقط برای پیش بینی بکارمی­رود ممکن است یک رابطه علت و معلولی لازم نباشد. دراین حالت تنها لازم است که رابطه ای که در داده ها برای ساختن معادله رگرسیون وجود داشت هنوز اعتبار داشته باشد.

@gu_stat

❇️ چگونه شکل بالا را در R رسم کنیم؟!


library(ggplot2)
df <- data.frame(x=1, y=1)
for (i in 2:180)
{df[i,1]<-df[i-1,1]-sin((i%%4)*3*pi/2-ceiling((i-1)/4)*pi/90)*.977^i
df[i,2]<-df[i-1,2]+cos((i%%4)*3*pi/2-ceiling((i-1)/4)*pi/90)*.977^i}
ggplot(df,aes(x,y))+geom_polygon()+coord_fixed()+theme_void()


توجه:
🔴ابتدا بسته ی ggplot2 را دانلود نمایید.

#R
👇👇👇
@gu_stat

〽️توزیع دوجمله ای〽️

#متغیر_تصادفی_دوجمله‌ای مرتبط با #آزمایش_تصادفی_برنولی است. اگر یک آزمایش برنولی با #پارامتر_ثابت_p را n بار بطور #مستقل #تکرار کنید، جمع متغیرهای تصادفی برنولی ایجاد شده، یک متغیر تصادفی با توزیع دو جمله‌ای را می‌سازد.از آنجایی که ضرایب بسط دو جمله‌ ای a+b)^n)که به #ضرایب_خیام_پاسکال نیز مشهور است، با تابع احتمال این متغیر تصادفی مرتبط است، نام این نوع متغیر تصادفی، دو جمله‌ای انتخاب شده.
از متغیرتصادفی و توزیع دوجمله‌ای برای #مدل‌سازی تعداد موفقیت‌ها در nبار #نمونه‌گیری_باجایگذاری از جمعیت با حجم N بهره گرفته میشود.
زیرا اگر نمونه‌گیری #بدون_جایگذاری باشد، احتمال موفقیت در هر نوبت از نمونه‌گیری #متفاوت خواهد بود و تعداد موفقیت‌ها دارای توزیع #فوق‌هندسی خواهند شد.

برای مثال اگر یک سکه نااریب را ۱۰ بار پرتاب کنیم، تعداد شیرهای مشاهده شده دارای توزیع دو جمله‌ای با پارامترهای ۱۰ و ۱/۲ است.

توزیع دوجمله‌ای نوعی توزیع پرکاربرد در #آمار، #اقتصاد، و #علوم_تجربی است.


@gu_stat

🔸How to Become a Data Analyst in 2020🔸

🔸چطور در سال 2020 تبدیل به یک تحلیلگر داده شویم؟🔸

#بخش_2

📎 لینک مقاله گفته شده در ویدیو :
‘’STARTING A CAREER IN DATA SCIENCE: THE ULTIMATE GUIDE’’
مقاله ای کامل در مورد شروع یک حرفه (یا شغل) در علم داده



#تحلیلگر_داده
#آنالیز_داده

منبع:
365 Data Science

@gu_stat

#معرفی_کتاب
🔴کتاب بخوانیم😊📖📚
این کتاب که در دسته کتاب‌های آماری قرار می‌گیرد در 9 فصل به مسئله آمار پرداخته است. «آمارگیری‌های مغرضانه و جهت‌دار»،‌ «بازی با لغات و تعاریف»، «هیاهو برای هیچ»، «حقه‌بازی با نمودارها»، «چگونه با آمار فریب نخوریم؟» و ... از جمله سرفصل‌هایی است که ذیل آن به بحث آمار پرداخته شده است.
«آمارها و تجارب آماری در حال شکل‌دهی به ذهنیت و تصمیمات ما هستند. البته این آمارها گاه به شکل درستی بیان می‌شوند، اما آنگونه که درست است برداشت نمی‌شوند. در جای جای این کتاب مثال‌هایی را خواهید دید که هر روز از طریق رسانه‌های مختلف با آنها روبرو هستید و سعی این کتاب این است که این مثال‌ها را بررسی کرده و نشان دهد که چگونه با آگاهی می‌توان از سوء استفاده از اعداد و آمار جلوگیری کرد. در ضمن خواهید دید برای پایان دادن به «استبداد اعداد» نیاز به سواد زیادی نیست. روش‌های کشف حقه‌های آماری در موارد زیادی بسیار ساده هستند، فقط به کسی نیاز دارد که آگاهی‌اش را بالا ببرد و به واسطه آن آگاهی از ابهت اعداد نترسد.»

@gu_stat

❇️چگونه شکل بالارا در Rرسم کنیم؟!

library(tidyverse)
seq(-10, 10, by = .05) %>%
expand.grid(x=., y=.) %>%
ggplot(aes(x=(x+sin(y)), y=(y+cos(x)))) +
geom_point(alpha=.1, shape=20, size=0,‌ color="white")+
theme_void()+coord_fixed()+theme(panel.background = element_rect(fill="violetred4"))



توجه:
🔴ابتدا بسته tidyverse را دانلود نمایید.
#R
👇👇👇
@gu_stat

〽️توزیع هندسی〽️

#دنباله‌ای_ازآزمایش‌های_تصادفی_برنولی_مستقل از یکدیگر را در نظر بگیرید که #احتمال_موفقیت برای هر یک #ثابت و برابر با #p باشد. اگر متغیر تصادفی X را تعداد آزمایش‌ها برای رسیدن به #اولین_موفقیت در نظر بگیریم، این متغیر تصادفی دارای توزیع احتمال با نام #هندسی خواهد بود. پس بین #آزمایش_برنولی و #متغیر_تصادفی و #توزیع_هندسی #ارتباطی وجود دارد.
برای مثال فرض کنید پزشکی در یک روستا به معاینه مردم می‌پردازد تا به #اولین نشانه بیماری دیابت برسد. احتمال شیوع بیماری دیابت از قبل برآورد شده و برابر با p‌ است. شانس اینکه پزشک با معاینه نفر ۵ام به نشانه‌های دیابت برخورد کند از توزیع هندسی قابل محاسبه است.

♦️متغیر تصادفی هندسی #بدون_حافظه است !
فرض کنیم می دانیم تعداد دفعاتی که سکه‌ای را اندخته ایم از n بیشتر است، احتمال اینکه سکه را بیش از n+m دفعه بی اندازیم تا شیر بیاید چقدر است ؟
پس تنها mبار پرتاب بعدی #اهمیت دارد و n بار پرتاب اولیه #بی‌ارزش می‌شود.
@gu_stat

🔸How to Become a Data Analyst in 2020🔸

🔸چطور در سال 2020 تبدیل به یک تحلیلگر داده شویم؟🔸

#بخش_3

📎 لینک مقاله گفته شده در ویدیو :
‘’STARTING A CAREER IN DATA SCIENCE: THE ULTIMATE GUIDE’’
مقاله ای کامل در مورد شروع یک حرفه (یا شغل) در علم داده



#تحلیلگر_داده
#آنالیز_داده

منبع:
365 Data Science

@gu_stat

#آموزنده

قدرت کلام پدر و مادر معجزه می کند …
نقش پدر و مادر ها در آینده فرزندانشان بسیار مؤثر است و این موضوع یک موضوع علمی و ثابت شده است. شاید شما داستان جالب ادیسون و مادرش را شنیده باشید. زمانی که ادیسون به مدرسه می‌رفت، معلم نامه‌ای به ادیسون داد که به مادرش بدهد و گفت این نامه را فقط مادرت بخواند. ادیسون نامه را به مادرش داد و گفت این نامه را معلم به من داده. مادر ادیسون نامه را خواند. در نامه نوشته شده بود:
«با کمال تأسف باید بگویم فرزندتان کودن است و هیچگونه استعدادی برای ادامه‌ تحصیل و درس خواندن ندارد. مدرسه‌ ما نیز جای افراد ابله و کودن‌ نیست و از فردا او را به مدرسه راه نمی دهیم.»
ولی مادر ادیسون کار عجیبی کرد و نامه را جور دیگری برای فرزندش خواند. او نامه را این گونه خواند:
«فرزند شما نابغه و باهوش است و مدرسه‌ ما توان آموزش به فرزندتان را به خاطر داشتن هوش بالا ندارد. شما باید شخصاً خودتان به او آموزش دهید»
این طور شد که مادر ادیسون شروع به درس دادن به فرزندش در منزل کرد. ادیسون در سن ۱۳ سالگی اولین اختراع خود را ثبت کرد. مدتی پس از فوت مادرش، ادیسون صندوقچه‌ مادرش را باز کرد و ‌خواست آن نامه را برای همه بخواند تا به همه ثابت کند از کودکی نابغه بوده و معلمش اولین کسی بوده که این مسئله را فهمیده، ولی با دیدن اصل نامه شروع به گریه کرد و تازه فهمید که نامه معلمش چیز دیگری بوده است !!!
ادیسون تازه فهمید که چطور مادرش از یک ادیسون کودن، یک ادیسون نابغه ساخت!
ادیسون بعدها در خاطراتش نوشت:
توماس ادیسون، فرد کودنی که توسط یک مادر قهرمان، به نابغه‌ قرن تبدیل شد!
منبع: سایت بیتوته
@gu_stat

📈آشنایی با سه مدل رگرسیونی در یک تصویر
- رگرسیون خطی
- رگرسیون لجستیک
- رگرسیون پواسون

#StatisticalModels
#Regression

#مدل‌های‌آماری
#رگرسیون

👇👇👇
@gu_stat

〽️توزیع پواسن〽️

اگر یک #آزمایش_تصادفی به شکلی باشد که #وقوع_یک_پیشامد ، مرتبط با واحد #مکان یا #زمان باشد،‌ یک آزمایش پواسن تشکیل شده است. این نام به علت تحقیقات دانشمند فرانسوی، #سیمون_پواسن در این زمینه انتخاب شده است.

🔸آزمایش پواسن باید شرط‌های زیر را دارا باشد:

▪️بین هر #دو_فاصله_مجزای_مکانی مثل (d1,d2) و (d3,d4) رخداد پیشامد #مستقل از هم باشند. این قانون برای هر #دو_فاصله_زمانی مثل (t1,t2)و (t3,t4)نیز باید وجود داشته باشد.

▪️در هر واحد فاصله #مکانی_یا_زمانی_کوچک، وقوع بیش از یک پیشامد #صفر است. یعنی اگر پیشامد مورد نظر ما A باشد، برای هر فاصله کوچک Δtداشته باشیم: P(t<A<t+Δt)≈0

▪️احتمال رخداد یک پیشامد با طول فاصله مکانی یا زمانی #متناسب باشد. یعنی مثلا اگر طول یک فاصله مکانی برابر با d باشد، احتمال رخداد یک پیشامد در این فاصله برابر با λd باشد. P(D<A<D+d)≈λdکه در آنλ ضریب تناسب یک عدد حقیقی مثبت است.

همانطور که دیده شد،‌ #وقوع یا #عدم_وقوع یک پیشامد در این آزمایش ملاک است. پس می‌توان نتایج آزمایش پواسن را به شکلی مرتبط با آزمایش و #توزیع_دوجمله‌ای دانست. 
@gu_stat

🔶قضیـه حـد مـرکـزی🔶
🔶Central Limit Theorem🔶

🔹اگر بدانیم که X1,X2,⋯,Xn متغیرهای مستقلی هستند و البته توزیع یکسانی هم دارند (در این حالت به آن‌ها iid می‌گوییم) می‌توانیم توزیع احتمال مجموع آن‌ها را، زمانی که n به اندازه کافی بزرگ باشد، نرمال در نظر بگیریم.

🔹نکته جالب در این قضیه عدم اطلاع از توزیع متغیرهای تصادفی است.
به این ترتیب شرایط استفاده از قضیه حد مرکزی را به صورت زیر معرفی می‌کنیم :

1️⃣متغیرهای تصادفی دارای توزیع یکسان باشند. به این معنی که علاوه بر هم خانواده بودن توزیع متغیرها باید پارامترهای یکسانی داشته باشند. البته ممکن است این پارامتر‌ها از قبل مشخص نباشند.

2️⃣متغیرهای تصادفی باید از یکدیگر مستقل باشند.

3️⃣متناهی بودن واریانس نیز از شرایط دیگر و مهم برای قضیه حد مرکزی است. اگر واریانس متغیرهای تصادفی ثابت و متناهی نباشند، قضیه حد مرکزی اعتبار خود را از دست خواهد داد و ممکن است مجموع دنباله‌ای از متغیرهای تصادفی به یک توزیع پایدار دیگر میل کند.




❗️ مثال پرتاب سکـه ❗️

🔻از آنجایی که هر بار پرتاب سکه مستقل از دفعات دیگر است و پارامتر توزیع برنولی در هر بار تکرار تغییر نمی‌کند (توزیع برنولی با پارامتر ثابت)، مشخص است که مجموع این متغیرهای تصادفی برنولی، دارای «توزیع دوجمله‌ای» است.
با توجه به بزرگ بودن مقدار n (تکرار آزمایش‌های پرتاب سکه) محاسبه احتمال براساس توزیع دوجمله‌ای سخت خواهد بود.

🔻قضیه حد مرکزی از آنجایی که واریانس توزیع برنولی متناهی است قابل استفاده بوده و می‌توان توزیع احتمالی برای مجموع یا میانگین Xها که به نوعی برآورد برای احتمال موفقیت در آزمایش برنولی است را توزیع نرمال در نظر گرفت.

🔻در مثال ذکر شده ، سه شرط استفاده از قضیه حدمرکزی صادق است.


#Central_Limit_Theorem
#قضیه_حد_مرکزی
#مقاله


منبع
@gu_stat