👩‍🎓 برنامه آموزشی هفته: معیارهای ارزیابی

🟠شنبه: SSE / MSE / SAE

🔵یک‌شنبه: R2 score

🟢دوشنبه: Confusion Matrix

🔴سه‌شنبه: ROC / AUC

🟠چهارشنبه: ارزیابی خوشه‌بندی - روش‌های باناظر

🔵پنج‌شنبه: ارزیابی خوشه‌بندی - روش‌های بدون ناظر

🟢جمعه: جمع بندی

#Evaluation_Metrics

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 بررسی معیارهای ارزیابی SSE ،MSE و SAE

در مدل‌سازی اندازه‌گیری خطاها تعیین‌کننده است چون خطاها نشون‌دهنده تفاوت بین مقادیر واقعی و مقادیر پیش‌بینی شده توسط مدل هستن. سه معیار پرکاربرد برای اندازه‌گیری خطاها شامل SSE (مجموع مربعات خطاها)، MSE (میانگین مربعات خطاها) و SAE (مجموع خطاهای مطلق) می‌شن.

🔵 معیار SSE مخفف عبارت Sum of Squared Errors هست که به معنی مجموع مربعات خطاهاست. این معیار نشون‌دهنده مجموع مربعات تفاوت‌های بین مقادیر واقعی و مقادیر پیش‌بینی شده است.

🔵حساسیت به خطاهای بزرگ: به دلیل مربع بودن خطاها، SSE به خطاهای بزرگ حساس‌تره و وزن بیشتری به اونها می‌ده.

🔵کاربرد: SSE بیشتر در شرایطی استفاده می‌شه که بخوایم تاثیر خطاهای بزرگ رو بیشتر مورد توجه قرار بدیم، مثل مدل‌های رگرسیون.

🔵 معیار MSE مخفف عبارت Mean Squared Error هست که به معنی میانگین مربعات خطاهاست. این معیار نشون‌دهنده میانگین مجموع مربعات تفاوت‌های بین مقادیر واقعی و مقادیر پیش‌بینی شده است.

🔵نرمال‌سازی شده: MSE به دلیل تقسیم بر تعداد نمونه‌ها، به نوعی نرمال‌سازی شده است و با مقیاس داده‌ها همخوانی بیشتری داره.

🔵حساسیت به خطاهای بزرگ: مثل SSE، معیار MSE هم به خطاهای بزرگ حساسه.

🔵کاربرد: MSE در مدل‌های پیش‌بینی و رگرسیون بسیار استفاده می‌شه و یکی از معیارهای اصلی برای ارزیابی عملکرد مدل‌هاست.

🔵 معیار SAE مخفف عبارت Sum of Absolute Errors هست که به معنی مجموع خطاهای مطلقه. این معیار نشون‌دهنده مجموع مقادیر مطلق تفاوت‌های بین مقادیر واقعی و مقادیر پیش‌بینی شده است.

🔵غیر حساس به خطاهای بزرگ: SAE به دلیل استفاده از مقدار مطلق، به خطاهای بزرگ مثل خطاهای کوچک نگاه می‌کنه و حساسیت کمتری به خطاهای بزرگ داره.

🔵کاربرد: SAE بیشتر در شرایطی استفاده می‌شه که بخوایم تاثیر خطاهای کوچک و بزرگ به صورت مساوی در نظر گرفته شن، مثل بعضی از کاربردهای پیش‌بینی.

🔵 مقایسه SSE ،MSE و SAE

🔵معیارهای SSE و MSE به دلیل استفاده از مربعات خطاها، به خطاهای بزرگ حساس‌ترن و تاثیر بیشتری از خطاهای بزرگ می‌پذیرن.

🔵معیار SAE به دلیل استفاده از مقادیر مطلق، به خطاهای بزرگ و کوچک به یک میزان توجه می‌کنه و به نوعی متوسط خطاها رو نشون می‌ده.

🔵معیار MSE به دلیل میانگین‌گیری، معیاری نرمال‌سازی شده ارائه می‌ده که برای مقایسه مدل‌های مختلف بسیار مفیده.

#Evaluation_Metrics

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

💡 معیارهای بررسی خطا در مدل‌های یادگیری ماشین

🔵 رگرسیون

🔵خطای میانگین مربعات (Mean Squared Error - MSE)
🔵خطای میانگین مطلق (Mean Absolute Error - MAE)
🔵ریشه میانگین مربعات خطا (Root Mean Squared Error - RMSE)
🔵خطای میانگین بایاس (Mean Bias Error - MBE)
🔵خطای هابر (Huber Loss - HL)

🔵 طبقه‌بندی باینری

🔵خطای لایکلی‌هود (Likelihood Loss - LHL)
🔵باینری کراس انتروپی (Binary Cross Entropy - BCE)
🔵خطای هیج و خطای هیج مربعی (Hinge Loss and Squared Hinge Loss - HL and SHL)

🔵 طبقه‌بندی چندگانه

🔵کراس انتروپی دسته‌ای (Categorical Cross Entropy - CCE)
🔵واگرایی کولبک-لیبلر (Kullback-Leibler Divergence - KLD)

#Evaluation_Metrics

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 ماتریس درهم ریختگی یا Confusion Matrix

ماتریس درهم ریختگی یا سردرگمی یک ابزار قدرتمند و پرکاربرد در ارزیابی عملکرد مدل‌های یادگیری ماشینه. این ماتریس کمک می‌کنه تا نحوه عملکرد مدل در تشخیص درست و نادرست نمونه‌ها مشخص شه و درنهایت نتیجه‌گیری شه که مدل چقدر دقیق عمل می‌کنه.

🔵 ماتریس سردرگمی یک جدول دو بعدیه که عملکرد یک مدل طبقه‌بندی رو نشون می‌ده. این ماتریس شامل چهار خانه است که هر خانه نشون‌دهنده یکی از نتایج ممکن مدله. این نتایج عبارتند از:

🔵مثبت صحیح (True Positive - TP): تعداد نمونه‌های مثبت واقعی که به درستی به عنوان مثبت پیش‌بینی شدن.

🔵منفی صحیح (True Negative - TN): تعداد نمونه‌های منفی واقعی که به درستی به عنوان منفی پیش‌بینی شدن.

🔵مثبت کاذب (False Positive - FP): تعداد نمونه‌های منفی واقعی که به اشتباه به عنوان مثبت پیش‌بینی شدن.

🔵منفی کاذب (False Negative - FN): تعداد نمونه‌های مثبت واقعی که به اشتباه به عنوان منفی پیش‌بینی شدن.

🔵حساسیت (Sensitivity) یا نرخ تشخیص صحیح: نسبت تعداد نمونه‌های مثبت صحیح به مجموع نمونه‌های مثبت واقعیه. این شاخص نشون می‌ده که مدل چقدر خوب تونسته نمونه‌های مثبت رو تشخیص بده. هرچه مقدار حساسیت بالاتر باشه، مدل در تشخیص نمونه‌های مثبت عملکرد بهتری داره.

🔵ویژگی (Specificity) یا نرخ منفی صحیح: نسبت تعداد نمونه‌های منفی صحیح به مجموع نمونه‌های منفی واقعیه. این شاخص نشون می‌ده که مدل چقدر خوب تونسته نمونه‌های منفی رو تشخیص بده. هرچه مقدار ویژگی بالاتر باشه، مدل در تشخیص نمونه‌های منفی عملکرد بهتری داره.

🔵دقت (Precision): دقت، نسبت تعداد نمونه‌های مثبت صحیح به مجموع نمونه‌های پیش‌بینی‌شده به عنوان مثبته. این شاخص نشون می‌ده که چه درصدی از پیش‌بینی‌های مثبت مدل درست بودن. دقت بالا نشون می‌ده که مدل کمتر نمونه‌های منفی رو به اشتباه به عنوان مثبت تشخیص داده.

🔵ارزش پیش‌بینی منفی (Negative Predictive Value): نسبت تعداد نمونه‌های منفی صحیح به مجموع نمونه‌های پیش‌بینی‌شده به عنوان منفیه. این شاخص نشون می‌ده که چه درصدی از پیش‌بینی‌های منفی مدل صحیح بودن. ارزش پیش‌بینی منفی بالا نشون می‌ده که مدل کمتر نمونه‌های مثبت رو به اشتباه به عنوان منفی تشخیص داده.

🔵دقت کلی (Accuracy): دقت کلی، نسبت مجموع تعداد نمونه‌های صحیح (مثبت صحیح و منفی صحیح) به مجموع کل نمونه‌هاست. این شاخص نشون می‌ده که مدل در کل چقدر درست عمل کرده. دقت کلی بالا نشون می‌ده که مدل در تشخیص صحیح نمونه‌ها (چه مثبت و چه منفی) عملکرد خوبی داشته.

استفاده درست از ماتریس سردرگمی و فهم صحیح شاخص‌های مختلفش به ساخت مدل‌های دقیق‌تر و کارآمدتر کمک می‌کنه.

#Evaluation_Metrics

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 معیار ROC / AUC

نمودار ROC (Receiver Operating Characteristic) و مساحت زیر آن AUC (Area Under the Curve) دو ابزار مهم در ارزیابی عملکرد مدل‌های یادگیری ماشین هستن. این ابزارها به خصوص در مدل‌های طبقه‌بندی (Classification) کاربرد دارن و به ما کمک می‌کنن تا بفهمیم مدل چقدر خوب تونسته دسته‌بندی کنه.

🔵 نمودار ROC توانایی یک مدل در تفکیک دسته‌های مثبت و منفی رو نشون می‌ده. این نمودار دو محور اصلی داره:

🔵محور افقی (False Positive Rate یا FPR): نرخ مثبت کاذب که نشون‌دهنده درصد داده‌های منفیه که به اشتباه به عنوان مثبت دسته‌بندی شدن.

🔵محور عمودی (True Positive Rate یا TPR): نرخ مثبت صحیح که نشون‌دهنده درصد داده‌های مثبته که به درستی به عنوان مثبت دسته‌بندی شدن.

🔵 معیار AUC مخفف Area Under the Curve به مساحت زیر منحنی ROC اشاره داره. مقدار AUC عددی بین ۰ و ۱ هست که نشون می‌ده مدل چقدر خوب تونسته طبقه‌بندی کنه. هر چه مقدار AUC به ۱ نزدیک‌تر باشه، مدل بهتر عمل کرده.

🔵 نحوه رسم نمودار ROC

برای رسم نمودار ROC، اول باید یک سری آستانه (Threshold) تعیین کرد. برای هر آستانه، نرخ‌های FPR و TPR محاسبه و بعد نقاط مربوط به هر آستانه روی نمودار رسم می‌شن. با اتصال این نقاط، منحنی ROC به دست میاد.

🔵 مزایا

🔵تفسیر ساده: منحنی ROC و مقدار AUC تفسیر ساده‌ای دارن و به راحتی عملکرد مدل رو نشون می‌دن.

🔵مقایسه مدل‌ها: با استفاده از AUC می‌شه به سادگی چند مدل مختلف رو با هم مقایسه کرد.

🔵پایداری در مقابل داده‌های نامتوازن: AUC نسبت به عدم تعادل کلاس‌ها (مثلاً وقتی تعداد داده‌های یک کلاس خیلی بیشتر از کلاس دیگه است) پایدارتره.

🔵 معایب و محدودیت‌ها

🔵اطلاعات ناقص: گاهی اوقات AUC اطلاعات کاملی درباره عملکرد مدل نمی‌ده و ممکنه نیاز باشه از متریک‌های دیگه هم استفاده شه.

🔵تفسیر اشتباه: گاهی اوقات تفسیر نمودار ROC و مقدار AUC سخته، به خصوص وقتی که مدل‌ها عملکرد مشابهی دارن.

#Evaluation_Metrics

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 ارزیابی خوشه‌بندی: روش‌های باناظر

معیارهای خوشه‌بندی نظارت شده برای ارزیابی کیفیت خوشه‌بندی با مقایسه خوشه‌ها با برچسب‌های واقعی استفاده می‌شن. در اینجا بعضی از معیارهای خوشه‌بندی نظارت شده رایج توضیح داده شدن:

شاخص تنظیم شده رند (Adjusted Rand Index - ARI): شاخص ARI میزان شباهت بین دو خوشه‌بندی رو اندازه‌گیری می‌کنه. این شاخص جفت‌های نمونه‌هایی رو که در خوشه‌های پیش‌بینی شده و واقعی به یک خوشه یا خوشه‌های مختلف اختصاص داده شدن، می‌شماره و نتایج رو برای شانس تصادفی تنظیم می‌کنه. ARI بین -1 تا 1 نوسان داره، که 1 نشون‌دهنده توافق کامل بین خوشه‌بندی‌ها و 0 نشون‌دهنده توافقی که به‌طور تصادفی به دست آمده، هست.

شاخص نرمال شده اطلاعات متقابل (Normalized Mutual Information - NMI):
شاخص NMI میزان اطلاعات مشترک بین دو خوشه‌بندی رو اندازه‌گیری می‌کنه. این شاخص مقدار اطلاعاتی که از یک خوشه‌بندی درباره خوشه‌بندی دیگه به دست میان رو نشون می‌ده و نتایج رو بین 0 (بدون اطلاعات مشترک) و 1 (اطلاعات کامل) نرمال‌سازی می‌کنه. NMI برای ارزیابی میزان همبستگی و وابستگی بین خوشه‌ها مفیده.

همگنی، کامل بودن، و اندازه V:

- همگنی (Homogeneity): شاخص همگنی اطمینان حاصل می‌کنه که هر خوشه تنها اعضای یک کلاس خاص رو در بر داره. اگه هر خوشه فقط شامل داده‌های یک دسته خاص باشه، خوشه‌بندی همگنه.

- کامل بودن (Completeness): شاخص کامل بودن اطمینان حاصل می‌کنه که همه اعضای یک کلاس خاص به یک خوشه واحد اختصاص داده شدن. اگه همه نمونه‌های یک کلاس در یک خوشه قرار بگیرن، خوشه‌بندی کامله.

- اندازه V (V-Measure): اندازه V میانگین هارمونیک همگنی و کامل بودنه. این شاخص تعادلی بین همگنی و کامل بودن برقرار می‌کنه و میزان کارایی خوشه‌بندی رو نشون می‌ده.

شاخص فولکس-مالوز (Fowlkes-Mallows Index - FMI):
شاخص FMI میانگین هندسی دقت و یادآوری جفت‌ نقاطی که با هم خوشه‌بندی شدن رو اندازه‌گیری می‌کنه. این شاخص بین 0 تا 1 نوسان داره، که 1 نشون‌دهنده خوشه‌بندی کامل و 0 نشون‌دهنده خوشه‌بندی ضعیفه. FMI به ارزیابی میزان شباهت بین خوشه‌های واقعی و پیش‌بینی شده کمک می‌کنه.

شاخص تنظیم شده اطلاعات متقابل (Adjusted Mutual Information - AMI):
شاخص AMI شبیه به NMI هست اما امتیاز اطلاعات متقابل رو برای شانس تنظیم می‌کنه. AMI میزان اطلاعات مشترک بین دو خوشه‌بندی رو اندازه‌گیری می‌کنه و نتایج رو برای تاثیرات شانس تصادفی تنظیم می‌کنه، که در نتیجه به ارائه ارزیابی دقیق‌تر کمک می‌کنه.

معیارهای مبتنی بر ماتریس درهم ریختگی (Confusion Matrix-Based Metrics):
این معیارها شامل دقت (Precision)، یادآوری (Recall) و امتیاز F1 هستن. این معیارها می‌تونن برای ارزیابی عملکرد خوشه‌بندی با در نظر گرفتن مسئله به عنوان یک مسئله طبقه‌بندی تطبیق داده شن. ماتریس آشفتگی توزیع نتایج پیش‌بینی شده رو در مقابل نتایج واقعی نشون می‌ده و به تحلیل دقیق‌تر عملکرد الگوریتم کمک می‌کنه.

این معیارها راهی برای ارزیابی کمی نتایج خوشه‌بندی با مقایسه آنها با مجموعه‌ای از برچسب‌های واقعی ارائه می‌دن و به تحلیل دقیق‌تر کیفیت خوشه‌بندی کمک می‌کنن.

#Evaluation_Metrics

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 ارزیابی خوشه‌بندی: روش‌های بدون ناظر

ارزیابی‌های خوشه‌بندی بدون نظارت، کیفیت خوشه‌بندی‌ها رو بدون نیاز به برچسب‌های واقعی یا از پیش تعیین‌شده بررسی می‌کنن.

🔵امتیاز سیلوئت (Silhouette): میزان شباهت یک شیء به خوشه خودش، در مقایسه با خوشه‌های دیگه اندازه‌گیری می‌کنه. از -۱ تا ۱ متغیره، که مقدار بالاتر نشون‌دهنده خوشه‌های بهتر تعریف‌ شده است.

🔵شاخص Davies-Bouldin: نسبت شباهت متوسط هر خوشه با خوشه‌ای که بیشترین شباهت رو با باهاش داره، ارزیابی می‌کنه. مقادیر پایین‌تر نشون‌دهنده خوشه‌بندی بهترن.

🔵شاخص Calinski-Harabasz (معیار نسبت واریانس): نسبت مجموع پراکندگی بین خوشه‌ها به پراکندگی داخل خوشه‌ها رو اندازه‌گیری می‌کنه. مقادیر بالاتر نشون‌دهنده خوشه‌بندی بهتره.

🔵شاخص Dunn: نسبت حداقل فاصله بین خوشه‌ای به حداکثر فاصله داخل خوشه‌ای رو اندازه‌گیری می‌کنه. مقادیر بالاتر نشون‌دهنده خوشه‌بندی بهتره.

🔵مجموع مربعات درون خوشه‌ای (WCSS): مجموع فاصله‌های هر نقطه با مرکز خوشه‌اش رو اندازه‌گیری می‌کنه. مقادیر پایین‌تر نشون‌دهنده خوشه‌های فشرده‌ترن.

🔵مجموع مربعات بین خوشه‌ای (BCSS): جداسازی بین خوشه‌های مختلف رو اندازه‌گیری می‌کنه. مقادیر بالاتر نشون‌دهنده جداسازی بهترن.

🔵آمار شکاف: مجموع تغییرات درون خوشه‌ای برای تعداد خوشه‌های مختلف رو با مقادیر مورد انتظارشون، تحت توزیع مرجع داده‌های بدون ساختار مقایسه می‌کنه.

🔵انسجام و جداسازی:
- انسجام: اندازه‌گیری می‌کنه که اعضای یک خوشه چقدر به هم نزدیک هستن.
- جداسازی: اندازه‌گیری می‌کنه که یک خوشه چقدر از خوشه‌های دیگه متمایز یا جداست.

🔵روش Elbow: به تعیین تعداد بهینه خوشه‌ها با رسم WCSS در برابر تعداد خوشه‌ها و جستجوی نقطه "آرنج" که در اون نرخ کاهش به طور قابل توجهی کند می‌شه، کمک می‌کنه.

#Evaluation_Metrics

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

⏰ پست‌های هفته‌ای که گذشت رو این‌جا پیدا کنین!

🔺 آموزشی

🔵بررسی معیارهای ارزیابی SSE ،MSE و SAE
📎 https://t.me/data_ml/587

🔵ضریب تعیین یا R² Score
📎 https://t.me/data_ml/590

🔵ماتریس درهم ریختگی یا Confusion Matrix
📎 https://t.me/data_ml/594

🔵معیار ROC / AUC
📎 https://t.me/data_ml/597

🔵ارزیابی خوشه‌بندی: روش‌های باناظر
📎 https://t.me/data_ml/601

🔵ارزیابی خوشه‌بندی: روش‌های بدون ناظر
📎 https://t.me/data_ml/603

🔺 کوئیز

🔵کوییز شماره ۱۶۲: انتخاب معیار محاسبه خطا برای یک مسئله
📎 https://t.me/data_ml/588

🔵کوییز شماره ۱۶۳: شرایط استفاده از ضریب تعیین
📎 https://t.me/data_ml/592

🔵کوییز شماره ۱۶۴: ماتریس سردرگمی و دقت مدل
📎 https://t.me/data_ml/595

🔵کوییز شماره ۱۶۵: تحلیل چند کلاسه و روش محاسبه AUC
📎 https://t.me/data_ml/598

🔵کوییز شماره ۱۶۶: چرا از ضریب رند تعدیل‌شده استفاده می‌شه؟
📎 https://t.me/data_ml/602

🔵کوییز شماره ۱۶۷: شاخص ارزیابی برای محاسبه میزان فشردگی داخل خوشه‌ها
📎 https://t.me/data_ml/604

🔺 نکته

🔵 معیارهای بررسی خطا در مدل‌های یادگیری ماشین
📎 https://t.me/data_ml/589

🔵برنامه‌ریزی برای یادگیری ماشین لرنینگ
📎 https://t.me/data_ml/593

🔵فهم ماتریس درهم ریختگی با رسم شکل
📎 https://t.me/data_ml/596

🔵نقشه‌راه یادگیری هوش مصنوعی از پایه در سال ۲۰۲۴
📎 https://t.me/data_ml/599

#Weekend
#Evaluation_Metrics

@Data_ML | دیتاساینس و ماشین‌ لرنینگ