👩‍🎓 برنامه آموزشی هفته: مراحل پیش پردازش داده

🟠شنبه: پاکسازی داده

🔵یک‌شنبه: نرمال‌سازی داده

🟢دوشنبه: مدیریت حافظه

🔴سه‌شنبه: مدیریت داده‌های پرت

🟠چهارشنبه: انتخاب ویژگی

🔵پنج‌شنبه: افزایش داده

🟢جمعه: جمع بندی

#Data_Analysis
#Data_Preprocessing

@Data_ML | دیتاساینس و ماشین‌ لرنینگ

👨‍🎓 پیش پردازش داده: Data Cleaning و Data Cleansing

قبل از وارد کردن دیتا به مدل، باید خطاها، نویز، مقادیر گمشده، تکراری یا نادرست مدیریت شن تا خروجی مدل بهینه شه. پاکسازی داده‌ها مرحله‌ایه که در اون داده‌ها از نظر کیفیت بررسی و اصلاح می‌شن و این کار نتایج تحلیل‌ها رو تحت تأثیر قرار می‌ده. بنابراین، پاکسازی داده‌ به دلایل زیر اهمیت دارد:

🔵افزایش دقت مدل‌: مدل‌های یادگیری ماشین و تحلیل‌های آماری به داده‌های تمیز و دقیق نیاز دارن تا نتایج قابل اعتمادی ارائه بدن.

🔵کاهش خطا: حذف داده‌های نادرست یا گمشده خطاهای احتمالی رو کاهش می‌ده.

🔵بهبود کیفیت داده: داده‌های تمیز به تحلیلگران و دانشمندان داده این امکان رو می‌ده تا با اطمینان بیشتری به تحلیل و استخراج اطلاعات بپردازن.

🔵 فرآیند Data Cleansing معمولاً به شناسایی و اصلاح (یا حذف) داده‌های نامعتبر و اشتباه از یک مجموعه داده اشاره داره. این شامل شناسایی داده‌های نادرست، ناقص، ناهماهنگ، یا تکراری و بعد اصلاح‌شونه.

🔵مراحل:
- شناسایی و حذف رکوردهای تکراری
- اصلاح خطاهای ورودی (مثلاً غلط املایی‌ها)
- تکمیل داده‌های ناقص (مثلاً پر کردن فیلدهای خالی)
- استانداردسازی داده‌ها (مثلاً یکنواخت کردن فرمت تاریخ‌ها)
- تأیید اعتبار داده‌ها (مثلاً بررسی کدهای پستی)

🔵هدف: بهبود کیفیت داده‌ها به نحوی که برای تحلیل و استفاده‌های بعدی دقیق و قابل اعتماد باشن.

🔵 فرآیند Data Cleaning به صورت گسترده‌تر به آماده‌سازی داده‌ها برای استفاده، که شامل Data Cleansing هم می‌شه، اشاره داره. این فرآیند ممکنه شامل عملیات‌های بیشتری مثل تبدیل داده‌ها، یکپارچه‌سازی منابع مختلف داده و حتی حذف داده‌های غیر ضروری باشه.

🔵مراحل:
- همه مراحل Data Cleansing
- تبدیل داده‌ها به فرمت‌های مورد نیاز
- یکپارچه‌سازی منابع مختلف داده
- حذف داده‌های غیرضروری یا بی‌ربط

🔵هدف: فراهم کردن داده‌های تمیز و آماده برای تحلیل، مدل‌سازی و سایر استفاده‌ها.

در کل Data Cleansing بیشتر به اصلاح و حذف خطاهای موجود در داده‌ها تمرکز داره و Data Cleaning به آماده‌ و یکپارچه‌سازی کلی داده‌ها برای استفاده.

#Data_Analysis
#Data_Preprocessing

@Data_ML | دیتاساینس و ماشین‌ لرنینگ