📌 تکنیک انتقال دانش (Knowledge Distillation): یادگیری از مدل بزرگ‌تر با مغز کوچک‌تر!
@rss_ai_ir
در بسیاری از پروژه‌های یادگیری عمیق، مدل‌هایی با دقت بالا اما ابعاد بزرگ طراحی می‌شوند که اجرای آن‌ها روی دستگاه‌های محدود (مثل موبایل، بردهای لبه یا مرورگرها) عملاً ممکن نیست. اینجاست که انتقال دانش وارد می‌شود.

🧠 در این تکنیک، یک مدل دانش‌آموز (Student) از یک مدل معلم (Teacher) که قبلاً آموزش دیده، یاد می‌گیرد. به‌جای یادگیری مستقیم از داده‌های برچسب‌خورده، مدل دانش‌آموز تلاش می‌کند خروجی‌های نرم (soft outputs) مدل معلم را تقلید کند.

🔬 چرا خروجی نرم مهم است؟
در یک شبکه معمولی، خروجی نهایی معمولاً به‌صورت one-hot است: مثلاً گربه = 1 و بقیه = 0.
اما در Softmax با دمای بالا (T > 1)، توزیع احتمال صاف‌تری به‌دست می‌آید (مثلاً گربه: 0.75، روباه: 0.2، سگ: 0.05)، که نشان‌دهنده «درک ظریف» مدل معلم از شباهت بین کلاس‌هاست.
🎯 این اطلاعات اضافی باعث می‌شود مدل دانش‌آموز بهتر یاد بگیرد — حتی اگر تعداد پارامترهایش خیلی کمتر باشد.

📌 کاربردهای کلیدی Knowledge Distillation:
✅ کاهش حجم مدل برای deployment در دستگاه‌های محدود
✅ افزایش سرعت inference بدون افت دقت محسوس
✅ تقویت یادگیری مدل‌های ضعیف‌تر در شرایط کم‌داده
✅ استفاده در ترکیب با pruning و quantization
🧪 ترکیب رایج Loss:
Loss = α × CrossEntropy(student, labels) + (1 − α) × KL_Divergence(student_T, teacher_T)
که در آن student_T و teacher_T خروجی‌های Softmax با دمای بالا هستند.

👁‍🗨 مثال واقعی:
مدلی مثل TinyBERT از طریق انتقال دانش از BERT-base آموزش داده شده و با وجود کاهش چشمگیر در تعداد پارامتر، عملکردی نزدیک به نسخه کامل دارد.

📎 اگر علاقه‌مند به Distillation هستی، می‌تونی موضوعاتی مثل:
Layer-wise Distillation
Feature-based Distillation
Self-Distillation (بدون معلم خارجی!)
رو هم بررسی کنی.
#هوش_مصنوعی #دانش_ماشین #یادگیری_عمیق #KnowledgeDistillation #مدل_سبک #AI
@rss_ai_ir