🚨 آیا می‌دانستید یکی از دلایل شکست بعضی مدل‌های Deep Learning فقط یک تابع فعال‌سازی ساده است؟

🔎 خیلی وقت‌ها ما سراغ ReLU می‌رویم چون سریع، ساده و محبوب است.
اما مشکل بزرگش: وقتی ورودی منفی باشد، خروجی صفر می‌دهد → یعنی نورون می‌میرد و دیگر یاد نمی‌گیرد!

اینجاست که Leaky ReLU وارد بازی می‌شود.
به جای صفر کردن همه مقادیر منفی، یک شیب کوچک (مثلاً 0.01) به آن‌ها می‌دهد.
🔧 همین تغییر کوچک باعث می‌شود نورون‌ها زنده بمانند و مدل بهتر یاد بگیرد.

📊 در عمل:

سرعت آموزش بالا می‌رود.

خطر Dead Neurons کم می‌شود.

مدل به داده‌های متنوع حساس‌تر می‌شود.

💡 درس مهم: همیشه به انتخاب Activation Function دقت کنید. گاهی یک تغییر کوچک می‌تواند تفاوت بزرگی در عملکرد مدل ایجاد کند.

#DL

این تصویر مقایسه ساده و واضح بین ReLU و Leaky ReLU نشون می‌ده:

محور افقی (z): ورودی نورون

محور عمودی (a): خروجی تابع فعال‌سازی

🔸 ReLU (خط نارنجی):

برای ورودی‌های مثبت → خروجی همون مقدار ورودی (خط مستقیم به سمت بالا).

برای ورودی‌های منفی → خروجی صفر (خط افقی).

مشکل: وقتی نورون مقدار منفی زیاد ببینه، همیشه صفر میشه → یادگیری متوقف میشه (Dead Neurons).

🔹 Leaky ReLU (خط آبی-سبز):

برای ورودی‌های مثبت مثل ReLU رفتار می‌کنه.

اما برای ورودی‌های منفی → به‌جای صفر، مقدار خیلی کوچیکی (شیب کوچک) خروجی می‌ده.

نتیجه: نورون‌ها زنده می‌مونن و مدل همچنان یاد می‌گیره.

خلاصه:
📌 ReLU سریع و ساده است ولی ریسک مردن نورون‌ها رو داره.
📌 Leaky ReLU با یه تغییر کوچک (شیب منفی) این مشکل رو حل می‌کنه.

🧠 یه مغز، چند زاویه نگاه!

تا حالا شده یه جمله رو بخونی و هر بار یه چیز جدید ازش بفهمی؟
(من خودم شخصا شب‌های امتحان اینجوری‌ام🙄😁__هربار جزوه را میخونی صدتا نکته جدید متوجه میشی)

مثلاً جمله‌ی:

اون با لبخند گفت مشکلی نیست.

یه نفر ممکنه توجهش به کلمه‌ها باشه،
یکی دیگه به احساس پشت جمله،
و یکی هم به نقش هر کلمه تو ساختار جمله.

مدل‌های Transformer هم دقیقاً همین کار رو می‌کنن — فقط به شکل هوش مصنوعی! 😎

در بخش Multi-Head Attention، مدل چند تا "سر" داره (Head) که هرکدوم از یه زاویه به جمله نگاه می‌کنن:
👁️ یکی روی معنی کلمه‌ها تمرکز می‌کنه
🧩 یکی روی ساختار و ترتیب جمله
💬 یکی هم شاید روی احساس، لحن یا زمینه
✨ نتیجه؟
مدلی که مثل انسان درک عمیق‌تری از زبان پیدا می‌کنه — نه فقط از روی کلمه‌ها، بلکه از روابط و حس بین اون‌ها.

💡 و این دقیقاً همون چیزیه که باعث شده Transformerها انقلاب کنن توی درک زبان!

#بدانیم | @LearnPythonicy

خروجی کد زیر چیست؟

x = [1, 2, 3]
y = map(lambda a: a * 2, x)
print(list(y))

- گزینه‌ها:
- A) [1, 2, 3]
- B) [2, 4, 6]
- C) خطا
- D) None