#مفاهیم
#Neural_Networks #NN #AI
ما شبکه‌های عصبی را با ساختار MLP می‌شناسیم، جایی که توابع فعالسازی ثابت اما وزن اتصالات یادگیری شونده است.
حال ساختار جدیدی رو شده است که KAN نام دارد. در شبکه‌های KAN در واقع تابع فعالسازی یک چیز مشخص نیست و یادگیری می‌شود. پس می‌توان توابع غیرخطی در تک تک نورون‌ها فرا گرفت.
مزیت چیست؟ نخست اینکه یک شبکه KAN با تعداد نورون‌های خیلی کم می‌تواند دقت بهتری از یک شبکه MLP با تعداد زیادی نورون بدهد. دوم اینکه شبکه KAN می‌تواند فیزیک مسأله را یاد بگیرد - به لطف اینکه تابع غیرخطی فعالسازی چون spline یادگیری می‌شود - و مشخصا آنچه که یادگرفته قابل تفسیر است و مقدار Black Box بودن مسأله بسیار کم می‌شود.
مشکل شبکه‌های KAN این است که با GPU نمی‌تواند آموزش ببیند، اگرچه برای یادگیری فیزیک‌های نه چندان بزرگ با CPU های قوی بخوبی می‌توان بر روی KAN ها حساب باز کرد.
مقاله کامل در آی تریپل ای اسپکتروم قابل خواندن است.
https://spectrum.ieee.org/kan-neural-network
----------
@roboticknowledge
#Neural_Networks #NN #AI
ما شبکه‌های عصبی را با ساختار MLP می‌شناسیم، جایی که توابع فعالسازی ثابت اما وزن اتصالات یادگیری شونده است.
حال ساختار جدیدی رو شده است که KAN نام دارد. در شبکه‌های KAN در واقع تابع فعالسازی یک چیز مشخص نیست و یادگیری می‌شود. پس می‌توان توابع غیرخطی در تک تک نورون‌ها فرا گرفت.
مزیت چیست؟ نخست اینکه یک شبکه KAN با تعداد نورون‌های خیلی کم می‌تواند دقت بهتری از یک شبکه MLP با تعداد زیادی نورون بدهد. دوم اینکه شبکه KAN می‌تواند فیزیک مسأله را یاد بگیرد - به لطف اینکه تابع غیرخطی فعالسازی چون spline یادگیری می‌شود - و مشخصا آنچه که یادگرفته قابل تفسیر است و مقدار Black Box بودن مسأله بسیار کم می‌شود.
مشکل شبکه‌های KAN این است که با GPU نمی‌تواند آموزش ببیند، اگرچه برای یادگیری فیزیک‌های نه چندان بزرگ با CPU های قوی بخوبی می‌توان بر روی KAN ها حساب باز کرد.
مقاله کامل در آی تریپل ای اسپکتروم قابل خواندن است.
https://spectrum.ieee.org/kan-neural-network
----------
@roboticknowledge
IEEE Spectrum
A New Type of Neural Network Is More Interpretable
This new type of network learns functions rather than linear weights, allowing researchers to understand their behavior better. These networks could be the antidote to "black box" artificial intelligence, which could be particularly useful in helping scientists…