آخرش مجبور شدم پیسی رو ریستارت کنم درست بشه

اینم بامزه بود. متوجه شدن هر از گاهی موقع train کردن شبکه‌های عصبی مصنوعی مقدار تابع loss روی دیتای تست که بیانگر میزان خطای مدل هستش در تلاش‌های اولیه تغییر خاصی نمی‌کنه و بعدش یک دفعه میزانش افت می‌کنه و با شیب زیادی پایین میاد. انگار مدل در اپوک های اولیه نمی‌تونه خودش رو روی دیتا فیت کنه و بعد یه دفعه‌ای وزن‌های بهینه‌ی هر نورون رو پیدا می‌کنه و باعث می‌شه خطای پیش بینی کمتر بشه. اسم این پدیده رو گذاشتن گراکینگ (grokking) که معادل فارسیش همون "آهااان فهمیدم" خودمونه. به این تشبیهش کردن که مدل اول روی دیتا فکر می‌کنه و نمی‌تونه الگویی پیدا کنه و بعد یه دفعه متوجه می‌شه و داد میزنه "آهااان فهمیدم".

اسم مدل گراک (grok) (همین هوش مصنوعی توییتر و ایلان ماسک) هم از این قضیه الهام گرفته شده.

ژورنال نیچر پنج روز پیش یه مقاله پر سر و صدایی رو درمورد زبان و نحوه ساخته شدن جملات داخل مغز منتشر کرد که تصورات قبلی رو درمورد این قضایا به هم ریخت. و به طرز جالبی نشون داد فرایند ساخت جملات داخل مغز خیلی شبیه به فرایندیه که LLMها و چت‌بات‌ها باهاش جمله و متن می‌سازن. این پژوهش روی کسایی انجام شد که به خاطر صرع داخل مغزشون (عمدتا لوب فرانتوتمپورال) الکترود کاشته بودن و با استفاده از ثبت فعالیتای الکتریکی نورون‌های این بخش تونستن فرایند ساخت جمله و به هم پیوستن کلمات رو در کسری از ثانیه قبل از بیان اون جمله مشاهده کنن.

تصور قبلی‌ای که درمورد زبان وجود داشت این بود که فرایندش یک فرایند منتشر و پخش هستش و کل شبکه‌های مغز داخلش دخیلن هیچ تک‌نورونی به تنهایی داخلش نقش نداره. اما الان متوجه شدن که نورون‌هایی وجود دارن که هرکدوم به طور اختصاصی برای تشخیص اجزای مختلف جمله بینشون تقسیم وظیفه انجام شده. برای مثال بخشی از نورون‌ها فقط وقتی واکنش نشون میدن که نقش دستوری اون واژه فعل باشه. بعضیای دیگه مواقعی که نقش دستوری کلمه اسم باشه فعال می‌شن. برخی نورون‌های دیگه هم روی معنای کلمات و نحوه ادغامشون برای ساخت عبارت‌های معنادار نقش داشتن. و جالب اینجاست هرکدوم وظیفه اختصاصی خودشون رو داشتن و در وظایف دیگه دخالت نمی‌کردن که این با فرضیه قبلی که می‌گفت فرایند ساخت جمله یک فرایند کلی و بدون وظیفه اختصاصی هستش در تضاده.

نکته جالب‌تری که داخل این مقاله بود شباهت بین جمله سازی مغز و جمله سازی داخل مدل‌های زبانی بزرگ (LLM) بود. اگر درمورد معماری چت‌بات‌ها خونده باشید این رو می‌دونید که فرایند ساخت متن و جمله داخلشون یه مسئله کلاسیفیکیشن (classification) هستش. فرایند این شکلیه که شما پرامپت رو به عنوان ورودی به مدل می‌دید، ورودی وارد شبکه عصبی می‎شه، مدل بر اساس ورودی بین یه تعداد خیلی زیادی از کلمه پیش‌بینی انجام می‌ده تا ببینه احتمال کدوم کلمه از همه بیشتر هستش تا اون رو به عنوان خروجی انتخاب کنه، کلمه‌ای که به عنوان خروجی انتخاب شده به عنوان ورودی جدید وارد شبکه عصبی می‌شه تا کلمه بعدی پیش‌بینی و انتخاب بشه، کلمه خروجی جدید به کلمه قبلی چسبیده می‌شه و این دوتا کلمه به عنوان ورودی‌های جدید وارد شبکه می‌شن و این چرخه به طور پیوسته ادامه پیدا می‌کنه تا کلمات جدید ساخته بشن و این کلمات پیش‌بینی شده در نهایت یه جمله و متن رو تشکیل بدن. برای همینه که می‌گن چت‌بات‌ها در هر لحظه فقط کلمه بعدی رو پیش‌بینی می‌کنن و فرایند ساخت متن داخلشون به صورت کلمه به کلمه پیش می‌ره.
حالا جالبیش اینجاست که توی این پژوهش متوجه شدن مغز هم تا حدی به این شکل جمله می‌سازه. یعنی نورون‌ها یه بخشی از کلمات قبل- تا حدود پنج کلمه- رو داخل حافظه نگه می‌دارن و با استفاده از اون‌ها و کانتکست بحث، کلمه بعدی رو پیش‌بینی می‌کنن و این کلمات رو در نهایت به هم می‌چسبونن و جمله رو شکل می‌دن.

رفرنس:
https://www.nature.com/articles/s41586-026-10691-5

چرا نقشه‌های «از دست رفتن سرزمین فلسطین» گمراه‌کننده‌اند؟

چرا نقشه‌های «از دست رفتن سرزمین فلسطین» گمراه‌کننده‌اند؟

#مقاله

همچنان قشنگ‌ترین عکسای گالریم برای مواقع طلوع و غروبن

بیشتر از یه هفته‌س سیستم بانکی زیر اتکه نه تنها درست نمی‌شه بلکه وضعش هی داره بدتر هم میشه. آره آخوند خر حالا هی برو نتو قطع کن بگو امنیتو بیشتر می‌کنیم عرزشیای گوسفندت هم بیان تکرار کنن حرفتو.

عزیزانی که تئوی توطئه توی سرتونه و معتقدید این قطع شدنا سیاست بانکیه برای حفظ ارزش ارز، در جریان هستید سیستم بانکی اسباب بازی نیست و نبودش حتی برای خود ساختار حکومت و جیره خور‌هاشون هم مشکل ایجاد می‌کنه؟ بعد دقیقا چقدر میخوان قطع نگه دارن و به چه هدفی؟ حتی اگر سیاست خودشون باشه بعد از یه مدت باعث می‌شه کانالای عادی مدیریت پول مثل نرخ بهره از دستشون بره، اعتبار وام دهی از بین بره، تقاضا برای چیزهای ضد تورم مثل طلا بالا بره و یه جهش بزرگ توی قیمتش ایجاد بشه که همگی در نهایت تورم رو شدیدتر از چیزی که هست می‌کنن. درسته که آخوند خره ولی اونقدری هم خر نیست که از جیره خودش بزنه.

آقا من رفتم پی این قضیه رو گرفتم به یه دیتیل‌هایی رسیدم که دارم از خنده پاره میشم😂😂

قضیه ازین قراره که این سوزنی سمرقندی کلا کارش مسخره کردن و هجو نویسی درمورد شاعرا بوده
این وسط خیلی هم رو سنایی گیر بوده

مثلا این شعر سنایی رو ببینین
خیلی بی حاشیه و آروم و بدون هیچگونه چیز خاص

حالا چیزی که سوزنی سمرقندی اومده درموردش نوشته😂😂
دهن سرویس عینا با همون وزن نوشته
آخرشم مستقیما اشاره کرده که این است جواب آنکه گوید، نور رخ تو قمر ندارد

از همه بیشتر هم روی سنایی زوم کرده بوده این وسط
هیچ مرزی هم برای خودش قائل نبوده😂

حالا هزلیات و هجویات که چیز عجیبی نیستن همیشه وجود داشته‌ن
ولی اینکه این برادر اینقدر رو سنایی زوم بوده و هی دیس میداده بهش خیلی خنده داره🤣

و مثل اینکه آخرای عمر این سوزنی سمرقندی بالاخره بیخیال به فحش کشیدن سنایی شده و رفته ازش عذرخواهی کرده
و آن دو در کنار یکدیگر به خوبی و خوشی زندگی کردند
انمیز تو لاورز

به عنوان کسی که چندروز بعد امتحان فارما داره خیلی خودمو درگیر دعوای سوزنی سمرقندی و سنایی کردم

حلول عاشورای حسینی را به طرفدارانِ جهان پهلوان یزید ابن معاویه تبریک و تهنیت عرض می‌نماییم

البته این جمله بیشتر جنبه فان داره چون خود یزید هم به هر حال مازلم محسوب می‌شده و ایده جالبی نیست به خاطر مازلمِ بچه شیعه بپریم بغل مازلمِ بچه سنی.

فکر کنم ترم سه بود یه واحد تاریخ تحلیلی صدر اسلام برداشته بودم این استادش یه کتابی رو برای امتحان معرفی کرده بود روز قبل امتحان گفتم یه نگاهی سریع بندازم ببینم چیز جدیدی داره یا نه. محتواش که چیز جدیدی نداشت، اکثریت حجم کتاب به همون دعوای همیشگی شیعه‌ها و استدلالاشون مبنی بر اینکه ما خوبیم و عالی و سنی‌ها بدن و فلان پرداخته بود. اما روند ارائه دادن این استدلالاشون بامزه بود‌. اولش اینجور بود که اومده بود استدلال‌هایی که مبنی بر به حق بودن خودشون بود مثل همون قضیه غدیر خم (که بحثای زیادی پشتشه هر گروهی از مازلم‌ها تفسیر خودشونو از اون قضیه دارن) مطرح کرده بود. بعدش رفته بود سراغ نفی کردن سقیفه بنی ساعده (همون قضیه انتخاب ابوبکر به عنوان خلیفه اول) و جالب اینجاست هیچ توضیحی درمورد خود قضیه و ماجراش نداده بود😂یعنی کسی که ایده‌ای درمورد ماجرای سقیفه نداشته و کتاب رو می‌رفته جلو با یه حجم زیادی مطلب درمورد نفی شدن سقیفه مواجه می‌شده درحالی که اصلا نمی‌دونسته خود ماجرا چی بوده، بعد که وارد فصل بعدی می‌شده اونجا تازه توضیح می‌داده قضیه سقیفه چی بوده و دوباره همین استدلالای نفی‌ش رو می‌گفته😂 هدف نویسنده این بوده که یه سوگیری منفی‌ای رو درمورد این قضیه ایجاد کنه که طرف یه نگاه نفی شده‌ای داشته باشه به قضیه بعد میومده بهش می‌گفته قضیه چی بود. من که به هر حال جفت این گروها رو در دسته‌ی کلی مازلم قرار می‌دم و برام اهمیتی نداره، اما از نظرم اگر استدلالای انتخاب علی کاملا به حق و قوی بودن بچه شیعه نمیومد اون‌ها رو داد بزنه و توی یه کتاب به اصطلاح اکادمیک این میزان از سو‌گیری رو اعمال کنه تا خودشو بر حق نشون بده😂