استارتاپ Inception مدل Mercury 2.5 داده بیرون.
مدل دیفیوژن
با سرعت ۱,۱۰۰ توکن در ثانیه!

اونم gpu ی انویدیا
و خود مدل هم تقریبا هم کیفیت خوبی داره.
این سرعت خیلی پشم ریزونه
اگر همچین سرعتی یافته باشن که دنیای ai یه جهش دیگه میزنه.

اگر نمیدونید مدل دیفیوژن چیه،
مدل‌های فعلی مثل gpt
خودبازگشتی‌ان، یعنی متن رو کلمه به کلمه و توکن به توکن حدس میزنن میرن جلو.
اما دیفیوژن ها، تمرکزشون صرفا روی توکن بعد نیست بلکه کل جمله رو میخونن، بعد به صورت رفت و برگشت نویزهارو پاک میکنن و در حین رفت و برگشت جاهای خالی رو کامل میکنن.
در واقع میتونن چندین پردازش موازی توکن به توکن داشته باشن.

برای اینکه بفهمین چقدر سرعتش زیاده،

توی یک دقیقه میتونه 50 هزار کلمه تولید کنه.
یعنی یه کتاب کامل چند صد صفحه‌ای.

بزرگ ترین مشکل مدل‌های خودبازگشتی،
این استدلال کنده
مثلا توی توسعه نرم‌افزار،
طول میکشه تا ایجنت کد رو بخونه لاگ‌ها رو بخونه، دوباره کد بنویسه،
استدلالش رو اصلاح کنه، دوباره تست کنه و..

زمان میبره تا به نتیجه درستی برسه.

اگر مدلای آینده همچین سرعتی پیداکنن.
یه ایجنت نرم‌افزاری می‌تونه در کمتر از دو ثانیه پنجاه بار با کد ور بره تست‌ها رو اجرا کنه
لاگ رو بخونه دوباره بنویسه دوباره تست کنه.
هزینه آزمون و خطا برای مدل پایین میاد.

البته از مدلای دیفیوژن برای llm استفاده نمیکنن.
دلیلش هم آموزش سخت‌تره

ترنسفورهای معمولی و مدل‌های خودبازگشتی،
در یک رفت به جلو، برای یک جمله میتونن تا 1000 توکن بعدش رو حدس بزنن.
این به لطف ماسک علیت هست،
اما مدلای دیفیوژن برای رسیدن به همچین سطحی در زبان به توان پردازشی بیشتری نیاز دارن
چون کلمات رو بر اساس زیرمجموعه هدف میگیرن نه بر اساس حدس توکن.
و این خیلی بیشتر آموزش میخواد.

ماسک علیت فقط یه لایه توی فرایند پیش آموزش مدله
توی آموزش معمولا کل جمله رو به مدل میدن تا یاد بگیره با حدس زدن کلمه بعد.
اما مشکل این بود که کل متن رو دادن و متن توی مموری هست مدل میاد تقلب میکنه.
در نتیجه یک لایه ماسک میکشن روش
این ماسک به مدل اجازه نمیده تقلب کنه و کلمه ها رو ببینه.
میزنه تو دهنش.

البته ماسک علیت خیلی بزرگ‌تر ازین حرفا تاثیر گذاشت،
مدلای قبلی، مثل شبکه‌های RNN
مجبور بودن توکن به توکن جلو برن ولی با رعایت زمان.

قانون علیت چی میگه؟
گذشته بر آینده اثر می‌گذارد.
و آینده هرگز اجازه ندارد به عقب برگردد تا دست علت را پیش از وقوع رو کند.

ماسک علیت مدل رو کور میکنه تا مجبور به فهمیدن بشه.
با بستن آینده بود که مدل ناچار میشد برای پر کردن خلا کلمه بعدی، ساختار زبان، منطق جهان و روابط مفاهیم رو خودش کشف کنه.

این ماسک به مهندسان اجازه داد که کل یه کتاب در چند ثانیه هم زمان وارد لایه‌ها بشه،
بدون اینکه تقلب بشه.
مدل همه لحظات متن رو یکجا میدید،
اما در هر لحظه یه جور چشم بند به چشماش زدن تا گام بعدی رو نبینه خودش کشفش کنه.

عاشق موسیقی حماسی‌ام.
احساس می‌کنم ذهنم عمیق‌تر حرکت میکنه با چاشنی حماسی.

نمیدونم مفهوم علمی داره یا نه،
ذهن آدم رو در یک تونل منطقی قفل میکنه
چون ریتم هیجانی داره
ذهن رو انگار فراتر از الگو میبره تا مفهوم رو هضم کنه.
توی نوشتن و کد خیلی کمکم میکنه.
و ایده پردازی.

سطح خواندن و ریاضی دانش‌آموزان در سراسر جهان به طور قابل توجهی در حال کاهش است.

بر اساس نتایج آزمون‌های بین‌المللی (OECD & PISA) که دانش‌آموزان را ارزیابی می‌کنند، میانگین نمرات دانش‌آموزان 15 ساله در کشورهای توسعه‌یافته در سال 2025، 25 امتیاز در خواندن و 22 امتیاز در ریاضی نسبت به سال 2018 کاهش داشته است.

دانش‌آموزان 15 ساله کنونی، بیش از یک سال از همسالان خود در سال 2018 عقب هستند. سطح برخی از آن‌ها به سطح دانش‌آموزان 14 ساله در آن زمان نزدیک است.

نسل جوان کنونی، نسبت به نسل‌های قبلی، سریع‌تر مطالعه می‌کنند، اما دقت در درک مطلب آن‌ها کمتر است. توانایی آن‌ها در خلاصه‌سازی، تحلیل و بیان افکارشان کاهش یافته است.

به جای آن، عادت آن‌ها به مرور سریع اطلاعات افزایش یافته است.

@DevYara

جالبه بدونید طبق مطالعه موسسه YouGov
کتاب خوندن خصوصا رمان،
به شدت افول داشته.
در حد سالی 2 کتاب نهایت.
اونم فقط 37 درصد بزرگسالان و مخاطبان کتاب خونی،
نوجوانان 15 ساله که نمیخونن اصلا.
و اگر شما 3 تا بخونید در سال، حدود 50 درصد سطح خوندنتون از نصف بیشتر جامعه بالاتره.

ولی بخونید، تاثیر رمان رو ذهن خیلی بالاست.

بر اساس تحلیل‌های آزمون پیزا، دانش‌آموزایی که به‌طور منظم رمان میخونن، به‌طور میانگین بین ۳۰ تا ۵۰ نمره بالاتری نسبت به بقیه دارن
در حد یک تا دو سال پیشرفت تحصیلی بیشتر.

آقا حوصله نکردم
کانال بکاپ کتاب رو مرتب کنم
یه 60 کا کتاب هست
https://t.me/bookym

خودتون یه کاریش بکنید.
ولی خب کم کم سعی میکنم با ai مرتب کنم و کپشن بزنم برای هر کتاب.

یه مقدارش مرتب کردم
ولی خدایی زیاده
هوش مصنوعی هم هنگ کرده

#arc

این هشتگ به تنهایی 40 کا کتاب توشه
ولی خب دست دامن سرچ تلگرام بایستی بشیم برای سرچ درست.