در فاز پیش آموزش، مدل زبان و جهان و اون آموزش اصلی رو میگیره.

در پس آموزش فقط یادمیگیره چطور خوب رفتار کنه

در فاز اولیه یعنی پیش آموزش نرخ یادگیری به شدت بالاست، تا گرادیان‌ها بتونن چینش جملات، ساختار رو جا به جا کنن، گرامر و فکت ها رو در میلیاردها پارامتر جا بدن

اما در فاز پس آموزش، نرخ یادگیری رو مقادیر پایین قفل میشه
بنابراین مدل نمیتونه مثلا یک فکت رو عمیق یاد بگیره، چون متن درون وزن‌ها توزیع نمیشه.

زندگی امان نمیده که بتونم یادگیری ماشین لرنینگ رو جلو ببرم.
هعی
چی بگم والا

داشتم فکر می‌کردم، من داستان می‌خونم که لذت ببرم.
اگر ai بتونه یه روزی داستانی با همین کیفیت اونم هر طور دلم بخواد بنویسه در چند ثانیه.
و حتی بتونه تجربه زیسته انسانی هم بازسازی کنه.
آیا نمی‌خونمش؟
صرفا چون دست انسان توش نبوده؟

احتمالا در کوتاه‌مدت و در عمل، قطعا می‌خونمش،
چون سیستم پاداش مغز به دنبال روایت و تعلیقه،
حتی اگر مقدمه داستانو بخونم خوشم بیاد مغزم درگیر داستان میشه و میخونه.

مسئله اینه که بخش عمده بار عاطفی ادبیات، نه در ذهن نویسنده، بلکه ذهن خواننده هست که بهش معنا میده.
این ذهن خواننده هست که داستان رو با زخم‌های و اثرات روانی ذهنش ترکیب میکنه و لذت میبره.
ادبیات آئینه ماست.
اگر داستانی که ماشین نوشته همین اثر رو بذاره، ناخودآگاه غرق در داستان میشیم.
چون داستان، آئینه ماست.
به این قضیه میگن مرگ مؤلف.

فکر کنم در این عصر Ai با بزرگ‌ترین سوال عمرم به عنوان نویسنده رو‌به‌رو شدم،
اگر من داستانی بنویسم،
احتمالا یک دهه بعد هیچکس نمیخونه
و قلم انسان چیزی جز عتیقه نخواهد بود.
پس من برای چی دارم مینویسم؟
نمیتونم بگم برای خودم
چون هر نویسنده‌ای به دنبال خونده شدنه، اینو نمیشه انکار کرد.

تاریخ نشون داده نسل‌های بعد بدون کمترین عذاب وجدانی چیزهای قدیمی رو دور میندازن.

انگار بازی با تاریخ تموم شده
آیندگانی که میان ذهنشون متفاوت از ما خواهد بود.
درکشون متفاوت
احساساتشون متفاوت
نمیتونیم روشون اثر بذاریم
شاید یه عده خیلی خیلی اندکی
ولی مقیاس به شدت کوچیک میشه.

اینکه متون هزاران سال پیش هنوزم برامون جذابه
اینه که دستگاه شناختی انسان هزاران سال هست همون فرمه
مغز، ذهن انسانی

اما الان دستگاه شناختی برتری داره به وجود میاد.
و جهش شناختی برای ذهن انسان شکل میگیره.

پیتر واتس در رمان کوربینی دیالوگ جالبی داره

شما فکر می‌کنید آگاهی یک تاج افتخار است؟ نه، آگاهی فقط یک بار اضافه، یک خطای حافظه در فرآیند تکامل بود؛ یک ضایعه‌ی پرهزینه که سرعت سیستم را می‌گیرد تا موجود بنشیند و وقتش را با این سوال تلف کند که "من کیستم؟" و برای دردهایش استعاره ببافد.
​مغز شما بخش عظیمی از انرژی‌اش را هدر می‌دهد تا این توهم را زنده نگه دارد که چون رنج می‌کشید، در مرکز کائنات ایستاده‌اید و جهان بدهکار شنیدن قصه‌های شماست.
اما جهان واقعی، بدون آگاهی کار می‌کند؛ بسیار سریع‌تر، بسیار دقیق‌تر و بی‌نهایت بی‌رحم‌تر.
برای پردازش، حل مسئله و خلق، هیچ روحی لازم نیست.

مغز من چقدر مقاومت میکنه تا این جمله رو رد کنه😂
ولی نقدی روی حرفش ندارم الان توی عصر Ai

ایمان من به خدایان این است:
آن‌ها نسبت به رنج من بی‌تفاوت‌اند.

مالازان

تاریخ‌نگاران از رنج ما خواهند نوشت... و در انجام این کار، تمام ماجرای لعنتی را از دست خواهند داد.

The Crippled God

یه سری شایعه هست که گوگل داره روی یه مدل omni هم کار میکنه که همزمان محتوا، صدا، ویدیو، تصویر، بفهمه و تولید محتوا کنه.

یه سری منبع چینی یه سری شایعات دادن که جمنای 4 ممکنه 100 تریلیارد پارامتر داشته باشه یعنی هزاران برابر مدل‌های فعلی.
بعید میدونم من، ولی هایپ جالبیه.

ولی خب گوگل سنگین داره رو ساخت دیتاسنتر و زیرساخت هزینه میکنه، اصلا بعید نیست اگر یه هیولا بده بیرون)

شرکت آنتروپیک، x Ai، و openai توافق کردن سرعت پیشرفت ai رو کاهش بدن.

ولی خب، چین مگه میذاره))
الان وقت یکه تازی چینه