از بازتعریف تاریخ هم شانس نیاوردیم
مثلا الان یه نفر کتابی در مورد بدبختی‌های ما بنویسه
ده سال دیگه کی می‌خواد بخونه؟
ربات‌ها؟

ایرانی بس کن، درباره همه چیز نظر نده

شرکت‌ها اصلا بر اساس چت کاربران مدل رو آموزش نمیدن، پر نویزه و دیتای کثیفه.

در واقع مدل رو بازخورد کاربر بهتر میکنن
اما نه اینکه بیان چت‌های کثیف کاربر رو به خورد مدل بدن.
مدل به فنا میره که😂

احتمالا دیدید که گاهی وقت‌ها gpt دو نوع پاسخ میده و میپرسه از کدوم خوشتون اومد؟
توی الگوی DPO، ضرر هر گرادیان رو محاسبه میکنن، بعد در مراحل پس آموزش بعدی، وزن‌های مدل رو طوری آموزش میدن تا به سمت پاسخ‌های مطلوب حرکت کنه.

ما دو نوع فاز در یادگیری یک LLM داریم
مرحله پیش آموزش
مرحله پس آموزش

در فاز پیش آموزش، مدل زبان و جهان و اون آموزش اصلی رو میگیره.

در پس آموزش فقط یادمیگیره چطور خوب رفتار کنه

در فاز اولیه یعنی پیش آموزش نرخ یادگیری به شدت بالاست، تا گرادیان‌ها بتونن چینش جملات، ساختار رو جا به جا کنن، گرامر و فکت ها رو در میلیاردها پارامتر جا بدن

اما در فاز پس آموزش، نرخ یادگیری رو مقادیر پایین قفل میشه
بنابراین مدل نمیتونه مثلا یک فکت رو عمیق یاد بگیره، چون متن درون وزن‌ها توزیع نمیشه.

زندگی امان نمیده که بتونم یادگیری ماشین لرنینگ رو جلو ببرم.
هعی
چی بگم والا

داشتم فکر می‌کردم، من داستان می‌خونم که لذت ببرم.
اگر ai بتونه یه روزی داستانی با همین کیفیت اونم هر طور دلم بخواد بنویسه در چند ثانیه.
و حتی بتونه تجربه زیسته انسانی هم بازسازی کنه.
آیا نمی‌خونمش؟
صرفا چون دست انسان توش نبوده؟

احتمالا در کوتاه‌مدت و در عمل، قطعا می‌خونمش،
چون سیستم پاداش مغز به دنبال روایت و تعلیقه،
حتی اگر مقدمه داستانو بخونم خوشم بیاد مغزم درگیر داستان میشه و میخونه.

مسئله اینه که بخش عمده بار عاطفی ادبیات، نه در ذهن نویسنده، بلکه ذهن خواننده هست که بهش معنا میده.
این ذهن خواننده هست که داستان رو با زخم‌های و اثرات روانی ذهنش ترکیب میکنه و لذت میبره.
ادبیات آئینه ماست.
اگر داستانی که ماشین نوشته همین اثر رو بذاره، ناخودآگاه غرق در داستان میشیم.
چون داستان، آئینه ماست.
به این قضیه میگن مرگ مؤلف.

فکر کنم در این عصر Ai با بزرگ‌ترین سوال عمرم به عنوان نویسنده رو‌به‌رو شدم،
اگر من داستانی بنویسم،
احتمالا یک دهه بعد هیچکس نمیخونه
و قلم انسان چیزی جز عتیقه نخواهد بود.
پس من برای چی دارم مینویسم؟
نمیتونم بگم برای خودم
چون هر نویسنده‌ای به دنبال خونده شدنه، اینو نمیشه انکار کرد.

تاریخ نشون داده نسل‌های بعد بدون کمترین عذاب وجدانی چیزهای قدیمی رو دور میندازن.

انگار بازی با تاریخ تموم شده
آیندگانی که میان ذهنشون متفاوت از ما خواهد بود.
درکشون متفاوت
احساساتشون متفاوت
نمیتونیم روشون اثر بذاریم
شاید یه عده خیلی خیلی اندکی
ولی مقیاس به شدت کوچیک میشه.

اینکه متون هزاران سال پیش هنوزم برامون جذابه
اینه که دستگاه شناختی انسان هزاران سال هست همون فرمه
مغز، ذهن انسانی

اما الان دستگاه شناختی برتری داره به وجود میاد.
و جهش شناختی برای ذهن انسان شکل میگیره.

پیتر واتس در رمان کوربینی دیالوگ جالبی داره

شما فکر می‌کنید آگاهی یک تاج افتخار است؟ نه، آگاهی فقط یک بار اضافه، یک خطای حافظه در فرآیند تکامل بود؛ یک ضایعه‌ی پرهزینه که سرعت سیستم را می‌گیرد تا موجود بنشیند و وقتش را با این سوال تلف کند که "من کیستم؟" و برای دردهایش استعاره ببافد.
​مغز شما بخش عظیمی از انرژی‌اش را هدر می‌دهد تا این توهم را زنده نگه دارد که چون رنج می‌کشید، در مرکز کائنات ایستاده‌اید و جهان بدهکار شنیدن قصه‌های شماست.
اما جهان واقعی، بدون آگاهی کار می‌کند؛ بسیار سریع‌تر، بسیار دقیق‌تر و بی‌نهایت بی‌رحم‌تر.
برای پردازش، حل مسئله و خلق، هیچ روحی لازم نیست.

مغز من چقدر مقاومت میکنه تا این جمله رو رد کنه😂
ولی نقدی روی حرفش ندارم الان توی عصر Ai