دیروز درباره دما در هوش مصنوعی صحبت کردم با یکی از دوستانم.
یک مفهوم مهم روی نحوه تولید متن توسط مدل تأثیر می‌ذاره:
اون هم نمونه‌گیری!
بذارید ساده بررسیش کنیم
✨ نمونه‌گیری چیه دقیقا؟
قبل از اینکه مدل زبانی پاسخ بده، چندین گزینه احتمالی برای کلمه یا توکن بعدی پیش‌بینی می‌کنه و به هرکدوم یک احتمال می‌ده.
مثلاً:
پایتخت فرانسه کجاست؟
پاریس → ۵۰٪
لیون → ۲۰٪
مارسی → ۱۵٪
برلین → ۲٪
لندن → ۱٪
نمونه‌گیری مشخص می‌کنه از بین این گزینه‌ها، کدوم گزینه انتخاب بشه.
این کار باعث میشه خروجی مدل همیشه کاملاً یکسان نباشه و مقدار مشخصی تنوع و تصادفی‌بودن داشته باشه.
✨ دو روش رایج نمونه‌گیری
۱. نمونه‌گیری تاپ-کی
فقط چند گزینه‌ای که بیشترین احتمال رو دارن نگه می‌داره.
مثلاً اگر تاپ-کی برابر ۳ باشه:
پاریس → ۵۰٪
لیون → ۲۰٪
مارسی → ۱۵٪
و بقیه گزینه‌ها کنار گذاشته میشن.
یعنی تاپ-کی می‌پرسه:
چند گزینه اجازه دارن در انتخاب شرکت کنن؟
۲. نمونه‌گیری تاپ-پی
بهش نمونه‌گیری هسته‌ای هم می‌گن.
در این روش، مدل گزینه‌ها رو تا جایی نگه می‌داره که مجموع احتمال اون‌ها به یک مقدار مشخص برسه.
مثلاً اگر تاپ-پی برابر ۸۵٪ باشه:
پاریس → ۵۰٪
لیون → ۲۰٪
مارسی → ۱۵٪
مجموع = ۸۵٪
پس بقیه گزینه‌ها حذف میشن.
یعنی تاپ-پی می‌پرسه:
چه مقدار از مجموع احتمال‌ها رو در نظر بگیریم؟
✨ تفاوت دما و نمونه‌گیری
این دو مفهوم خیلی وقت‌ها با هم اشتباه گرفته میشن.
دما:
→ احتمال گزینه‌ها رو تغییر می‌ده
→ میزان تصادفی‌بودن رو کنترل می‌کنه
نمونه‌گیری:
→ تاپ-کی تعداد گزینه‌ها رو محدود می‌کنه
→ تاپ-پی محدوده احتمال قابل‌بررسی رو محدود می‌کنه
✨ چرا این تنظیمات مهمن؟
چون هرکدوم بخش متفاوتی از انتخاب توکن بعدی رو کنترل می‌کنن.
در نهایت می‌تونن بین این موارد تعادل ایجاد کنن:
→ ثبات
→ خلاقیت
→ تنوع
→ قابل‌اعتماد بودن
پس خیلی ساده:
دما میگه چقدر تصادفی باشیم.
تاپ-کی میگه چند گزینه رو بررسی کنیم.
تاپ-پی میگه چه مقدار از احتمال‌ها رو در نظر بگیریم.
#Ai
#sampling
یک مفهوم مهم روی نحوه تولید متن توسط مدل تأثیر می‌ذاره:
اون هم نمونه‌گیری!
بذارید ساده بررسیش کنیم
✨ نمونه‌گیری چیه دقیقا؟
قبل از اینکه مدل زبانی پاسخ بده، چندین گزینه احتمالی برای کلمه یا توکن بعدی پیش‌بینی می‌کنه و به هرکدوم یک احتمال می‌ده.
مثلاً:
پایتخت فرانسه کجاست؟
پاریس → ۵۰٪
لیون → ۲۰٪
مارسی → ۱۵٪
برلین → ۲٪
لندن → ۱٪
نمونه‌گیری مشخص می‌کنه از بین این گزینه‌ها، کدوم گزینه انتخاب بشه.
این کار باعث میشه خروجی مدل همیشه کاملاً یکسان نباشه و مقدار مشخصی تنوع و تصادفی‌بودن داشته باشه.
✨ دو روش رایج نمونه‌گیری
۱. نمونه‌گیری تاپ-کی
فقط چند گزینه‌ای که بیشترین احتمال رو دارن نگه می‌داره.
مثلاً اگر تاپ-کی برابر ۳ باشه:
پاریس → ۵۰٪
لیون → ۲۰٪
مارسی → ۱۵٪
و بقیه گزینه‌ها کنار گذاشته میشن.
یعنی تاپ-کی می‌پرسه:
چند گزینه اجازه دارن در انتخاب شرکت کنن؟
۲. نمونه‌گیری تاپ-پی
بهش نمونه‌گیری هسته‌ای هم می‌گن.
در این روش، مدل گزینه‌ها رو تا جایی نگه می‌داره که مجموع احتمال اون‌ها به یک مقدار مشخص برسه.
مثلاً اگر تاپ-پی برابر ۸۵٪ باشه:
پاریس → ۵۰٪
لیون → ۲۰٪
مارسی → ۱۵٪
مجموع = ۸۵٪
پس بقیه گزینه‌ها حذف میشن.
یعنی تاپ-پی می‌پرسه:
چه مقدار از مجموع احتمال‌ها رو در نظر بگیریم؟
✨ تفاوت دما و نمونه‌گیری
این دو مفهوم خیلی وقت‌ها با هم اشتباه گرفته میشن.
دما:
→ احتمال گزینه‌ها رو تغییر می‌ده
→ میزان تصادفی‌بودن رو کنترل می‌کنه
نمونه‌گیری:
→ تاپ-کی تعداد گزینه‌ها رو محدود می‌کنه
→ تاپ-پی محدوده احتمال قابل‌بررسی رو محدود می‌کنه
✨ چرا این تنظیمات مهمن؟
چون هرکدوم بخش متفاوتی از انتخاب توکن بعدی رو کنترل می‌کنن.
در نهایت می‌تونن بین این موارد تعادل ایجاد کنن:
→ ثبات
→ خلاقیت
→ تنوع
→ قابل‌اعتماد بودن
پس خیلی ساده:
دما میگه چقدر تصادفی باشیم.
تاپ-کی میگه چند گزینه رو بررسی کنیم.
تاپ-پی میگه چه مقدار از احتمال‌ها رو در نظر بگیریم.
#Ai
#sampling
❤3