اگر با هوش مصنوعی کار می‌کنین، لازم نیست مهندس یادگیری ماشین باشین :).
اما بعد از کار با مدل‌های زبانی، به نظرم ۵ مفهوم هست که باید واقعاً بدونین چی هستن، نه اینکه فقط اسمشون رو حفظ کنیم.

۱. توکن
مدل متن رو مثل انسان با کلمه نمی‌خونه. متن به بخش‌های کوچکتری به نام توکن تقسیم می‌شه.
تعداد توکن‌های ورودی و خروجی روی هزینه و پردازش تأثیر داره و ظرفیت زمینه مدل هم با همین توکن‌ها مشخص می‌شه.

۲. استاد گرام : context window
مدل همه چیز رو برای همیشه به خاطر نمی‌سپاره.
در هر درخواست فقط مقدار مشخصی از اطلاعات می‌تونه در اختیارش باشه؛ مثل پیام‌های قبلی، فایل‌ها و دستورالعمل‌ها.
وقتی با پروژه‌های بزرگ یا عامل‌های چندمرحله‌ای کار می‌کنی، مدیریت این فضا خیلی مهم می‌شه.

۳. دما
دما روی میزان تنوع خروجی تأثیر می‌ذاره.
مقدار پایین‌تر معمولاً خروجی قابل‌پیش‌بینی‌تری می‌ده و مقدار بالاتر می‌تونه خروجی متنوع‌تری ایجاد کنه.
البته دمای بالاتر به معنی باهوش‌تر شدن مدل نیست.

۴. توهم
یکی از مشکلاتی که زیاد باهاش برخورد می‌کنیم، تولید پاسخ اشتباه با اعتمادبه‌نفس بالاست.
مدل زبانی پایگاه داده نیست؛ بر اساس الگوهایی که در آموزش یاد گرفته، پاسخ تولید می‌کنه.
برای همین در موضوعات حساس، نباید خروجی مدل رو بدون بررسی قبول کرد.

۵. بازیابی تقویت‌شده با تولید
ایده اصلی ساده‌ست.
اسناد به بخش‌های کوچکتر تقسیم می‌شن. وقتی سؤال می‌پرسیم، سیستم ابتدا اطلاعات مرتبط رو پیدا می‌کنه و بعد اون اطلاعات رو در اختیار مدل قرار می‌ده تا پاسخ تولید کنه.
بخش زیادی از ابزارهایی که با اسناد و داده‌های شخصی کار می‌کنن، از همین روش استفاده می‌کنن.

به نظرم فهم همین ۵ مفهوم باعث می‌شه رفتار مدل‌های زبانی خیلی قابل‌فهم‌تر بشه.

#هوش_مصنوعی
#یادگیری_ماشین
#مدل_زبانی
#برنامه_نویسی

#AI
#LLM
#token
#context_window