Saman Faegh

- ارزیابی آفلاین Offline Evaluation: قبل از اینکه کد را به پروداکشن بفرستید، پرامپت و پایپ‌لاین خود را روی یک مجموعه داده معیار Benchmark اجرا کنید. در این مرحله می‌توانید از سنجه‌های تطبیق قطعی، کدهای اعتبارسنجی ساختار مانند ولیدیت کردن JSON، یا روش LLM-as-a-Judge استفاده از یک مدل قوی‌تر برای نمره‌دهی به پاسخ‌ها استفاده کنید.

- ارزیابی آنلاین و تله‌متری Online Telemetry: وقتی محصول به دست کاربر رسید، باید رفتار واقعی را زیر نظر گرفت. اما سنجه‌های سطحی می‌توانند گمراه‌کننده باشند؛ مثلاً نرخ پذیرش پیشنهاد همیشه به معنای بی‌نقص بودن نیست و ممکن است کاربر صرفاً برای بازنویسی، متن را قبول کرده باشد. ثبت دقیق فیدبک‌های صریح Like/Dislike و میزان ویرایش کاربر روی خروجی مدل، تصویر واقعی‌تری به شما می‌دهد.

- سرمشق طلایی مهندسی نرم‌افزار: سیستم ارزیابی خود را پیش از پیچیده‌تر کردن پرامپت‌ها بنا کنید. هر تغییری در تزریق زمینه Context باید در بنچمارک آفلاین سنجیده شود تا مطمئن شوید برنامه گامی به جلو برداشته، نه به عقب.

فصل چهارم، بخش چهارم

کتاب Prompt Engineering for LLMs

- محتوای ایستا Static Content: کدهای ثابت متنی، شفاف‌سازی مسئله، قوانین سیستم و نمونه‌ها. این بخش برای تمام کاربران یکسان است و تغییر نمی‌کند.

- محتوای پویا Dynamic Content: اطلاعات متغیر هر کاربر؛ مثل تاریخچه چت، خریدهای قبلی، لوکیشن فعلی یا متن خطای ارسالی.

- دستورات ایجابی به جای سلبی: به جای گفتن فلان کار را نکن، بگویید این کار مشخص را انجام بده.
- ارائه دلیل به همراه دستور: اگر دلیلی برای یک محدودیت بیاورید مثلاً خلاصه بگو چون کاربر روی موبایل می‌خواند، مدل بسیار بهتر از آن اطاعت می‌کند.
- پرهیز از قطعیت‌های کورکورانه: به جای کلمات مطلقی مثل تحت هیچ شرایطی فلان کار را انجام نده، از عباراتی با انعطاف منطقی استفاده کنید تا مدل در بن‌بست گیر نکند.

فصل پنجم، بخش اول

کتاب Prompt Engineering for LLMs

Mmdj

۱. افت شدید مقیاس‌پذیری در کانتکست‌های بزرگ Scaling Poorly:
اگر هر نمونه چندشات دارای جزئیات طولانی از کاربر باشد، تکرار چندباره آن بخش زیادی از پنجره توکن را می‌سوزاند. بدتر از آن، واحدهای پردازشی مدل در مکانیزم توجه Attention میان داده‌های متناقض افراد مختلف سردرگم می‌شوند.

۲. سوگیری و اثر لنگر انداختن Anchoring Bias:
مدل‌ها از توزیع داده‌های مثال‌ها الگوبرداری می‌کنند. اگر برای نمره‌دهی به نظرات کاربران، از هر نمره ۱ تا ۵ فقط یک نمونه بیاورید، مدل تصور می‌کند احتمال دریافت نمره ۱ دقیقاً با نمره ۵ برابر است؛ در حالی که در دنیای واقعی اکثر نظرات مثبت هستند. مدل بر اساس مثال‌های محدود شما دچار قضاوت زودهنگام و سوگیرانه می‌شود.

۳. استخراج الگوهای کاذب و ناخواسته Spurious Patterns:
مدل ممکن است به ترتیبی که مثال‌ها را چیده‌اید حساس شود. اگر عادت داشته باشید ابتدا نمونه‌های موفق Happy Path و سپس موارد خطا Edge Cases را بنویسید، مدل الگوی خطاها همیشه آخر می‌آیند را یاد می‌گیرد و روی درخواست اصلی کاربر به اشتباه اعلام شکست یا خطا می‌کند!

فصل پنجم، بخش دوم

کتاب Prompt Engineering for LLMs

امکانات کلیدی:
- مرورگر ایزوله و اختصاصی: برای لاگین امن و مستقل هر تسک.
- اتصال به بیش از ۱۵۰۰ اپلیکیشن: ادغام راحت با Gmail، تقویم و سایر ابزارها برای ساخت خودکار تریگرها.
- انجام تسک در لحظه: وسط چت بهش کار بسپار تا خودش برات انجام بده.
- هماهنگی تیمی چند Dot: امکان کار مشترک چند ایجنت با هم و تنظیم یادآورها.