تیپ #۴۰
مجموعهٔ تست طلایی، ترمزی برای پسرفت‌های خاموش ایجنت
وقتی ایجنت چندمرحله‌ای دارید، یک تغییر کوچک در پرامپت سیستم یا توضیح ابزار می‌تواند بی‌سروصدا رفتاری را خراب کند که هفتهٔ پیش درست کار می‌کرد. راه‌حل این است که مجموعه‌ای ثابت از ۲۰ تا ۵۰ وظیفهٔ واقعی با پاسخ درست را نگه دارید و بعد از هر تغییر دوباره اجرا کنید. نرخ قبولی این مجموعه معیار 🥇 شماست: اگر تغییری آن را پایین بیاورد، آن تغییر منتشر نمی‌شود.
توضیح کامل‌تر
در ساخت ایجنت، خروجی یکسان برای ورودی یکسان تقریباً وجود ندارد؛ مدل زبانی نمونه‌گیری تصادفی می‌کند و در مسیر چندمرحله‌ای، هر تصمیم کوچک روی تصمیم‌های بعدی اثر می‌گذارد. به همین دلیل تست‌های معمولی نرم‌افزار اینجا کافی نیستند و باید مجموعه‌ای «طلایی» از وظایف واقعی بسازید که پاسخ درست یا معیار قبولی‌شان از قبل مشخص شده است. بهترین منبع برای ساختن این مجموعه، ردگیری‌های واقعی (traces) کاربران است: نمونه‌هایی را بردارید که قبلاً شکست خورده‌اند، آن‌ها را برچسب بزنید و کنار چند مورد لبه‌ای نگه دارید. سپس این مجموعه را به‌عنوان دروازهٔ CI اجرا کنید تا هر تغییر در پرامپت، مدل یا ابزار پیش از انتشار سنجیده شود. سنجش می‌تواند ترکیبی باشد از بررسی دقیق فراخوانی ابزارها و داوری با یک مدل دیگر بر اساس معیارهای نوشته‌شده. نکتهٔ مهم این است که مجموعه را ثابت نگه دارید تا مقایسهٔ نرخ قبولی در طول زمان معنا داشته باشد، اما هر چند وقت یک‌بار موارد تازه از خطاهای واقعی به آن اضافه کنید. اگر مجموعه را با هر تغییر به‌روز کنید، در واقع معیار را جابه‌جا کرده‌اید و پسرفت‌ها را نخواهید دید.
← بازگشت به همهٔ نکته‌های روز