تیپ #۱۲

چرا معیارهای چت‌بات برای سنجش ایجنت کافی نیستند

سنجیدن کیفیت یک پاسخ تک‌نوبتی با ارزیابی یک ایجنت زمین تا آسمان فرق دارد. ایجنت در چند مرحله ابزار صدا می‌زند، وضعیت محیط را تغییر می‌دهد و مسیرش پر از دور زدن و تلاش دوباره است؛ پس یک پاسخ نهایی شیک و مرتب می‌تواند روی مسیری خراب نشسته باشد. معیار درست این است که ببینید کار واقعاً تمام شد یا نه 🎯 و اگر همان سناریو را چند بار پشت سر هم اجرا کنید، نتیجه پایدار می‌ماند یا نه.

توضیح کامل‌تر

وقتی از یک چت‌بات ارزیابی می‌گیریم، معمولاً یک نوبت گفتگو را نگاه می‌کنیم: آیا پاسخ روان بود، آیا به سؤال کاربر جواب داد، آیا از پاسخ رقیب بهتر بود. اما ایجنت یک سیاست تصمیم‌گیری چندمرحله‌ای است که در طول اجرا ابزار صدا می‌زند، حافظه را تغییر می‌دهد و وضعیت محیط را دستکاری می‌کند. همین‌جا شکاف اصلی پیدا می‌شود: ممکن است خروجی نهایی کاملاً درست به نظر برسد، در حالی که ایجنت سه بار یک درخواست را تکرار کرده، یک رکورد را اشتباه به‌روزرسانی کرده یا از مسیر بهینه منحرف شده است. به همین دلیل معیارهایی مثل BLEU، شباهت متنی یا نرخ برد در مقایسه دو مدل، برای ایجنت تقریباً بی‌فایده‌اند. آنچه اهمیت دارد نرخ موفقیت در انجام وظیفه است، یعنی آیا وضعیت نهایی سیستم همان چیزی است که کاربر می‌خواست. یک مثال ساده: ایجنت پشتیبانی که بلیت مشتری را می‌بندد ولی اشتباهاً اشتراک او را هم لغو می‌کند، در معیار چت‌بات نمره عالی می‌گیرد و در ارزیابی وظیفه‌محور رد می‌شود. به همین خاطر بنچمارک‌هایی مثل τ-bench علاوه بر نرخ موفقیت، پایداری نتیجه در اجراهای تکراری را هم می‌سنجند.