تیپ #۳۹
داوری با مدل زبانی و دام‌هایی که باید بشناسید
سپردن نمره‌دهی خروجی یک ایجنت به مدل زبانی دیگر، ارزان‌ترین راه ساختن حلقه ارزیابی است، اما داور هم سوگیری‌های خودش را با خودش می‌آورد. مدل معمولاً پاسخی را که اول می‌بیند ترجیح می‌دهد، به جواب‌های طولانی‌تر نمره بالاتر می‌دهد و بی‌سروصدا متنی را می‌پسندد که شبیه نوشته خودش است ⚖️. راه‌حل ساده است: جای گزینه‌ها را عوض کنید و میانگین بگیرید، با روبریک یا پاسخ مرجع نمره بدهید، و یک مجموعه کوچک برچسب‌خورده انسانی نگه دارید تا مطمئن شوید نمره‌های داور واقعاً همان چیزی را می‌سنجند که برایتان مهم است.
توضیح کامل‌تر
وقتی ارزیابی خروجی یک ایجنت را به مدل زبانی دیگری می‌سپارید، در واقع یک پیش‌بینی‌کننده توکن را قاضی کرده‌اید و همان سوگیری‌های زبانی‌اش با او به اتاق داوری می‌آیند. سوگیری ترتیب باعث می‌شود مدل گزینه‌ای را که اول دیده برنده اعلام کند، سوگیری طول پاسخ‌های بلندتر را بهتر می‌شمارد، و خودترجیحی یعنی داور به متنی نمره بالاتر می‌دهد که شبیه سبک خودش نوشته شده باشد. مسئله وقتی جدی می‌شود که این نمره‌ها به سیگنال یادگیری تبدیل شوند: اگر داور طرفدار جواب‌های طولانی باشد، بهینه‌سازی شما هم دقیقاً همان را تقویت می‌کند و ایجنت پرحرف‌تر می‌شود، نه دقیق‌تر. یک آزمایش ساده کمک می‌کند: یک مقایسه جفتی را دو بار و با ترتیب جابه‌جا اجرا کنید؛ اگر برنده عوض شد، آن اختلاف فقط سوگیری ترتیب است و نه کیفیت. در عمل هم بهتر است داور از مدل تولیدکننده متفاوت یا قوی‌تر باشد، معیارها در قالب روبریک روشن نوشته شوند، گزینه «مساوی» وجود داشته باشد، و روی یک مجموعه کوچک برچسب‌خورده انسانی نرخ توافق داور را اندازه بگیرید. بدون این کالیبراسیون، حلقه ارزیابی به شما اطمینان کاذب می‌فروشد و بهبود واقعی ایجنت را پنهان می‌کند.
← بازگشت به همهٔ نکته‌های روز