تیپ #۲۸

مسیریابی با مدل کوچک، استدلال با مدل بزرگ

در یک ایجنت، بیشتر قدم‌ها استدلال واقعی نیستند؛ همان مسیریابی، انتخاب ابزار و پر کردن پارامترها هستند. این کارها را به یک مدل کوچک و ارزان بسپارید و مدل بزرگ را فقط برای قدمی نگه دارید که واقعاً به استدلال چندمرحله‌ای نیاز دارد. این‌طوری توکن‌های گران 💸 فقط خرج همان ۱۰ درصد سخت می‌شود و هزینه و تأخیر پایین می‌آید، بدون افت کیفیت.

توضیح کامل‌تر

معماری چندمدلی یعنی به‌جای فرستادن هر درخواست به گران‌ترین مدل، هر قدم از ایجنت را به مدلی بسپاریم که با سطح دشواری همان قدم تناسب دارد. قدم‌های مسیریابی در عمل فقط یک تصمیم طبقه‌بندی‌اند: کدام ابزار فراخوانی شود، درخواست به کدام زیرشاخه برود، یا آیا باید از کاربر یک سؤال روشن‌کننده پرسید. برای چنین تصمیم‌هایی یک مدل کوچک با پرامپت دقیق و خروجی ساخت‌یافته تقریباً همیشه کافی است و چند برابر ارزان‌تر و سریع‌تر جواب می‌دهد. در مقابل، قدم‌هایی مثل تجزیه یک مسئله به زیرمسئله‌ها، بررسی تناقض در اطلاعات جمع‌آوری‌شده، یا نوشتن کد اصلاحی، به مدل بزرگ با عمق استدلال بیشتر نیاز دارند. یک الگوی عملی این است که ایجنت را به‌صورت گراف طراحی کنید: گره‌ی مسیریاب با مدل کوچک، گره‌های استدلال با مدل بزرگ، و یک قاعده‌ی ساده برای ارجاع به مدل بزرگ هر وقت اطمینان مسیریاب پایین بود. مثال ملموس: دستیار پشتیبانی که اول با مدل کوچک تشخیص می‌دهد سؤال درباره‌ی صورتحساب است یا خطای فنی، و بعد فقط برای تحلیل همان مورد مدل بزرگ را صدا می‌زند. این کار در حجم بالا هزینه را به‌شکل محسوسی کم می‌کند و در عین حال کیفیت پاسخ‌های حساس حفظ می‌شود.