تیپ #۹

مسیریابی ابزارها پیش از فراخوانی مدل

وقتی تعداد ابزارهای یک ایجنت از ده دوازده تا رد می‌شود، ریختن همه‌ی اسکیماها داخل پرامپت دیگر جواب نمی‌دهد: هم توکن می‌سوزاند و هم مدل بیشتر اشتباه انتخاب می‌کند. راه‌حل این است که یک مرحله‌ی مسیریابی سبک بگذارید که فهرست ابزارها را با درخواست کاربر تطبیق بدهد و فقط چند ابزار مرتبط را به دست مدل اصلی برساند 🧭. خروجی این مرحله را کوچک نگه دارید (حدود پنج تا ده ابزار)، برای هر ابزار نام و توضیح روشن بنویسید تا قابل بازیابی بماند، و ثبت کنید چه ابزارهایی پیشنهاد شده‌اند تا خطاها را راحت‌تر دیباگ کنید.

توضیح کامل‌تر

در ایجنت‌های ساده معمولاً چند ابزار محدود داریم و مدل می‌تواند همه‌ی آن‌ها را همزمان ببیند، اما به‌محض اینکه فهرست ابزارها به چند ده مورد برسد، دقت انتخاب به‌طور محسوسی افت می‌کند. دلیلش این است که توصیف هر ابزار بخشی از توجه مدل را می‌گیرد و وقتی سی یا چهل اسکیمای مشابه در یک پرامپت کنار هم بنشینند، مدل ابزارهای نزدیک به هم را با هم قاطی می‌کند. راه‌حل رایج این است که انتخاب ابزار را به یک مسئله‌ی بازیابی تبدیل کنیم: درخواست کاربر را با نام و توضیح ابزارها تطبیق بدهیم و فقط چند مورد برتر را به مدل اصلی بدهیم. این مسیریاب می‌تواند مبتنی بر جست‌وجوی برداری باشد، یا خودش یک فراخوانی ارزان به یک مدل کوچک باشد که از میان نام‌ها انتخاب می‌کند. برای مثال، در یک ایجنت پشتیبانی با شصت ابزار در حوزه‌های صورتحساب، سفارش و تحلیل داده، مسیریاب می‌تواند ابتدا حوزه را تشخیص بدهد و بعد فقط شش ابزار همان حوزه را در اختیار مدل بگذارد. نکته‌ی مهم این است که همیشه یک مسیر فرار بگذارید: اگر هیچ ابزاری امتیاز کافی نگرفت، ایجنت باید بتواند کل فهرست را ببیند یا از کاربر شفاف‌سازی بخواهد، وگرنه درخواست‌های نادر بی‌پاسخ می‌مانند.