Réponses d'outils volumineuses : comment garder les charges utiles accessibles sans saturer le contexte

Un outil peut renvoyer les bonnes données sous une forme inadaptée au raisonnement du modèle. La gestion des réponses volumineuses permet de dissocier la possession de la charge utile de l'attention immédiate portée à chaque octet.

1. Des données correctes peuvent rester opérationnellement hostiles

Un outil MCP peut répondre avec succès tout en nuisant à l'exécution. L'API d'un dépôt peut renvoyer des centaines de demandes de tirage avec de longues descriptions. Un outil de métriques peut émettre toutes les séries temporelles. Une recherche CRM peut joindre des historiques imbriqués à chaque compte. La charge utile est pertinente en principe, mais le modèle n'a peut-être besoin que de trois champs.

Si le résultat complet entre dans le contexte, plusieurs choses se produisent simultanément : l'entrée augmente, le raisonnement ultérieur hérite de la masse, les faits importants entrent en concurrence avec des champs non pertinents, et les appels de suivi peuvent pousser l'exécution vers la limite du modèle. Demander moins à l'outil est préférable lorsque son API prend en charge la projection, la pagination ou le filtrage. L'environnement d'exécution a toujours besoin d'une solution de repli, car de nombreux outils n'offrent pas de contrôles adéquats.

La gestion documentée des réponses de TrueForge écrit un résultat surdimensionné dans un fichier sandbox et place un court aperçu ainsi que le chemin du fichier dans le contexte. L'agent conserve l'accès sans être contraint de traiter l'intégralité de la charge utile.

2. Le seuil de réponse unique

La première règle s'applique à un résultat d'outil. Si la réponse estimée dépasse le seuil par appel configuré, TrueForge écrit le résultat complet dans la sandbox. Le contexte reçoit une notification, un chemin de fichier et un aperçu limité. Le seuil par défaut actuel est de 6 000 jetons ; l'aperçu par défaut actuel contient les 100 premiers et derniers caractères.

L'aperçu sert à la navigation, pas au résumé. Les caractères limites peuvent révéler le type d'objet, les clés de haut niveau, le nombre total ou les métadonnées finales, mais ils peuvent omettre les enregistrements exacts dont la tâche a besoin. Une étape suivante compétente consiste à inspecter la structure, à rechercher une cible ou à exécuter un petit analyseur, et non à déduire le contenu complet à partir de l'aperçu.

3. Les appels parallèles créent un mode de défaillance agrégé

Les limites par appel sont insuffisantes lorsqu'un agent utilise des outils simultanément. Quatre résultats de 4 000 jetons passent chacun un contrôle de 6 000 jetons, mais ensemble, ils injectent 16 000 jetons dans une seule étape du modèle.

TrueForge documente donc un second seuil pour le contenu combiné des appels d'outils renvoyés ensemble. La valeur par défaut actuelle est de 10 000 jetons. Lorsque la somme dépasse cette limite, le système décharge les réponses une par une, en commençant par la plus grande, jusqu'à ce que le contenu intégré restant tombe en dessous du seuil.

Cette politique privilégiant les plus grands éléments préserve davantage de petits résultats en ligne tout en supprimant rapidement les contributeurs les plus importants. Il s'agit d'une heuristique de contexte, et non d'un jugement de pertinence. La réponse la plus volumineuse pourrait contenir les preuves les plus importantes ; le chemin du fichier permet de la récupérer.

4. Pourquoi le déchargement nécessite une sandbox

La charge utile complète nécessite une surface d'exécution durable que l'agent peut inspecter. La fonctionnalité de TrueForge est activée par défaut, mais nécessite que la sandbox de l'agent soit activée, car le résultat déchargé est stocké sous forme de fichier sandbox.

Le bac à sable n'est pas l'endroit où s'exécute l'intégralité de la boucle de l'agent. La documentation de TrueForge le décrit comme un environnement isolé utilisé pour le code, les fichiers et les opérations shell, provisionné à la demande. Le modèle reçoit un chemin d'accès et peut utiliser les opérations du bac à sable pour inspecter ou transformer le fichier.

Cette conception permet une séparation utile : le harnais contrôle l'exécution et les identifiants, tandis que le bac à sable gère le traitement de la charge utile. Cela soulève également la question du cycle de vie. Si la tâche, l'utilisateur ou la politique de rétention sont sensibles, les équipes doivent savoir combien de temps le fichier est conservé, qui peut le télécharger, quelles données de télémétrie y font référence et comment la suppression est propagée.

5. Le comportement de récupération approprié est l'inspection progressive

Une fois qu'une réponse est déchargée, l'agent doit la restreindre délibérément :

1. Inspectez un court préfixe ou déduisez le schéma.
2. Confirmez la structure de haut niveau attendue et le nombre d'enregistrements.
3. Recherchez l'entité ou les champs spécifiques pertinents pour la requête.
4. Utilisez du code déterministe pour le filtrage, le regroupement ou les jointures.
5. N'affichez que les preuves ou le résumé nécessaires à la prochaine étape de raisonnement.
6. Conservez une référence au fichier source pour le débogage lorsque la politique le permet.

La documentation de TrueForge associe explicitement ce modèle au mode Code. Un script peut lire le fichier déchargé, calculer un résultat et ne renvoyer que les lignes imprimées au contexte du modèle.

6. Le déchargement, la troncature, la synthèse et la récupération sont des opérations différentes

‍