Observabilité des agents IA : pourquoi a-t-il fait cela ?
.png)
Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises

TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.



Gouvernez, déployez et suivez l'IA dans votre propre infrastructure
Blogs récents
Questions fréquemment posées
Qu'est-ce que l'observabilité des agents d'IA ?
Enregistrer la trajectoire d'exécution complète d'un agent — sessions, tours, appels de modèles et appels d'outils, avec arguments, résultats, tokens, coût et latence — afin de pouvoir expliquer pourquoi il s'est comporté ainsi. Elle diffère de la supervision applicative par l'unité d'observation : une requête a un début et une fin, alors qu'une trajectoire est une séquence imbriquée dans laquelle n'importe quel niveau peut boucler.
En quoi l'observabilité des agents diffère-t-elle de l'observabilité des LLM ?
L'observabilité des LLM est un sous-ensemble qui couvre l'appel au modèle : prompt, réponse, tokens, latence, coût. L'observabilité des agents ajoute tout ce qui l'entoure — quels outils ont été exécutés, dans quel ordre, avec quels arguments et résultats, et combien de fois un tour a bouclé avant de s'arrêter. La plupart des défaillances réelles se situent dans cette structure, pas dans une réponse isolée.
Dois-je instrumenter le code de mon agent pour le traçage des agents ?
Pas si le trafic des modèles et des outils passe déjà par une passerelle, puisqu'elle enregistre chaque saut en le traitant. L'instrumentation par SDK au niveau du framework ajoute les étapes de raisonnement internes que la passerelle ne voit jamais : les deux sont donc complémentaires, et non des alternatives.
Puis-je déployer TrueFoundry dans mon propre VPC ou on-premise ?
Oui — en VPC, on-premise, en environnement air-gapped, en hybride ou sur plusieurs clouds, sans qu'aucune donnée ne quitte votre domaine.
TrueFoundry prend-il en charge MCP et les agents d'IA de manière générale ?
Oui. Il comprend une MCP Gateway, une Agent Gateway et un MCP & Agents Registry avec un contrôle d'accès au niveau des outils. Les agents construits avec LangGraph, CrewAI, AutoGen ou un framework maison peuvent tous être gouvernés de manière centralisée.
S'intègre-t-elle à ma pile d'observabilité existante ?
Oui. La passerelle est compatible OpenTelemetry et s'intègre à Grafana, Datadog, Prometheus, ou à votre pile technologique préférée. Elle trace chaque requête, du prompt à l'exécution de l'outil et du modèle, vous offrant ainsi une journalisation unifiée sans avoir à remplacer ce que vous utilisez déjà.










.webp)



.png)
.png)
.png)
.png)
.png)






.png)







