Mettre en production un premier modèle d'IA est rarement le plus difficile. La charge opérationnelle apparaît lorsque la deuxième ou la troisième équipe demande un accès, un budget mensuel et les mêmes contrôles que tout le monde.

TrueFoundry et Kong Gateway peuvent tous deux acheminer les appels aux modèles. La différence réside dans ce que votre équipe plateforme doit construire et maintenir autour. TrueFoundry traite l'accès des équipes et les budgets comme des contrôles natifs. Kong Gateway assemble le même résultat à partir d'entités de passerelle, de plugins et de configurations tarifaires. Cet écart se creuse à mesure que l'adoption de l'IA progresse.

En résumé

TrueFoundry vous offre des contrôles directs pour l'accès aux modèles, les budgets des équipes et les outils approuvés. Avec Kong, vous assemblez ces contrôles via les paramètres de la passerelle et des plugins, ce qui représente 3 à 5 fois plus de travail pour votre équipe plateforme. Si vous comparez TrueFoundry et Kong Gateway, regardez au-delà de la liste des fonctionnalités : quelqu'un devra maintenir cette configuration bien après la fin de la démonstration.

Démarrer avec l'équipe support

Supposons que le modèle soit déjà connecté. Dans TrueFoundry, vous accordez l'accès à l'équipe et définissez son budget. Avec Kong, vous connectez l'identité de passerelle de l'équipe à la route du modèle et configurez un plugin de limitation des dépenses. Vous devez également fournir les prix des modèles nécessaires au suivi des coûts en dollars, puis vérifier que les paramètres couvrent bien les demandes de l'équipe. Rien d'insurmontable, certes. Mais c'est du travail supplémentaire pour votre équipe plateforme.

Figure 1. TrueFoundry expose l'accès aux modèles et le budget de l'équipe comme des contrôles natifs. Dans Kong Gateway, l'équipe plateforme combine identité, routage, limitation de débit et configuration tarifaire, puis définit et teste la politique qui en résulte. Les configurations existantes peuvent être réutilisées.

La charge de travail augmente avec l'arrivée de nouvelles équipes

Le support est opérationnel. Puis l'équipe commerciale demande un budget plus important, et une autre équipe a besoin que les données clients soient supprimées des prompts. Avant de modifier un paramètre partagé, vos ingénieurs doivent savoir quelles équipes seront impactées.

Dans TrueFoundry, vous gérez les budgets par équipe et appliquez des politiques de sécurité au trafic IA concerné. Les responsables d'équipe peuvent ajuster leurs propres budgets, tandis que les administrateurs conservent des contrôles à l'échelle de l'entreprise. Cela permet d'identifier clairement le responsable des changements budgétaires courants.

Avec Kong, les ingénieurs décident où chaque plugin de sécurité s'applique et le vérifient par rapport à la configuration existante. Il existe des moyens de réduire cet effort : Kong prend en charge la configuration partagée et le déploiement automatisé. C'est utile, surtout si votre équipe utilise déjà Kong. Vous devez toutefois maintenir la configuration et les tests associés, alors prévoyez également le budget pour ce temps d'ingénierie.

Garantir le respect des limites de dépenses

Un budget mensuel semble simple jusqu'à ce que le prix d'un modèle change. Dans un déploiement Kong entièrement auto-hébergé sur site, le plugin de limite de dépenses utilise les prix des modèles fournis dans la configuration. Si ces prix ne sont pas à jour, le compteur d'utilisation peut être en décalage avec la facture réelle. Quelqu'un dans votre équipe doit les mettre à jour ou créer une automatisation pour le faire.

Kong propose bien un catalogue de prix mis à jour automatiquement via Konnect Metering & Billing, mais ce service distinct n'est pas disponible sur site. Il ne doit pas être confondu avec les prix configurés utilisés par le plugin de la passerelle.

TrueFoundry met à jour automatiquement les prix publics pour les modèles pris en charge. Vous avez toujours besoin de tarifs personnalisés pour les taux négociés. L'exemple ci-dessous montre ce qui se passe si un tarif public double alors que Kong continue d'utiliser l'ancien prix : le service financier constate 10 $ d'utilisation là où le fournisseur facture 20 $.

Figure 2. Un exemple illustratif pour la configuration du plugin sur site de Kong, et non un incident signalé. Le catalogue de TrueFoundry a été actualisé ; le prix configuré dans Kong n'a pas été mis à jour.

Pour une équipe FinOps, cet écart est important. Il est difficile de se fier à une limite de dépenses si sa précision dépend d'une mise à jour tarifaire qui pourrait être oubliée.

Ajout d'outils à l'agent

Une fois que l'assistant de support est opérationnel, la demande suivante est prévisible : lui permettre de consulter une commande et de vérifier le dossier d'un client. Ces actions reposent sur deux API existantes. Vous souhaitez exposer uniquement ces outils à l'agent.

MCP est le protocole qui permet aux agents d'utiliser des outils. Avec TrueFoundry, vous pouvez importer les spécifications d'API, générer des outils et choisir ceux à exposer ensemble. Vous devez toujours décider ce que l'agent est autorisé à faire, mais vous n'avez pas à définir chaque outil manuellement.

Le flux de travail API-vers-MCP documenté par Kong implique de configurer l'accès à chaque API, de définir ses outils et de les étiqueter pour qu'ils puissent être découverts. Vous configurez ensuite un point de terminaison partagé pour regrouper ces outils. Chaque API supplémentaire ajoute un ensemble de paramètres à gérer.

Figure 3. TrueFoundry utilise les spécifications d'API existantes pour générer des outils. Les deux produits nécessitent toujours des contrôles d'accès et des tests.

Déterminer pourquoi une requête a échoué

À un moment donné, l'assistant cessera de répondre et quelqu'un demandera pourquoi. Il peut s'agir d'un budget épuisé, d'un contrôle de sécurité ou d'une panne du fournisseur. La personne chargée de l'enquête a besoin de suffisamment de contexte pour faire la distinction.

TrueFoundry fournit des journaux de requêtes dans l'interface de l'AI Gateway. Kong transmet les données d'utilisation de l'IA via un plugin de journalisation configuré. Essayez de tracer une requête ayant échoué dans les deux produits lors de votre évaluation. Voyez ce que vous pouvez déduire des journaux disponibles et à quel moment vous avez besoin de l'aide d'une personne connaissant la configuration de la passerelle.

Si cette personne est sollicitée à chaque fois, elle devient le support technique par défaut pour les équipes applicatives, la sécurité et la finance. C'est une dépendance qu'il vaut mieux identifier avant que l'adoption ne se généralise.

TrueFoundry vs Kong en un coup d'œil

‍