Le BYOK (Bring Your Own Key) signifie que vous conservez vos propres comptes auprès des fournisseurs de modèles comme OpenAI, Anthropic et AWS Bedrock, et que vous intégrez ces clés de fournisseur dans la passerelle une seule fois. Vos applications n'ont plus jamais accès aux clés brutes des fournisseurs. Elles communiquent avec un AI Gateway de TrueFoundry point de terminaison en utilisant une clé de passerelle unique, et la passerelle transmet chaque appel au bon fournisseur avec vos identifiants.

C'est l'opposé d'un modèle de revendeur où vous achetez des jetons auprès d'un intermédiaire. Avec le BYOK, vous conservez vos propres contrats, tarifs et limites de débit auprès des fournisseurs, tout en ajoutant une gouvernance centralisée.

Pourquoi faire transiter les clés de fournisseur par la passerelle ?

Distribuer les clés brutes des fournisseurs à chaque application et notebook est la source de la prolifération incontrôlée des clés. Les clés fuitent dans le code, sont copiées dans les environnements et deviennent impossibles à renouveler sans tout casser.

• Une seule clé pour les appelants. Les applications s'authentifient avec une clé TrueFoundry, et non avec la clé du fournisseur. Comme l'indique la documentation, pour accéder aux modèles via la passerelle, vous utilisez des clés API TrueFoundry, et non les clés originales des fournisseurs.
  

• Rotation centralisée. Les clés des fournisseurs sont centralisées. Renouvelez-les dans la passerelle et toutes vos applications continuent de fonctionner.
  

• Contrôle d'accès. Vous décidez qui peut utiliser quel compte de modèle, avec des rôles de gestionnaire et d'utilisateur par compte.
  

• Une interface unique. Au lieu de gérer des SDK, des points de terminaison et des clés distincts pour OpenAI, Anthropic, Bedrock et les modèles auto-hébergés, les applications communiquent avec un seul point de terminaison de passerelle et utilisent une seule clé de passerelle.

Tired of provider keys scattered across your apps?

See how teams centralize every provider key behind one governed gateway. We will walk through your setup.

Book a demo

Ajout de vos clés de fournisseur : comptes de modèles

Dans TrueFoundry, une clé de fournisseur est intégrée à un compte de modèle. Le documentation de démarrage rapide un compte de modèle désigne un compte auprès d'un fournisseur de modèles, comme OpenAI, Anthropic ou AWS Bedrock. Vous pouvez ajouter plusieurs comptes par fournisseur, chacun avec ses propres clés API, et chaque compte peut contenir plusieurs modèles.

Pour en ajouter un, sélectionnez le fournisseur souhaité, puis ajoutez des modèles après avoir fourni la clé API. Vous pouvez ajouter plusieurs clés d'un même fournisseur en créant des comptes de modèles distincts, ce qui est utile pour séparer les dépenses ou les limites de débit par environnement ou par équipe.

‍

Une fois soumis, vos comptes de modèles et vos modèles apparaissent sous l'onglet Modèles. Pour en ajouter d'autres ultérieurement, accédez à AI Gateway, puis à Modèles, sélectionnez un compte de modèle sur la gauche et cliquez sur Ajouter un modèle en haut à droite.

‍

Ajout de modèles à un compte de modèle après l'enregistrement de la clé du fournisseur.

‍

Comment les appelants s'authentifient : clés virtuelles

‍

Une fois vos clés de fournisseur enregistrées, les applications ne les voient jamais. La documentation sur le contrôle d'accès à la passerelle décrit deux types de jetons que les appelants utilisent à la place.

‍

• Jetons d'accès personnel (PAT) sont liés à un utilisateur et sont recommandés pour les développeurs pendant la phase de développement.
• Jetons de compte virtuel (VAT) sont liés à une identité virtuelle et sont recommandés pour les applications en production. Il s'agit de la clé virtuelle avec laquelle vos services sont déployés.

‍

L'accès est configuré au niveau du compte de modèle avec deux rôles. Un gestionnaire de compte de modèle peut modifier les paramètres, ajouter ou supprimer des modèles et gérer les autorisations d'accès. Un utilisateur de compte de modèle peut utiliser tous les modèles du compte mais ne peut pas modifier les paramètres ou les autorisations. Les administrateurs de locataire ont automatiquement accès à tous les modèles sur l'ensemble de la plateforme.

‍

Pour appeler la passerelle, vous avez besoin de trois éléments provenant de l'onglet Extrait de code du Playground : l'URL de base de la passerelle, une clé API et un identifiant de modèle. Les utilisateurs SaaS pointent vers l'URL de base de la passerelle, s'authentifient avec un PAT ou un VAT et utilisent le client OpenAI standard.

‍

L'onglet Extrait de code du Playground, affichant l'URL de base de la passerelle et la clé utilisée par votre application.

‍

from openai import OpenAI

‍

client = OpenAI(

    api_key="votre_clé_api_truefoundry",

    base_url="https://gateway.truefoundry.ai",

)

‍