Limitation de débit d'API pour les LLM : comptez les jetons, pas les requêtes

La même idée — plafonner ce qu'un appelant peut consommer sur une fenêtre — mais l'unité change. La limitation de débit d'API classique compte les requêtes, ce qui fonctionne lorsque les requêtes coûtent à peu près la même chose. Les requêtes LLM varient de plusieurs ordres de grandeur en tokens, si bien qu'une limite de tokens reflète bien mieux la consommation réelle. Utilisez les deux : les tokens régissent le rythme des dépenses, les requêtes protègent la connexion contre les tempêtes de nouvelles tentatives.

Les deux. Une limite de tokens est un contrôle de débit sur une fenêtre glissante : elle empêche un appelant de monopoliser la capacité à l'instant présent. Un budget est un contrôle financier sur une période calendaire : il empêche une équipe de trop dépenser ce mois-ci. Une limite de tokens ne peut pas exprimer des dollars, puisqu'un même nombre de tokens coûte des montants différents selon les modèles — et un budget ne dit rien de la minute en cours.

Une requête en échec — rejetée par la passerelle, ou mise en échec par le fournisseur avec un code 4XX ou 5XX — compte pour une requête dans chaque règle requests_per_* à laquelle elle correspondait. La seule exception est une requête déjà rejetée avec un 429 par la limitation de débit elle-même. Les limites de tokens ne sont pas affectées : une requête en échec ne déclare aucun token.

Oui. TrueFoundry s'exécute dans votre VPC, on-premise, en environnement air-gapped ou en hybride, de sorte que les prompts et les réponses ne quittent jamais votre domaine, même lorsque vous routez vers de nombreux fournisseurs.

Environ 3 à 4 ms de surcoût, en traitant plus de 350 RPS sur un seul vCPU, pour plus de 1 000 LLM pris en charge. L'exception est le classifieur LLM facultatif, qui ajoute un véritable appel de modèle avant le transfert de la requête.

Oui. La passerelle est conforme à OpenTelemetry et se connecte à Grafana, Datadog ou Prometheus. Chaque appel au classifieur LLM produit son propre span, de sorte que la latence du classifieur est visible séparément de celle du modèle servi.