Sportsbet déploie une passerelle IA pour renforcer ses garde-fous et maîtriser ses coûts

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Le déploiement commence par les agents existants et le trafic des assistants de codage.
Sportsbet a mis en place un plan de contrôle centralisé pour encadrer l'adoption croissante de l'IA et piloter l'utilisation ainsi que les coûts liés à cette technologie.
L'entreprise a déployé la passerelle IA de TrueFoundry sur son infrastructure AWS et traite déjà certains cas d'usage « immédiats » via cette solution.
La passerelle est conçue pour servir de « plan de contrôle centralisé pour tout le trafic LLM, les appels d'outils d'agents connectés via MCP et les charges de travail IA des équipes d'ingénierie de Sportsbet », a déclaré le fournisseur dans un communiqué.
Elle exécute également des « garde-fous de validation en parallèle des appels aux modèles [d'IA], afin que l'application des politiques n'ajoute aucune latence mesurable sur le chemin critique. »
À ce jour, Sportsbet a migré un agent IA existant vers TrueFoundry « afin d'obtenir des métriques d'utilisation, des garde-fous et une visibilité sur les outils routés par MCP », ont précisé les deux entreprises.
Cet agent est « utilisé par les analystes métier et les chefs de produit pour rédiger des documents de spécifications produit et des user stories via une intégration Jira. »
Le trafic des assistants de codage est désormais également routé via la passerelle.
Grâce à cette gouvernance centralisée, Sportsbet cherche essentiellement à renforcer ses garde-fous et à gérer ses coûts via « une visibilité totale sur l'utilisation des modèles, la consommation de jetons et l'attribution des coûts par application et par équipe. »
« L'IA transforme la manière dont nous concevons nos produits et l'expérience client, et Sportsbet entend être un leader, pas un suiveur », a déclaré Niall Keating, directeur général des données et de l'IA chez Sportsbet.
« La difficulté n'a jamais été la phase pilote ; c'est de transformer l'IA en une capacité fondamentale qui fait tourner l'entreprise à grande échelle. »
Lire l'article complet ici : https://www.itnews.com.au/news/sportsbet-deploys-ai-gateway-to-enforce-guardrails-manage-costs-627995
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
The fastest way to build, govern and scale your AI












.jpeg)

.jpeg)


.jpeg)
.webp)











