Pourquoi le choix du moteur est crucial

Le moteur d'inférence détermine l'efficacité avec laquelle votre GPU traite les jetons. Un même modèle sur le même matériel peut offrir des performances très différentes en termes de débit, de latence et de coût, selon le moteur utilisé et la configuration de son traitement par lots et de sa mise en cache.

Il n'existe pas de solution universelle. vLLM, SGLang et TensorRT-LLM sont tous en développement actif et convergent vers de nombreuses techniques communes, notamment le traitement par lots continu (continuous batching), le cache KV paginé, la mise en cache des préfixes et la quantification. Le bon choix dépend de votre modèle, de votre GPU, de la longueur des séquences, de la taille des lots et de la concurrence.

vLLM : la référence pour un débit élevé

vLLM repose sur PagedAttention, qui gère le cache des clés et valeurs (KV) d'attention dans des pages non contiguës, à la manière dont un système d'exploitation gère la mémoire virtuelle. Cela réduit la fragmentation de la mémoire et permet au serveur de traiter davantage de séquences simultanées sur un seul GPU.

C'est un choix robuste et polyvalent pour un service à haut débit, grâce au traitement par lots continu, à une large compatibilité avec les modèles et à un serveur facile à utiliser, compatible avec l'API OpenAI. Optez pour vLLM si vous recherchez une large prise en charge des modèles et un débit solide sans étape de compilation. Pour une analyse plus approfondie, consultez notre guide sur vLLM.

SGLang : conçu pour la réutilisation des préfixes et les sorties structurées

SGLang repose sur RadixAttention, qui réutilise le cache KV entre les requêtes partageant un préfixe grâce à un arbre de préfixes (radix tree). Cela profite aux charges de travail impliquant un partage important de prompts, comme le few-shot prompting, les longs prompts système partagés, les conversations multi-tours avec agents et le raisonnement par arbre de pensées (tree of thought).

Il permet également d'obtenir rapidement des sorties structurées fiables, notamment via JSON, regex et le décodage contraint par grammaire, ce qui facilite les pipelines de prompting complexes et l'appel d'outils. Privilégiez SGLang lorsque la réutilisation des préfixes et la génération contrainte dominent votre trafic.

Not sure which engine fits your workload?

We will benchmark vLLM, SGLang, and TensorRT-LLM on your model and GPU, then put the winner behind one gateway.

Book a demo

TensorRT-LLM : optimisation maximale sur les GPU NVIDIA

TensorRT-LLM est la bibliothèque de NVIDIA qui compile les modèles en moteurs optimisés pour une cible GPU spécifique, en utilisant des noyaux fusionnés, une attention optimisée, la quantification sur le matériel compatible et le traitement par lots en cours d'exécution via Triton.

‍

Il vise généralement la latence la plus faible et la meilleure efficacité par GPU sur les cartes NVIDIA, au prix d'une étape de compilation explicite et de moteurs liés au type et au nombre exacts de GPU pour lesquels ils ont été créés. Comme l'indique la documentation, étant donné que TRT-LLM optimise le modèle pour le type et le nombre de GPU cibles, il est important que ces paramètres correspondent lors du déploiement.

‍

En un coup d'œil

‍

| Moteur | Concept clé | Idéal pour | Compromis |

| --- | --- | --- | --- |

| vLLM | Cache KV PagedAttention | Débit élevé général, large support de modèles | Excellent choix par défaut, pas toujours la latence la plus faible |

| SGLang | Réutilisation de préfixe RadixAttention | Prompts partagés, agentique, sorties structurées | Gains optimaux grâce à la réutilisation de préfixe |

| TensorRT-LLM | Moteurs NVIDIA compilés | Latence minimale sur GPU NVIDIA | Étape de build, moteur lié au GPU |

‍

Les chiffres de performance dépendent de la charge de travail. Effectuez des benchmarks sur votre propre trafic avant tout engagement. TrueFoundry prend en charge ces trois solutions afin d'adapter le moteur à votre charge de travail.

‍

Déployer vLLM ou SGLang sur TrueFoundry

‍

Pour vLLM et SGLang, le catalogue de modèles est le point d'entrée. Comme l'indique la documentation, TrueFoundry simplifie le déploiement d'un LLM en déterminant automatiquement la méthode optimale et en configurant les GPU appropriés.

‍

Vous pouvez choisir l'un des modèles du catalogue LLM ou coller une URL de modèle Hugging Face. TrueFoundry analyse les tags et les fichiers du modèle pour identifier le framework de déploiement et génère les manifestes associés. Vous conservez une flexibilité totale pour choisir le serveur de modèle le plus performant, garantissant ainsi une inférence plus rapide. La plateforme utilise également le streaming d'images et la mise en cache, permettant des temps de téléchargement 3 fois plus rapides pour les images vLLM et SGLang.

‍

Pour les modèles restreints, ajoutez votre jeton Hugging Face en tant que secret dans le sélecteur de secrets.

‍

Déployer TensorRT-LLM sur TrueFoundry

‍

TensorRT-LLM ne s'active pas en un clic, car les moteurs doivent être compilés pour le GPU cible. Le guide dédié utilise un flux de travail basé sur la compilation puis le déploiement.

‍

• Ajoutez votre jeton Hugging Face en tant que Secret pour les modèles restreints, puis créez un dépôt ML et un espace de travail y ayant accès. Le dépôt ML stocke et versionne les moteurs compilés.
• Déployez le job de construction du moteur en utilisant l'image de construction de moteur TrueFoundry, en définissant des paramètres tels que l'identifiant du modèle, le type de données (dtype), la taille maximale de lot et la longueur maximale d'entrée. Une fois terminé, le moteur apparaît dans la section Modèles et le tokenizer dans la section Artefacts.
• Déployer avec NVIDIA Triton en utilisant l'image serveur Triton, en pointant vers les FQN du moteur et du tokenizer. Le type et le nombre de GPU doivent correspondre à ceux du job de build.
• Exécuter des inférences sur un point de terminaison compatible OpenAI. Comme le point de terminaison est compatible OpenAI, vous pouvez l'ajouter à la Passerelle IA ou l'utiliser directement avec le SDK OpenAI.

‍

Exécution d'une inférence sur un moteur TensorRT-LLM déployé via le point de terminaison compatible OpenAI.

‍