Le service de modèle est le processus de déploiement d'un modèle d'IA entraîné derrière un endpoint API pour que les applications puissent envoyer des requêtes et recevoir des prédictions en temps réel. Il implique le batching des requêtes pour l'efficacité GPU, la gestion de versions, la montée en charge et la surveillance de latence. NVIDIA Triton, TensorFlow Serving, BentoML et vLLM fournissent des infrastructures de service prêtes pour la production.