L'inférence est la phase où un modèle d'IA déjà entraîné est réellement utilisé pour produire des prédictions ou des réponses, par opposition à l'entraînement, où il apprend à partir des données. Chaque fois que vous posez une question à ChatGPT ou qu'une banque évalue une demande de crédit, c'est de l'inférence. C'est comme la différence entre un étudiant en médecine et un médecin en exercice : l'entraînement a lieu une fois et coûte cher, l'inférence se répète des millions de fois et doit être rapide et économique. Elle détermine l'essentiel des budgets IA en production.