Une fonction de perte mesure l'écart entre les prédictions du modèle et les vraies valeurs cibles pendant l'entraînement. Elle fournit le signal d'optimisation : la descente de gradient ajuste les poids pour minimiser cette perte. Les fonctions courantes incluent l'entropie croisée pour la classification et l'erreur quadratique moyenne pour la régression.