La descente de gradient est l'algorithme d'optimisation qui minimise la fonction de perte d'un modèle en ajustant itérativement les poids dans la direction qui réduit le plus l'erreur. C'est comme un randonneur dans des montagnes brumeuses cherchant la vallée la plus basse : à chaque pas, il sent la pente et descend. Le taux d'apprentissage contrôle l'amplitude du pas. Des variantes comme SGD et Adam adaptent le processus pour l'efficacité. Tout entraînement de réseau de neurones repose fondamentalement sur la descente de gradient.