نزول التدرج هو خوارزمية الأمثلة التي تُقلّل دالة خسارة النموذج عن طريق تعديل الأوزان تكرارياً في الاتجاه الذي يُخِفّف الخطأ أكثر. تخيل متسلقاً في جبال ضبابية يحاول الوصول إلى أخفض وادٍ: في كل خطوة، يشعر بالمنحدر تحت قدميه وينزلق للأسفل. معدل التعلم يتحكم في حجم الخطوة. تكيّف المتغيرات مثل SGD وAdam العملية للكفاءة. كل تدريب للشبكات العصبية يعتمد في نهاية المطاف على نزول التدرج.