Le compromis biais-variance décrit l'équilibre qu'un modèle doit trouver entre être trop simple (biais élevé, sous-ajustement) et trop complexe (variance élevée, surapprentissage). Un modèle à biais élevé rate des motifs réels, comme un étudiant qui ne lit que les résumés et échoue aux questions nuancées. Un modèle à variance élevée mémorise le bruit des données d'entraînement et échoue sur de nouvelles entrées, comme un étudiant qui apprend par cœur sans comprendre. Le bon modèle se situe au juste milieu.