L'apprentissage par ensemble combine plusieurs modèles pour produire des prédictions plus précises et robustes qu'un seul modèle. Les forêts aléatoires agrègent des centaines d'arbres de décision ; les machines à gradient boosting corrigent séquentiellement les erreurs des modèles précédents. Le principe de la sagesse des foules : chaque modèle a des faiblesses différentes, donc la moyenne ou le vote annule les erreurs individuelles. Les ensembles dominent les compétitions Kaggle et sont largement utilisés en scoring de crédit, détection de fraude et prévision de la demande.