La distillation de connaissances est une technique où un grand modèle « professeur » entraîne un modèle « élève » plus petit à imiter son comportement, transférant l'essentiel des capacités pour une fraction de la taille et du coût. C'est comme un maître artisan de Fès formant un apprenti : l'apprenti ne voit pas toutes les pièces jamais réalisées par le maître, mais apprend le métier en observant son travail. Les modèles distillés sont moins chers et plus rapides à exécuter, rendant l'IA viable sur des serveurs modestes ou des téléphones.