La quantization réduit la précision numérique des poids d'un modèle, par exemple de 16 bits à 4 bits, afin qu'il consomme moins de mémoire et tourne plus vite, avec une perte de qualité minime. C'est comme compresser une photo haute résolution : le fichier rétrécit mais l'image reste reconnaissable. Elle permet d'exécuter des modèles de langage performants sur des ordinateurs portables ou des serveurs locaux. Une clinique marocaine soucieuse de confidentialité pourrait faire tourner un modèle quantifié sur place plutôt que d'envoyer les dossiers patients vers le cloud.