Le pré-entraînement est la phase initiale où un grand modèle de langage est entraîné sur un corpus textuel massif — souvent des centaines de milliards de tokens — pour apprendre les motifs linguistiques, les connaissances générales et les capacités de raisonnement. Le modèle optimise la prédiction du prochain token. Le pré-entraînement coûte des millions de dollars mais produit un modèle de base affinable efficacement pour des tâches spécifiques.