L'encodage positionnel est la technique qui donne aux modèles transformer l'information sur l'ordre des tokens dans une séquence, puisque l'architecture traite tous les tokens simultanément plutôt que séquentiellement. Sans encodage positionnel, le modèle traiterait « le chien mord l'homme » et « l'homme mord le chien » de la même façon. Les approches modernes incluent les embeddings appris et l'encodage positionnel rotatif (RoPE), qui permettent aux modèles de généraliser à des séquences plus longues que celles vues à l'entraînement.