L'encodage positionnel rotatif (RoPE) injecte l'information positionnelle dans les modèles transformer en faisant tourner les vecteurs requête et clé dans les couches d'attention, plutôt qu'en ajoutant des embeddings de position aux entrées. RoPE encode les positions relatives naturellement, permettant la généralisation à des longueurs non vues à l'entraînement. Utilisé dans LLaMA, Mistral, Qwen et d'autres modèles modernes.