L'auto-attention est le mécanisme au sein des modèles transformer qui permet à chaque token d'une séquence de porter attention à tous les autres, calculant des scores de pertinence déterminant combien chaque mot doit influencer la représentation de chaque autre mot. C'est ce qui permet au modèle de comprendre que dans « le chat s'est assis sur le tapis », « il » fait référence à « le chat » et non à « le tapis ». L'auto-attention a remplacé le traitement séquentiel des RNN par une approche parallélisable qui s'adapte efficacement.