Le transformer est l'architecture de réseau de neurones qui a révolutionné le TALN et sous-tend tous les grands modèles de langage modernes. Son innovation clé est le mécanisme d'auto-attention, qui traite tous les tokens en parallèle plutôt que séquentiellement, permettant des accélérations massives et une bien meilleure gestion du contexte à longue portée. GPT, BERT, Claude, Gemini — tous basés sur le transformer. Les transformers alimentent aussi des modèles de vision, de parole et de recherche sur les protéines.