Le mécanisme d'attention permet à un réseau de neurones de pondérer les parties de son entrée les plus pertinentes à chaque étape de sa sortie, au lieu de tout traiter uniformément. Pour traduire en français un message client en darija, le modèle « porte attention » aux mots pertinents à chaque instant, comme un lecteur dont les yeux reviennent aux phrases clés. L'attention est l'innovation centrale de l'architecture transformer, donc de ChatGPT, Claude, Gemini et de presque tous les modèles de langage modernes.