الانتباه الذاتي الآلية داخل نماذج المحول التي تتيح لكل رمز في متتالية الانتباه إلى جميع الرموز الأخرى، محسّنةً درجات الصلة التي تحدد مقدار تأثير كل كلمة على تمثيل كل كلمة أخرى. هذا ما يمكّن النموذج من فهم أن في عبارة «جلس القط على السجادة»، تشير الضمير «هو» إلى «القط» لا «السجادة». حلّ الانتباه الذاتي محل المعالجة التسلسلية للشبكات المتكرارية بنهج قابل للتوازي يتوسع بكفاءة.