Un réseau de neurones récurrent traite les séquences élément par élément en conservant une mémoire cachée de ce qui précède, comme lire une phrase mot à mot en retenant le contexte. Les RNN et leur variante améliorée LSTM ont longtemps dominé la reconnaissance vocale, la traduction et la prévision de séries temporelles. Ils peinent sur les très longues séquences et s'entraînent lentement, raison pour laquelle les transformers les ont largement remplacés. Ils restent utiles pour des tâches légères.