BERT (Bidirectional Encoder Representations from Transformers) est un modèle de langage fondamental qui lit le texte dans les deux sens simultanément, permettant une compréhension du contexte plus profonde. Publié par Google en 2018, il a lancé l'ère moderne des modèles de langage pré-entraînés et excelle en classification, question-réponse et reconnaissance d'entités nommées. Son architecture a influencé GPT, RoBERTa et de nombreux successeurs.