BPE est un algorithme de tokenisation qui fusionne itérativement les paires de tokens les plus fréquentes. Il équilibre la tokenisation au niveau mot et au niveau caractère. Utilisé par GPT, Llama et la plupart des modèles modernes, il gère l'anglais, le français, l'arabe et le code.