BPE est un algorithme de tokenisation qui fusionne itérativement les paires de tokens les plus fréquentes. Il équilibre la tokenisation au niveau mot et au niveau caractère. Utilisé par GPT, Llama et la plupart des modèles modernes, il gère l'anglais, le français, l'arabe et le code.
LLM & ModèlesByte-Pair Encoding (BPE)
BPE
Termes liés
Apprends à utiliser ces concepts en pratique.
Rejoindre la 212AY Academy →