La tokenisation est le processus de découpage du texte brut en tokens — les unités qu'un modèle de langage lit réellement. Différentes tokenisations gèrent des mots, des sous-mots ou des caractères selon le modèle. La tokenisation au niveau mot sépare par des espaces ; les tokeniseurs sous-mot comme BPE fusionnent les séquences de caractères courantes pour gérer les mots rares. Une tokenisation correcte est essentielle pour les modèles multilingues qui doivent gérer l'arabe, le français et l'anglais.