Un token est la plus petite unité de texte qu'un modèle de langage traite. Pour l'anglais, un token correspond environ à 4 caractères ou ¾ de mot ; pour l'arabe et le français, les frontières varient. Les modèles utilisent le nombre de tokens pour gérer leur fenêtre de contexte et calculer les coûts. Comprendre les tokens est important pour le prompt engineering : les prompts longs consomment plus de tokens, et chaque modèle a une limite maximale par requête.