Token

Un token est un fragment de texte traité par le modèle : un mot, une partie de mot, un signe de ponctuation ou une suite d’octets. Les tokens mesurent la taille de la demande, de la réponse et du contexte disponible.