Tokenizer et comptage

Un tokenizer découpe le texte en unités reconnues par un modèle donné.