Tokenizador e contagem

Um tokenizador divide texto em unidades reconhecidas por um modelo específico.