Tokenizador y recuento

El tokenizador divide el texto en los tokens que entiende un modelo concreto.