Токенизатор — инструмент, который разбивает текст на токены конкретной модели.
Включите JavaScript, чтобы пользоваться калькуляторами. Статьи можно читать без JavaScript.