Токен

Токен — фрагмент текста, с которым работает модель: слово, часть слова, знак или последовательность байтов. Токенами измеряют объём запроса, ответа и доступного контекста.