Token

Ein Token ist ein Textbaustein, den ein Modell verarbeitet: ein Wort, ein Wortteil, ein Satzzeichen oder eine Folge von Bytes. Token messen den Umfang von Anfrage, Antwort und verfügbarem Kontext.