Ein Tokenizer zerlegt Text in Einheiten, die ein bestimmtes Modell verarbeitet.
Aktiviere JavaScript, um die Rechner zu nutzen. Die Artikel kannst du ohne JavaScript lesen.