Das deutsche Python-Forum

Liebe Python-Profis,

ich befasse mich erst seit sehr sehr kurzer Zeit mit diesem Programm und habe auch sonst keinerlei Programmiererfahrung oder -kentnisse... Ich soll einen 200 Seiten langen Text tokenisieren... Ich denke, in meinem Falle eignet sich der WhiteSpaceTokenizer... Leider finde ich in allen Beispielaufgaben nur Lösungen, wie ich einzelne Sätze tokenisieren kann... Wie schaffe ich das denn bei einem kompletten Text. Also genauer gesagt, wie bekomme ich meinen Text als s?

Es wäre super, wenn hier jemand weiterhelfen könnte.
Vielen Dank

Was heißt tokenisieren für dich, was ist ein WhiteSpaceTokenizer? Klingt mehr nach Java als nach Python. Willst du einzelne Wörter haben? Da hilft vermutlich str.split angewandt auf deinen Text.