String in definierte Zeichen und sonstige Zeichen teilen

[snafu]

Ich hab's jetzt erstmal auf das reine Tokenizing runtergebrochen. Der Rest folgt später.

Code: Alles auswählen

_TEXT = 0
_SYMBOL = 1

def _tokenize(symbols, s):
    expr = '(%s)' % '|'.join(re.escape(sym) for sym in symbols)
    for i, value in enumerate(re.split(expr, s)):
        if value:
            yield i % 2, value

Soll halt nicht Teil der API sein, daher die Unterstriche.

[derdon]

Warum schreibst du das nicht als Generator Expression? Ungetestet:

Code: Alles auswählen

def _tokenize(symbols, s):
    expr = '(%s)' % '|'.join(re.escape(sym) for sym in symbols)
    return ((i % 2, value) for i, value in enumerate(re.split(expr, s)) if value)

[str1442]

Hier noch eine Variante für die, die (so wie ich) keinen Vertrag mit RE haben ...

Denn wer den Vertrag eingeht, wird sowieso früher oder später geholt.

[numerix]

@numerix: In dem speziellen Fall finde ich RE's handlicher.

Ja, ganz gewiss sind sie das. Elegant ist meine Lösung nicht.

[snafu]

Warum schreibst du das nicht als Generator Expression?

Weil ich verschachtelte GE's nicht so lesbar finde wie beim "altmodischen" Weg. Momentan versuche ich, solche Konstrukte zu vermeiden. Aber vielleicht ist es auch nur so eine Phase von mir... ^^