Das deutsche Python-Forum

Code: Alles auswählen

liste_token_deu = []
for token in satz:
    for i in nlp(token[0]):
        if i.is_alpha:
            if not i.is_stop:
                if i.pos_ == 'VERB' or i.pos_ == 'ADJ':
                    text = (i.lemma_, token[1])
                    liste_token_deu.append(text)
print(liste_token_deu)

Code: Alles auswählen

tokens_mit_datum = []
for satz, datum in saetze_mit_datum:
    tokens = []
    for token in nlp(satz):
        if token.is_alpha and not token.is_stop:
            if token.pos_ in ['VERB', 'ADJ']:
                tokens.append(token)
    tokens_mit_datum.append((tokens, datum))
print(tokens_mit_datum)

Code: Alles auswählen

satz = [('Das ist :-) ein super verspielter Satz :-D 🤔', '01.01.2020'), ('Das ist ein zweiter super duschgeknallter Satz 🙈', '02.01.2020'),('Das ist ein dritter normal :-( verrückter Satz 😊', '03.01.2021')]

def lemmas_mit_datum(quelle):
    tokens_mit_datum = []
    for text, datum in quelle:
        tokens = []
        emoticons = re.findall(r'[>]?[;:xB<][\']?[-]?[()DPO3S][)]?', text)  
        for words in text:
            for emojis in words:
                if emojis in emoji.UNICODE_EMOJI_ENGLISH:
                    continue
        for token in nlp_de(text):
            if token.is_alpha and not token.is_stop:
                if token.pos_ in ['VERB', 'ADJ']:
                    tokens.append(token.lemma_)
        if tokens == []:
            pass 
        else:
            tokens_mit_datum.append((tokens, emojis, emoticons, datum))
    return(tokens_mit_datum)

Code: Alles auswählen

if tokens and not emoticons:
    tokens_mit_datum.append((tokens, emojis, datum))
elif emoticons and not tokens:
    tokens_mit_datum.append((emojis, emoticons, datum))
else:
    tokens_mit_datum.append((tokens, emojis, emoticons, datum))

Code: Alles auswählen

for words in text:
    for emojis in words:
        if emojis in emoji.UNICODE_EMOJI_ENGLISH:
            continue

Code: Alles auswählen

for token in nlp_de(text):
    if token.is_alpha and not token.is_stop:
        if token.pos_ in ['VERB', 'ADJ']:
            tokens.append(token.lemma_)

Code: Alles auswählen

tokens = [
    token.lemma_ for token in nlp_de(text)
    if token.is_alpha and not token.is_stop and token.pos_ in ['VERB', 'ADJ']
]

Code: Alles auswählen

        for words in text:
            for emojis in words:
                if emojis in emoji.UNICODE_EMOJI_ENGLISH:
                    continue

        # `words` ist `character` =>

        for character in text:
            for emojis in character:
                if emojis in emoji.UNICODE_EMOJI_ENGLISH:
                    continue
        
        # innere Schleife ist sinnfrei =>
        
        for emojis in text:
            if emojis in emoji.UNICODE_EMOJI_ENGLISH:
                continue

Code: Alles auswählen

        for emojis in text:
            pass

Code: Alles auswählen

        emojis = text[-1]

Code: Alles auswählen

TokensMitDatum = namedtuple("TokensMitDatum", "tokens emojis emoticons datum")


def lemmas_mit_datum(quelle):
    tokens_mit_datum = []
    for text, datum in quelle:
        emoticons = re.findall(r"\>?[;:xB<]'?-?[()DPO3S]\)?", text)
        emojis = text[-1]  # FIXME
        tokens = [
            token.lemma_
            for token in nlp_de(text)
            if token.is_alpha
            and not token.is_stop
            and token.pos_ in ["VERB", "ADJ"]
        ]
        if tokens:
            tokens_mit_datum.append(
                TokensMitDatum(tokens, emojis, emoticons, datum)
            )

    return tokens_mit_datum

Code: Alles auswählen

if token.is_alpha and token.dep_ in ['ROOT'] or token.lemma_ == 'sein':
                tokens.append((token.text,[child for child in token.children]))

Code: Alles auswählen

from collections import namedtuple
TokensMitDatum = namedtuple("TokensMitDatum", "tokens, emojis, emoticons, datum")

tokens_mit_datum = []
def lemmas_mit_datum(quelle):
    for text, datum in quelle:
        emoticons = re.findall(r"\>?[;:xB<]'?-?[()DPO3S]\)?", text)
        emojis = text[-1] 
        tokens = []
        for token in nlp_de(text):
            if token.is_alpha and token.dep_ in ['ROOT'] or token.lemma_ == 'sein':
                tokens.append((token.text,[child for child in token.children]))
       tokens_mit_datum.append(TweetsMitKoordinaten(tokens, season, emojis, emoticons, koordinaten))
    return tokens_mit_datum

Code: Alles auswählen

tokens = []
for token in nlp_de(text):
	if token.is_alpha and token.dep_ in ['ROOT'] or token.lemma_ == 'sein':
                tokens.append((token.text,[child for child in token.children]))

Code: Alles auswählen

        
tokens = [[token.text for token in nlp_de(text)
	if token.is_alpha and token.dep_ in ['ROOT'] and token.lemma_ == 'sein' 
                  != [token.text, [child for child in token.children]]
                 ]]

Code: Alles auswählen

satz = [('Das ist :-) ein super verspielter Satz :-D 🤔', '01.01.2020'), ('Das ist ein zweiter super duschgeknallter Satz 🙈', '01.01.2020'), ('Das ist ein zweiter super duschgeknallter Satz 🙈', '02.01.2020'),('Das ist ein dritter normal :-( verrückter Satz 😊', '03.01.2021')]

Code: Alles auswählen

cleanTupel = []

for text, date in satz:
    if text not in cleanTupel:
        cleanTupel.append((text, date))

Code: Alles auswählen

cleaned_text = {}
for text, date in satz:
    if text not in cleaned_text:
        cleaned_text[text] = date

Code: Alles auswählen

cleaned_text = {}
for text, date in satz:
    cleaned_text.setdefault(text, date)

Code: Alles auswählen

cleaned_text = {}
for text, date in satz:
    cleaned_text[text] = date

# oder dann auch gleich nur:

cleaned_text = dict(satz)