Das deutsche Python-Forum

Code: Alles auswählen

#include <assert.h>
#include <ctype.h>
#include <stdbool.h>
#include <stdint.h>
#include <stdio.h>
#include <string.h>

#define BUFFER_SIZE 1000


void skip_whitespace(FILE *f)
{
    int c;

    do {
        c = fgetc(f);
    } while (isspace(c) && c != EOF);
    
    if (c != EOF) ungetc(c, f);
}


void read_sentence(FILE *f, char *buffer)
{
    unsigned int i;
    int c;

    for (i = 0; i < BUFFER_SIZE - 1; ++i) {
        c = fgetc(f);
        if (c == EOF) break;
        *buffer++ = c;
        if (c == '.') break;
    }
    *buffer = '\0';
    assert(c == EOF || c == '.');
}


bool contains_word(char *string, char *word)
{
    char *tmp;
    unsigned int start_index, end_index;

    tmp = strstr(string, word);
    if (!tmp) return false;
    start_index = tmp - string;
    end_index = start_index + strlen(word);
    return (start_index == 0
            || !isalnum(string[start_index - 1]))
        && (end_index == strlen(string - 1)
            || !isalnum(string[end_index]));
}


int main(void)
{
    FILE *f;
    char sentence[BUFFER_SIZE];
    char *filename = "winter's tale";

    f = fopen(filename, "r");
    if (!f) {
        printf("could not open '%s'\n", filename);
        return 1;
    }
    while (!feof(f)) {
        skip_whitespace(f);
        read_sentence(f, sentence);
        if (contains_word(sentence, "Luzifer")) {
            puts(sentence);
        }
    }
    fclose(f);
    return 0;
}

Code: Alles auswählen

$ cat text.txt                        
Am 23. Mai 1895 wird einem jungen Einwandererpaar auf Ellis Island die Einreise in die USA verweigert, weil beide an der Tuberkulose erkrankt sind. Als ihrem kleinen Sohn auch ohne sie die Einreise verweigert wird, beschließen sie, ihn in ein Modellsegelboot mit dem Namen Stadt der Gerechtigkeit zu setzen, in der Hoffnung, das Kind werde gefunden.
1916 ist das Kind zu einem Mann herangewachsen. Er nennt sich Dr. Peter Lake. Peter wurde von dem Gangsterboss Pearly Soames aufgezogen und verdient sich seinen Lebensunterhalt nun als Einbrecher und Dieb. Als Peter beschließt, Pearlys Bande und sein altes Leben zu verlassen, macht er sich seinen Ziehvater zum wütenden Gegner und wird von dessen Bande gejagt.

$ ./tokenize.pl -a abbrev.lex -y -t text.txt out.txt && cat out.txt
<?xml version="1.0" encoding="utf-8"?>
<text>
 <tok>Am</tok>
 <tok type='ord'>23.</tok>
 <tok>Mai</tok>
 <tok type='year'>1895</tok>
 <tok>wird</tok>
 <tok>einem</tok>
 <tok>jungen</tok>
 <tok>Einwandererpaar</tok>
 <tok>auf</tok>
 <tok>Ellis</tok>
 <tok>Island</tok>
 <tok>die</tok>
 <tok>Einreise</tok>
 <tok>in</tok>
 <tok>die</tok>
 <tok type='allCap'>USA</tok>
 <tok>verweigert</tok>
 <tok type='punc'>,</tok>
 <tok>weil</tok>
 <tok>beide</tok>
 <tok>an</tok>
 <tok>der</tok>
 <tok>Tuberkulose</tok>
 <tok>erkrankt</tok>
 <tok>sind</tok>
 <tok type='punc'>.</tok>
<sent_bound/>
 ...
 <tok>Er</tok>
 <tok>nennt</tok>
 <tok>sich</tok>
 <tok type='abbrev' source='listed'>Dr.</tok>
 <tok>Peter</tok>
 <tok>Lake</tok>
 <tok type='punc'>.</tok>
<sent_bound/>
...

Code: Alles auswählen

>>> from textblob_de import TextBlobDE as TextBlob
>>> text = '''Heute ist der 3. Mai 2014 und Dr. Meier feiert seinen 43. Geburtstag.
Ich muss unbedingt daran denken, Mehl, usw. für einen Kuchen einzukaufen. Aber leider
habe ich nur noch EUR 3.50 in meiner Brieftasche.'''
>>> blob = TextBlob(text)
>>> blob.sentences
[Sentence("Heute ist der 3. Mai 2014 und Dr. Meier feiert seinen 43. Geburtstag."),
 Sentence("Ich muss unbedingt daran denken, Mehl, usw. für einen Kuchen einzukaufen."),
 Sentence("Aber leider habe ich nur noch EUR 3.50 in meiner Brieftasche.")]
>>> blob.tokens
WordList(['Heute', 'ist', 'der', '3.', 'Mai', ...]

Code: Alles auswählen

In [12]: text = 'Er sagte: "Ich gehe ins Kino". Das tat er dann auch. "Das war eine großartige Idee", pflichtete Anna ihm bei als er wieder zuhause war. "Ich würde ja auch gerne. Aber ich muss lernen für die Prüfung." Das machte sie sehr traurig.'
In [13]: TextBlobDE(text).sentences
Out[13]:
[Sentence("Er sagte: "Ich gehe ins Kino"."),
 Sentence("Das tat er dann auch."),
 Sentence(""Das war eine großartige Idee", pflichtete Anna ihm bei als er wieder zuhause war."),
 Sentence(""Ich würde ja auch gerne."),
 Sentence("Aber ich muss lernen für die Prüfung.""),
 Sentence("Das machte sie sehr traurig.")]

In [14]: TextBlobDE(text).sentences[0].words
Out[14]: WordList(['Er', 'sagte', 'Ich', 'gehe', 'ins', 'Kino'])