News-Feeds analysieren

[Igor der Schreckliche]

Hallo zusammen,

ich habe die erste Alfa-Version meines News-Feed-Analysers hochgeladen.

Zu bewundern hier ==> http://www.quki.de/

Worum geht es? Was ist auf der Seite zu sehen?

Die Seite beherbergt einen News-Analyser, der automatisch immer die Begriffe in einer Top-10 auflistet, zu denen es im Moment die meisten Nachrichten in Online-Medien gibt. Also Quasi eine Top-10 der am meisten von der Presse beachteten Begriffe. Dazu gibt es auch Statistiken, welche anzeigen, welche Themen wann wie viele Nachrichten produziert haben.

Viele Grüße,
igor

[Gabelmensch]

Sehr interessant. Gefaellt mir.

[snafu]

Magste auch den Code dazu posten? (oder hab ich den übersehen?)

[Igor der Schreckliche]

Moin,

nein, den Code hast Du nicht übersehen. Ich möchte ihn im Moment noch für mich behalten, weil er in einem Zustand ist, in dem ihn besser keiner zu Gesicht bekommt. Das ist im Moment noch eine absolute Hacky-Lösung ohne jede Struktur.

Wenns soweit ist werd ich ihn aber veröffentlichen!

Viele Grüße,
Igor

[Py19917062]

sehr nützlich ^^

vlt solltest du die links zu fremden seiten in einem neuen fenster öffnen

[Rebecca]

vlt solltest du die links zu fremden seiten in einem neuen fenster öffnen

Sowas sollte man nicht machen. Man kann die Links hervorheben, sodass dem Nutzer klar wird, dass die Links wegfuehren, aber wenn der Nutzer ein neues Fenster (oder auch ein neuen Tab) haben will, kann er das ja selbst machen. Wenn der Nutzer kein neues Fenster will, kann er es hingegen nicht unterdruecken, und wenn man dann eine Zeit rumsurft, haette man immer mehr aufgepoppte Fenster...

[SigMA]

nein, den Code hast Du nicht übersehen. Ich möchte ihn im Moment noch für mich behalten

Schade ... ich arbeite im Moment auch an einem Projekt, welches automagisch Feeds-ausliest und analysiert (FeedMixer: http://feed.bildungsgleich.de). Es würde mich schon interessieren, wie du die Feeds speicherst und ausliest.

Im allgemeinen auf jeden Fall ein sehr schöne Projektidee (top!)

gruß, SigMA

[Igor der Schreckliche]

Hallo Sigma,

Es würde mich schon interessieren, wie du die Feeds speicherst und ausliest.

Zum auslesen nutze ich
http://www.feedparser.org
http://code.google.com/p/feedparser/downloads/list

Speichert tu ich ganz dreckig in text-Dateien, die Datum und Uhrzeit im Dateinamen kodiert haben.

Ich habe leider nicht so genau verstanden, was deine Webseite tut. Ich hab das Gefühl, da fehlt etwas die Erklärung (was auf meine Seite sicher auch zutrifft).

Viele Grüße,
Igor

[SigMA]

ja die Erklärung fehlt weil Beta und ergänzung zu der blog-Seite, wo eine Erklärung vorhanden ist.

FeedMixer ist im Prinzip ein News-Aggregator, welcher RSS-Feeds stündlich ausliest und dann in einer Timeline präsentiert und/oder als gemixten RSS-Feed ausgibt.

Meine Daten speichere ich in einer Pickle-"DB" evtl bau ich auf sqllite um, aber das ist momentan in der Testphase.

FeedParser (oh wunder) benutze ich auch.

Bei Interesse kann ich, nach einem Code-Clean-up mal den Code hier posten oder online stellen.

gruß, SigMA

[Redprince]

Habe auch mal etwas zusammengebaut: http://paste.pocoo.org/show/148756/

Ist in sich funktionstüchtig; allerdings habe ich darauf verzichtet, die HTML-Dateien zu erstellen bzw. eine Speichermöglichkeit (hätte auch an Pickle gedacht) zu implementieren, weil mein Webspace bei 1&1 nicht so richtig Pythonfähig ist. Wichtig war mir, dass ganze Phrasen erkannt werden, also z.B. "Deutsche Bank" als ein Begriff erkannt wird - das klappt auch..

[Igor der Schreckliche]

Hi Redprince,

wenn ich das richtig sehe, versteht dein Code alles als zusammenhängenden Begriff, was mit Großbuchstaben beginnt und nicht durch die Seperators getrennt ist, richtig?

Das finde ich grundsätzlich schon mal eine gute Idee. Ich habe so etwas im Moment nicht implementiert, da ich dabei auch ein paar Probleme gestoßen bin. Ich trenne nicht nur an Leerzeichen, sondern auch an Bindestrichen. Das ist nötig, um den Begriff "Quelle" zu finden, wenn von "Quelle-Aus" oder "Quelle-Pleite" die Rede ist. Leider habe ich mir damit aber auch den in letzter Zeit sehr beliebten Begriff "schwarz-gelb" kaputt gemacht. Aus diesem Dilemma habe ich noch keinen guten Ausweg gefunden.

Zu diesem Problem sind Lösungsvorschläge sehr gern gesehen!

Viele Grüße,
Igor

[pillmuncher]

Ich trenne nicht nur an Leerzeichen, sondern auch an Bindestrichen. Das ist nötig, um den Begriff "Quelle" zu finden, wenn von "Quelle-Aus" oder "Quelle-Pleite" die Rede ist. Leider habe ich mir damit aber auch den in letzter Zeit sehr beliebten Begriff "schwarz-gelb" kaputt gemacht. Aus diesem Dilemma habe ich noch keinen guten Ausweg gefunden.

Zu diesem Problem sind Lösungsvorschläge sehr gern gesehen!

Schau dir mal das hier an:
http://code.activestate.com/recipes/439361.

Gruß,
Mick.