Seite 1 von 1

News-Feeds analysieren

Verfasst: Mittwoch 28. Oktober 2009, 13:56
von Igor der Schreckliche
Hallo zusammen,

ich habe die erste Alfa-Version meines News-Feed-Analysers hochgeladen.

Zu bewundern hier ==> http://www.quki.de/

Worum geht es? Was ist auf der Seite zu sehen?

Die Seite beherbergt einen News-Analyser, der automatisch immer die Begriffe in einer Top-10 auflistet, zu denen es im Moment die meisten Nachrichten in Online-Medien gibt. Also Quasi eine Top-10 der am meisten von der Presse beachteten Begriffe. Dazu gibt es auch Statistiken, welche anzeigen, welche Themen wann wie viele Nachrichten produziert haben.

Viele Grüße,
igor

Verfasst: Mittwoch 28. Oktober 2009, 14:09
von Gabelmensch
Sehr interessant. Gefaellt mir.

Verfasst: Mittwoch 28. Oktober 2009, 14:56
von snafu
Magste auch den Code dazu posten? :) (oder hab ich den übersehen?)

Verfasst: Mittwoch 28. Oktober 2009, 15:03
von Igor der Schreckliche
Moin,

nein, den Code hast Du nicht übersehen. Ich möchte ihn im Moment noch für mich behalten, weil er in einem Zustand ist, in dem ihn besser keiner zu Gesicht bekommt. Das ist im Moment noch eine absolute Hacky-Lösung ohne jede Struktur.

Wenns soweit ist werd ich ihn aber veröffentlichen!

Viele Grüße,
Igor

Verfasst: Mittwoch 28. Oktober 2009, 15:30
von Py19917062
sehr nützlich ^^

vlt solltest du die links zu fremden seiten in einem neuen fenster öffnen

Verfasst: Mittwoch 28. Oktober 2009, 16:20
von Rebecca
Py19917062 hat geschrieben:vlt solltest du die links zu fremden seiten in einem neuen fenster öffnen
Sowas sollte man nicht machen. Man kann die Links hervorheben, sodass dem Nutzer klar wird, dass die Links wegfuehren, aber wenn der Nutzer ein neues Fenster (oder auch ein neuen Tab) haben will, kann er das ja selbst machen. Wenn der Nutzer kein neues Fenster will, kann er es hingegen nicht unterdruecken, und wenn man dann eine Zeit rumsurft, haette man immer mehr aufgepoppte Fenster...

Verfasst: Mittwoch 28. Oktober 2009, 17:21
von SigMA
Igor der Schreckliche hat geschrieben:nein, den Code hast Du nicht übersehen. Ich möchte ihn im Moment noch für mich behalten
Schade ... ich arbeite im Moment auch an einem Projekt, welches automagisch Feeds-ausliest und analysiert (FeedMixer: http://feed.bildungsgleich.de). Es würde mich schon interessieren, wie du die Feeds speicherst und ausliest.

Im allgemeinen auf jeden Fall ein sehr schöne Projektidee (top!)

gruß, SigMA

Verfasst: Donnerstag 29. Oktober 2009, 09:09
von Igor der Schreckliche
Hallo Sigma,
SigMA hat geschrieben:Es würde mich schon interessieren, wie du die Feeds speicherst und ausliest.
Zum auslesen nutze ich
http://www.feedparser.org
http://code.google.com/p/feedparser/downloads/list

Speichert tu ich ganz dreckig in text-Dateien, die Datum und Uhrzeit im Dateinamen kodiert haben.

Ich habe leider nicht so genau verstanden, was deine Webseite tut. Ich hab das Gefühl, da fehlt etwas die Erklärung (was auf meine Seite sicher auch zutrifft).

Viele Grüße,
Igor

Verfasst: Donnerstag 29. Oktober 2009, 16:52
von SigMA
ja die Erklärung fehlt weil Beta und ergänzung zu der blog-Seite, wo eine Erklärung vorhanden ist.

FeedMixer ist im Prinzip ein News-Aggregator, welcher RSS-Feeds stündlich ausliest und dann in einer Timeline präsentiert und/oder als gemixten RSS-Feed ausgibt.

Meine Daten speichere ich in einer Pickle-"DB" evtl bau ich auf sqllite um, aber das ist momentan in der Testphase.

FeedParser (oh wunder) benutze ich auch.

Bei Interesse kann ich, nach einem Code-Clean-up mal den Code hier posten oder online stellen.

gruß, SigMA

Verfasst: Donnerstag 5. November 2009, 07:20
von Redprince
Habe auch mal etwas zusammengebaut: http://paste.pocoo.org/show/148756/

Ist in sich funktionstüchtig; allerdings habe ich darauf verzichtet, die HTML-Dateien zu erstellen bzw. eine Speichermöglichkeit (hätte auch an Pickle gedacht) zu implementieren, weil mein Webspace bei 1&1 nicht so richtig Pythonfähig ist. Wichtig war mir, dass ganze Phrasen erkannt werden, also z.B. "Deutsche Bank" als ein Begriff erkannt wird - das klappt auch..

Verfasst: Freitag 6. November 2009, 12:47
von Igor der Schreckliche
Hi Redprince,

wenn ich das richtig sehe, versteht dein Code alles als zusammenhängenden Begriff, was mit Großbuchstaben beginnt und nicht durch die Seperators getrennt ist, richtig?

Das finde ich grundsätzlich schon mal eine gute Idee. Ich habe so etwas im Moment nicht implementiert, da ich dabei auch ein paar Probleme gestoßen bin. Ich trenne nicht nur an Leerzeichen, sondern auch an Bindestrichen. Das ist nötig, um den Begriff "Quelle" zu finden, wenn von "Quelle-Aus" oder "Quelle-Pleite" die Rede ist. Leider habe ich mir damit aber auch den in letzter Zeit sehr beliebten Begriff "schwarz-gelb" kaputt gemacht. Aus diesem Dilemma habe ich noch keinen guten Ausweg gefunden.

Zu diesem Problem sind Lösungsvorschläge sehr gern gesehen!

Viele Grüße,
Igor

Verfasst: Freitag 6. November 2009, 13:55
von pillmuncher
Igor der Schreckliche hat geschrieben:Ich trenne nicht nur an Leerzeichen, sondern auch an Bindestrichen. Das ist nötig, um den Begriff "Quelle" zu finden, wenn von "Quelle-Aus" oder "Quelle-Pleite" die Rede ist. Leider habe ich mir damit aber auch den in letzter Zeit sehr beliebten Begriff "schwarz-gelb" kaputt gemacht. Aus diesem Dilemma habe ich noch keinen guten Ausweg gefunden.

Zu diesem Problem sind Lösungsvorschläge sehr gern gesehen!
Schau dir mal das hier an:
http://code.activestate.com/recipes/439361.

Gruß,
Mick.