Das deutsche Python-Forum

hallo,
ich möchte ein Bot bauen der nach Schlüsselworten in einem Forum sucht. Die Seiten automatisch umblättert und eine Textdatei anlegt wo drin steht auf welcher Seite er das gefunden hatte.
Beispiel:
In einem Auto-Forum nehme ich das Schlüsselwort "VW" dann erstellt der Bot eine Textdatei auf welchen Seite er es gefunden hat.


Wenn jemand einen Script kennt der etwas ähnliches macht wer ich euch sehr dankbar. Ich bin noch neu bei Python und einen Script anzupassen ist deutlich einfacher als einen neuen zu schreiben:D

Hallo,

Für Webscraper gibt es reichlich Beispielcode im Netz.

Bzgl. umblättern gibt es keine pauschale Lösung, weil das maßgeblich von der verwendeten Forensoftware abhängt. phpBB, was dieses Forum hier nutzt, setzt z.B. `start=20` in die Parameter der URL für die 2. Seite, forum.ubuntuusers.de setzt ein `/2/` den den Pfad der URL, andere Software macht das vieleicht noch anders oder lädt (weitere) Seite per JavaScript nach. Da wirst du nicht umhinkommen, dir eine spezifische Lösung für das Forum deiner Wahl zu schreiben.

Wie immer an dieser Stelle der formelle Hinweis, das Webscraping in dieser Form nicht die feine englische Art ist und einige Foren und deren Server aktive Gegenmaßnahmen implementieren.

Gruß, noisefloor