Informationen aus dynamischen Webseiten auslesen

[adx00356]

Hallo Freunde,

als Neuling in Python habe ich schon eine für mich komplexe Frage!

Seit einigen Wochen trage mich mit dem Gedanken einen Homserver auf Basis des Raspberry Pi (RPi) aufzubauen. Für die Steuerung der RPi-Hardware könnte man und würde ich bevorzugt Python einsetzen. Neben der Steuerung des Hauses soll der Server auch Informationen z. B. über Verkehr / Baustellen und Wetter als Bericht sammeln und aufbereiten. Wollte es mir dann auf dem Handy oder Fernseher und PC darstellen lassen. Die Quellen sind teilweise interaktiv und erwarten konkrete Eingaben bevor sich den gewünschten Output liefern

Das Erstellen eines Programms um eine statische Webseite mit regulären Ausdrücken auszulesen ist nicht mein Problem. Es ist Vielmehr die Frage: "Wie kann ich dynamisch (z. B. mit Java Script) erzeugte Webseiteninhalte mit einem Pythonprogramm abfangen?

Bei statischen Seiten würde ich die Datei über die URL-Adresse als Datei herunter laden und zur Auswertung über einen Filter schicken.

In einer dynamischen Webseite könnte ich mich noch vorstellen, dass man z. B. das Java Script zur Auführung bringt. Aber mir fehlt im Moment noch die Vorstellung für das Abfangen und die Auswertung des rückgelieferten Datenstroms. Hat jemand von euch einen Tipp und Ansatzpunkt dafür?

VG

Andy

[BlackJack]

@adx00356: Die Frage ist in der Tat komplex, weil es nicht wirklich *die* Antwort gibt. Wie man an die Daten heran kommt hängt in der Regel davon ab was die betreffende Webseite konkret macht. Das schaut man sich dann im Browser mit den entsprechenden Werkzeugen an und versucht das dann nachzubauen.

HTML mit regulären Ausdrücken zu verarbeiten klingt übrigens eher gruselig. Für so etwas gibt es Bibliotheken wie `lxml.html` oder BeautifulSoup, die das wesentlich robuster machen können.

[/me]

HTML mit regulären Ausdrücken zu verarbeiten klingt übrigens eher gruselig.

Eine der absolut bestbewerteten Antworten bei Stackoverflow befasst sich mit HTML und regulären Ausdrücken. Das sollte man auf jeden Fall mal gelesen haben.