Das deutsche Python-Forum

Hallo

Erstmals muss ich vielleicht klarstellen, dass ich das HTTP Protokoll so gut wie gar nicht kenne

Zu meinem Problem: Wenn ich eine Website im Browser ansteuere, erzeugt mein Browser einige requests (GET, POST) und sendet diese dem Server. Wie kann ich nun in Python eine Website aufrufen und die requests abfangen?

Soweit ich das verstanden habe, ist httplib dafür, requests selber zu senden.

Grüsse
Pot

Ja, z.B. mit dem `httplib`-Modul kannst du selbst diese Requests senden und die Responses (Antworten) auswerten, also etwa das zurückgelieferte HTML-Dokument als String einholen.

Nun, ich möchte aber alle requests haben, die ein Browser an den Server senden würde und nicht selbst requests schreiben.

Grüsse
Pot

pot hat geschrieben:Nun, ich möchte aber alle requests haben, die ein Browser an den Server senden würde und nicht selbst requests schreiben.

Dazu müsstest du entweder den Traffic abhören, so wie Wireshark das tut, oder dem Browser einen Proxy angeben, und über den Proxy an diese Daten kommen.

Was genau möchtest du eigentlich bezwecken, vielleicht gibts da einen einfacheren Weg.

Die Video Portale (bspw. Youtube) nutzen Flash/SWF-Dateien die lediglich den Player darstellen. Diese Player holen sich dann FLV-Dateien und diese sollten in der request aufrufbar sein (LiveHTTPHeaders Add-On in Firefox zeigt das so an). Nun gilt es, diese FLV-URL herauszufinden, die das eigentliche Video beinhaltet.

Grüsse
Pot

Die Player konstruieren sich die URL aber auch nur anhand der übergebenen Daten. Und die muss man dann eben selber aufrufen. Zumindest für youtube sollten sich da genügend Informationen finden lassen, um das selber zu bauen.

Trundle hat geschrieben:Die Player konstruieren sich die URL aber auch nur anhand der übergebenen Daten. Und die muss man dann eben selber aufrufen. Zumindest für youtube sollten sich da genügend Informationen finden lassen, um das selber zu bauen.

Das stimmt, aber ich dachte, man kann es ein bisschen eleganter lösen

Danke für die Hilfe, in diesem Fall ist es also kein besserer Lösungsweg.

Grüsse
Pot

Trundle hat geschrieben:Zumindest für youtube sollten sich da genügend Informationen finden lassen, um das selber zu bauen.

Wozu? Gibt's schon.

Leonidas hat geschrieben:

Trundle hat geschrieben:Zumindest für youtube sollten sich da genügend Informationen finden lassen, um das selber zu bauen.

Wozu? Gibt's schon.

Weil man das Rad neu erfinden will, nur in noch runder und zum zehnten Mal eine schicke textbasierende Forschrittsanzeige baut natürlich. Und eigene Sachen eh die tollsten sind wo gibt.
Oder halt einfach, weil einem gerade langweilig ist und man nur myfilm kennt, und das eben in Perl geschrieben ist

Leonidas hat geschrieben:

Trundle hat geschrieben:Zumindest für youtube sollten sich da genügend Informationen finden lassen, um das selber zu bauen.

Wozu? Gibt's schon.

Youtube war nur ein Beispiel (weil es jedem ein Begriff sein sollte). youtube-dl kann aber nur von Youtube gehosteten Videos herunterladen und nicht von anderen Portalen.

Grüsse
Pot

Sprich, du willst so etwas wie 2video nachbauen?

Abgesehen davon, dass 2video webbasiert ist, Videos nicht konvertieren kann, die Audiospur des Videos nicht extrahieren kann, nur ein Video aufs Mal verarbeiten kann, die Datei nicht nach dem Titel des Videos benennen kann und dass es nicht durch "Module" erweiterbar ist, ja.

Mit irgendeinem pcap-Binding für Python könnte man sich sowas bauen. Mal auf die Schnelle zusammengepfuscht: http://paste.pocoo.org/show/35433/

Ginge natürlich auch über einen HTTP-Proxy, dann bräuchte man auch keine privilegierten Rechte zum Ausführen.