http requests abfangen

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
Antworten
pot
User
Beiträge: 55
Registriert: Sonntag 4. März 2007, 00:57
Wohnort: Frauenfeld, CH

Hallo

Erstmals muss ich vielleicht klarstellen, dass ich das HTTP Protokoll so gut wie gar nicht kenne ;-)

Zu meinem Problem: Wenn ich eine Website im Browser ansteuere, erzeugt mein Browser einige requests (GET, POST) und sendet diese dem Server. Wie kann ich nun in Python eine Website aufrufen und die requests abfangen?

Soweit ich das verstanden habe, ist httplib dafür, requests selber zu senden.

Grüsse
Pot
Y0Gi
User
Beiträge: 1454
Registriert: Freitag 22. September 2006, 23:05
Wohnort: ja

Ja, z.B. mit dem `httplib`-Modul kannst du selbst diese Requests senden und die Responses (Antworten) auswerten, also etwa das zurückgelieferte HTML-Dokument als String einholen.
pot
User
Beiträge: 55
Registriert: Sonntag 4. März 2007, 00:57
Wohnort: Frauenfeld, CH

Nun, ich möchte aber alle requests haben, die ein Browser an den Server senden würde und nicht selbst requests schreiben.

Grüsse
Pot
Benutzeravatar
keppla
User
Beiträge: 483
Registriert: Montag 31. Oktober 2005, 00:12

pot hat geschrieben:Nun, ich möchte aber alle requests haben, die ein Browser an den Server senden würde und nicht selbst requests schreiben.
Dazu müsstest du entweder den Traffic abhören, so wie Wireshark das tut, oder dem Browser einen Proxy angeben, und über den Proxy an diese Daten kommen.

Was genau möchtest du eigentlich bezwecken, vielleicht gibts da einen einfacheren Weg.
pot
User
Beiträge: 55
Registriert: Sonntag 4. März 2007, 00:57
Wohnort: Frauenfeld, CH

Die Video Portale (bspw. Youtube) nutzen Flash/SWF-Dateien die lediglich den Player darstellen. Diese Player holen sich dann FLV-Dateien und diese sollten in der request aufrufbar sein (LiveHTTPHeaders Add-On in Firefox zeigt das so an). Nun gilt es, diese FLV-URL herauszufinden, die das eigentliche Video beinhaltet.

Grüsse
Pot
Benutzeravatar
Trundle
User
Beiträge: 591
Registriert: Dienstag 3. Juli 2007, 16:45

Die Player konstruieren sich die URL aber auch nur anhand der übergebenen Daten. Und die muss man dann eben selber aufrufen. Zumindest für youtube sollten sich da genügend Informationen finden lassen, um das selber zu bauen.
pot
User
Beiträge: 55
Registriert: Sonntag 4. März 2007, 00:57
Wohnort: Frauenfeld, CH

Trundle hat geschrieben:Die Player konstruieren sich die URL aber auch nur anhand der übergebenen Daten. Und die muss man dann eben selber aufrufen. Zumindest für youtube sollten sich da genügend Informationen finden lassen, um das selber zu bauen.
Das stimmt, aber ich dachte, man kann es ein bisschen eleganter lösen ;-)

Danke für die Hilfe, in diesem Fall ist es also kein besserer Lösungsweg.

Grüsse
Pot
Leonidas
Python-Forum Veteran
Beiträge: 16025
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

Trundle hat geschrieben:Zumindest für youtube sollten sich da genügend Informationen finden lassen, um das selber zu bauen.
Wozu? Gibt's schon. ;)
My god, it's full of CARs! | Leonidasvoice vs (former) Modvoice
Benutzeravatar
Trundle
User
Beiträge: 591
Registriert: Dienstag 3. Juli 2007, 16:45

Leonidas hat geschrieben:
Trundle hat geschrieben:Zumindest für youtube sollten sich da genügend Informationen finden lassen, um das selber zu bauen.
Wozu? Gibt's schon. ;)
Weil man das Rad neu erfinden will, nur in noch runder und zum zehnten Mal eine schicke textbasierende Forschrittsanzeige baut natürlich. Und eigene Sachen eh die tollsten sind wo gibt.
Oder halt einfach, weil einem gerade langweilig ist und man nur myfilm kennt, und das eben in Perl geschrieben ist :roll:
pot
User
Beiträge: 55
Registriert: Sonntag 4. März 2007, 00:57
Wohnort: Frauenfeld, CH

Leonidas hat geschrieben:
Trundle hat geschrieben:Zumindest für youtube sollten sich da genügend Informationen finden lassen, um das selber zu bauen.
Wozu? Gibt's schon. ;)
Youtube war nur ein Beispiel (weil es jedem ein Begriff sein sollte). youtube-dl kann aber nur von Youtube gehosteten Videos herunterladen und nicht von anderen Portalen.

Grüsse
Pot
Leonidas
Python-Forum Veteran
Beiträge: 16025
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

Sprich, du willst so etwas wie 2video nachbauen?
My god, it's full of CARs! | Leonidasvoice vs (former) Modvoice
pot
User
Beiträge: 55
Registriert: Sonntag 4. März 2007, 00:57
Wohnort: Frauenfeld, CH

Abgesehen davon, dass 2video webbasiert ist, Videos nicht konvertieren kann, die Audiospur des Videos nicht extrahieren kann, nur ein Video aufs Mal verarbeiten kann, die Datei nicht nach dem Titel des Videos benennen kann und dass es nicht durch "Module" erweiterbar ist, ja.
Benutzeravatar
Trundle
User
Beiträge: 591
Registriert: Dienstag 3. Juli 2007, 16:45

Mit irgendeinem pcap-Binding für Python könnte man sich sowas bauen. Mal auf die Schnelle zusammengepfuscht: http://paste.pocoo.org/show/35433/

Ginge natürlich auch über einen HTTP-Proxy, dann bräuchte man auch keine privilegierten Rechte zum Ausführen.
Antworten