Das deutsche Python-Forum

Hallo Leute

ich hab ein kleines Problem. Ich muss einen Roboter schreiben, der Inhalte von der lexisnexis.com Datenbank abgreift programmieren (ganz legal für die Uni). Bevor ich aber denen da ein Mail schreibe und nach den API-Specs frage, möchte ich versuchen auf eine andere Weise an das nötige Wissen zu kommen. Ich habe bereits einen Teil entschlüsselt. Das Problem ist, dass die Kacke ziemlich gut geschützt ist und das Zeugs in Javascript geschrieben ist.. Deshalb meine Frage: Gibt es bei einem Browser die Möglichkeit zu sehen, was er dem Server genau für eine Anfrage schickt, wenn ich auf den Submit-Button klicke? Ich weiss, dass das etwas offtopic ist, aber ich muss anschliessend die Anfragen in Python simulieren, im die html-Dokumente abgreifen zu können. Mir stehen unter anderem folgende Browser zur Verfügung:
IE, Firefox, Opera (kann ich notfalls installieren), Link.

Für kreative Vorschläge bin ich sehr dankbar!

Ich nehm dich beim wort, dass das legal ist, ja?

Schau dir vielleicht auch mal Ethereal und unter Windows Packetyzer an, dort siehst du was genau geschickt wird. Ist allerdings nicht gerade besonders bequem, hat mir aber schon viele gute Dienste geleistet.

Clython hat geschrieben:aber ich muss anschliessend die Anfragen in Python simulieren, im die html-Dokumente abgreifen zu können.
[...]
Für kreative Vorschläge bin ich sehr dankbar!

Hi Clython!

Wenn sich die Website ein wenig an die Regeln hält und nicht jeder Submit-Button nur mit JS simuliert wird, dann solltest du dir mal diese Website ansehen.
http://wwwsearch.sourceforge.net/
Da findest du ein paar nette Module. Mit "ClientForm" kannst du HTML-Formulare in Python ausfüllen und abschicken. Das Ergebnis bekommst du wieder als Request zurück und kannst es wieder mit "ClientForm" parsen und ausfüllen. usw.
"ClientCookie" kümmert sich automatisch um die Cookies, die du vom Server aufs Auge gedrückt bekommst.

Vielleicht kannst du damit ja etwas anfangen.

mfg
Gerold

Leonidas Danke! Darauf hätte ich eigentlich selber kommen können! Habe vorhin gerade einen Teil der Daten extrahiert! Werde aber wohl noch ein paar Analysen machen müssen. Danke auf alle Fälle!

Badboy (geht nur unter windows, weil "embedded" IE)
http://www.badboy.com.au/

[Update] Anmerkung:
==> das kommt auch mit JavaScript klar, weil es eben HTTP-Requests absetzt.

Ansonsten empfehle ich Dir noch einen Proxy zu installieren, der jeden Request und Response mitschreibt...

Danke für die Tipps an alle!

Ich werde jetzt mal sehen wie weit ich mit Etherreal komme und melde mich bei Bedarf wieder!