Javascript Submits dumpen

Sockets, TCP/IP, (XML-)RPC und ähnliche Themen gehören in dieses Forum
Clython
User
Beiträge: 151
Registriert: Samstag 21. August 2004, 13:58
Wohnort: Schweiz, BE-2500

Javascript Submits dumpen

Beitragvon Clython » Sonntag 18. Dezember 2005, 21:09

Hallo Leute

ich hab ein kleines Problem. Ich muss einen Roboter schreiben, der Inhalte von der lexisnexis.com Datenbank abgreift programmieren (ganz legal für die Uni). Bevor ich aber denen da ein Mail schreibe und nach den API-Specs frage, möchte ich versuchen auf eine andere Weise an das nötige Wissen zu kommen. Ich habe bereits einen Teil entschlüsselt. Das Problem ist, dass die Kacke ziemlich gut geschützt ist und das Zeugs in Javascript geschrieben ist.. Deshalb meine Frage: Gibt es bei einem Browser die Möglichkeit zu sehen, was er dem Server genau für eine Anfrage schickt, wenn ich auf den Submit-Button klicke? Ich weiss, dass das etwas offtopic ist, aber ich muss anschliessend die Anfragen in Python simulieren, im die html-Dokumente abgreifen zu können. Mir stehen unter anderem folgende Browser zur Verfügung:
IE, Firefox, Opera (kann ich notfalls installieren), Link.

Für kreative Vorschläge bin ich sehr dankbar!
Benutzeravatar
Leonidas
Administrator
Beiträge: 16023
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

Beitragvon Leonidas » Sonntag 18. Dezember 2005, 21:27

Ich nehm dich beim wort, dass das legal ist, ja?

Schau dir vielleicht auch mal Ethereal und unter Windows Packetyzer an, dort siehst du was genau geschickt wird. Ist allerdings nicht gerade besonders bequem, hat mir aber schon viele gute Dienste geleistet.
My god, it's full of CARs! | Leonidasvoice vs Modvoice
Benutzeravatar
gerold
Python-Forum Veteran
Beiträge: 5554
Registriert: Samstag 28. Februar 2004, 22:04
Wohnort: Telfs (Tirol)
Kontaktdaten:

Re: Javascript Submits dumpen

Beitragvon gerold » Sonntag 18. Dezember 2005, 21:30

Clython hat geschrieben:aber ich muss anschliessend die Anfragen in Python simulieren, im die html-Dokumente abgreifen zu können.
[...]
Für kreative Vorschläge bin ich sehr dankbar!

Hi Clython!

Wenn sich die Website ein wenig an die Regeln hält und nicht jeder Submit-Button nur mit JS simuliert wird, dann solltest du dir mal diese Website ansehen.
http://wwwsearch.sourceforge.net/
Da findest du ein paar nette Module. Mit "ClientForm" kannst du HTML-Formulare in Python ausfüllen und abschicken. Das Ergebnis bekommst du wieder als Request zurück und kannst es wieder mit "ClientForm" parsen und ausfüllen. usw.
"ClientCookie" kümmert sich automatisch um die Cookies, die du vom Server aufs Auge gedrückt bekommst.

Vielleicht kannst du damit ja etwas anfangen.

mfg
Gerold
:-)
http://halvar.at | Kleiner Bascom AVR Kurs
Wissen hat eine wunderbare Eigenschaft: Es verdoppelt sich, wenn man es teilt.
Clython
User
Beiträge: 151
Registriert: Samstag 21. August 2004, 13:58
Wohnort: Schweiz, BE-2500

Beitragvon Clython » Montag 19. Dezember 2005, 08:11

Leonidas Danke! Darauf hätte ich eigentlich selber kommen können! Habe vorhin gerade einen Teil der Daten extrahiert! Werde aber wohl noch ein paar Analysen machen müssen. Danke auf alle Fälle!
Benutzeravatar
leoel
User
Beiträge: 36
Registriert: Dienstag 25. Mai 2004, 08:54
Wohnort: Graz

Das ultimative Tool für HTTP-Requests

Beitragvon leoel » Montag 19. Dezember 2005, 17:57

Badboy (geht nur unter windows, weil "embedded" IE)
http://www.badboy.com.au/

[Update] Anmerkung:
==> das kommt auch mit JavaScript klar, weil es eben HTTP-Requests absetzt.

Ansonsten empfehle ich Dir noch einen Proxy zu installieren, der jeden Request und Response mitschreibt...
Clython
User
Beiträge: 151
Registriert: Samstag 21. August 2004, 13:58
Wohnort: Schweiz, BE-2500

Beitragvon Clython » Donnerstag 22. Dezember 2005, 20:48

Danke für die Tipps an alle!

Ich werde jetzt mal sehen wie weit ich mit Etherreal komme und melde mich bei Bedarf wieder!

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder