HTML auslesen.

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
Antworten
sergo
User
Beiträge: 11
Registriert: Donnerstag 5. Juni 2008, 13:49

Hallo alle zusammen,

ich öffne über urllib.urlopen("url") eine url und lesen mit read einschließen aus.
Das Problem ist , das es für meinen Ansprüche zu lange dauert, so das ich für ca. 45 Seiten 45 Sekunden brauche.

Gibt es eine schnellere Möglichkeit oder kann man es noch optimieren?

Gruß,
Thomas
Benutzeravatar
gerold
Python-Forum Veteran
Beiträge: 5555
Registriert: Samstag 28. Februar 2004, 22:04
Wohnort: Oberhofen im Inntal (Tirol)
Kontaktdaten:

sergo hat geschrieben:Das Problem ist , das es für meinen Ansprüche zu lange dauert, so das ich für ca. 45 Seiten 45 Sekunden brauche.
Hallo Thomas!

Das ist ein typischer Fall für "Threading". Lasse einfach mehrere Verbindungen gleichzeitig auf die Responses warten.

Ich bin mir nicht sicher, aber ich glaube, dass hier im Forum schon mindestens einmal so ein Fall geschildert wurde. Suche einfach mal nach "threading and urllib2". Vielleicht findest du was.

EDIT: Ach ja, da ist was: http://www.python-forum.de/topic-12724. ... ng+urllib2

mfg
Gerold
:-)
http://halvar.at | Kleiner Bascom AVR Kurs
Wissen hat eine wunderbare Eigenschaft: Es verdoppelt sich, wenn man es teilt.
sergo
User
Beiträge: 11
Registriert: Donnerstag 5. Juni 2008, 13:49

Danke für die Info!

Gruß,
Thomas
Antworten