Beautiful Soup sehr langsam
Verfasst: Mittwoch 11. Mai 2011, 23:49
Hi,
Ich bin mir gerade nicht wirklich im Klaren, warum folgender Code langsam ist.
Das Programm macht was es soll und ist im Uebrigen auf das wesentlichste minimiert. Laeuft jedoch immernoch langsam. Habe ich in meiner Ignoranz einen offensichtlichen Performance Flaschenhals hier uebersehen, oder liegt das an meiner Internetverbindung oder sowas?
Bei langsam meine ich, in einem DOS Fenster in XP fast 10 sekunden bis der output komplett wieder gegeben wurde. Wenn ich damit mehrere websites wiedergeben will, multipliziert sich das ganze dann entsprechend. Wenn ich noch eine "findAll()" methode einbaue, wird das ganze nochmal langsamer...
Danke fuer eure Tipps.
Ich bin mir gerade nicht wirklich im Klaren, warum folgender Code langsam ist.
Code: Alles auswählen
import urllib2
import cookielib
from BeautifulSoup import BeautifulSoup #@UnresolvedImport
# Create website opener for sites with cookies
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
r = opener.open("http://pubs.acs.org/toc/jacsat/current")
soup = BeautifulSoup(r)
print soup.prettify()Bei langsam meine ich, in einem DOS Fenster in XP fast 10 sekunden bis der output komplett wieder gegeben wurde. Wenn ich damit mehrere websites wiedergeben will, multipliziert sich das ganze dann entsprechend. Wenn ich noch eine "findAll()" methode einbaue, wird das ganze nochmal langsamer...
Danke fuer eure Tipps.