URL schneller öffnen?

Sockets, TCP/IP, (XML-)RPC und ähnliche Themen gehören in dieses Forum
Antworten
kingcools
User
Beiträge: 12
Registriert: Montag 17. März 2014, 04:03

Hi,

ich würde gerne Internetseiten schneller mit Python 3.3 öffnen können als bisher, derzeit nutze ich urllib.request, was aber meinem Gefühl nach deutlich langsamer ist als z.B. Firefox.
Exemplarisch würde ich gerne die Seite https://poloniex.com/public?command=returnTicker möglichst zügig herunterladen/öffnen, was scheinbar dem Firefox deutlich besser gelingt als der urllib. (Messe etwas um die 1.2 Sekunden mit urllib + json, wobei die Beispielseite etwa 32 kb umfasst, schön wären so 0.2 Sekunden)
Trügt mein Eindruck oder gibt es da noch besser libs/Wege um dies mit Python zu bewerkstelligen?

Danke für jede Hilfe :)

edit:
Hmm, nach ein wenig Rechnerei komme ich zu dem Eindruck, dass das wesentlich schneller auch nicht gehen kann.
32 kb = 32000 Byte, ich habe eine 6 Mbit Leitung d.h. maximal 6/8 MByte, sagen wir real 4/8 MByte pro Sekunde.
Dann ist man bei mindestens 32000/(4/8 *10^6) Sekunden, also etwa eine halbe Sekunde.

edit2:
gerade mal Netzwerkanalyse des Firefoxes angeschmissen:
Gemäß dessen schafft er es die Seite binnen ~350 ms abzurufen (größtenteils wartet er)
Benutzeravatar
snafu
User
Beiträge: 6741
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Eine 6000er Leitung schafft rein rechnerisch 750 kB pro Sekunde. Wenn es real nur eine 4000er ist, dann schafft sie trotzdem noch 500 kB. Deine Berechnung liegt also leicht daneben. Bei einem so kurzen Download sollte man aber sowieso nicht vom maximal Möglichen ausgehen. Und ein Vergleich zwischen einem reinen Download und einem Download samt JSON-Verarbeitung ist auch nicht ganz fair.
BlackJack

Ergänzend dazu: Man sollte im Firefox/Firebug vielleicht eher den `onload`-Zeitwert heranziehen. Der ist bei mir fast identisch zu der Zeit die bei mir Python braucht um die Daten herunter zu laden, zu parsen, und auszugeben.
Benutzeravatar
Pethi
User
Beiträge: 10
Registriert: Mittwoch 9. Juli 2014, 16:34

Wie ermittelt man den?
Grausam - heute ist mein Computer abgestürzt. Ich mußte selber denken!
Antworten