urllib.urlretrieve - hängt Programm auf bei reconnect

[ragi]

hoi,
ich habe ein Script was mittels urllib.urlretrieve downloaded. Wenn aber die Verbindung zum Internet währed des Downloades abbricht, dann hängt das Script an der Stelle des urllib.urlretrieve.
Gibt es eine Möglichkeit urllib.urlretrieve zu unterbrechen?
und warum wird kein Fehler geworfen?

Code: Alles auswählen

try:
                urllib.urlretrieve(nextdl,file_name,stat)             
            except:
                print "failed"

Gruß
Ragi

[ms4py]

Gleiches Problem mit `urllib2`?

[Dav1d]

Es gibt in der urllib2 kein urlretrieve

[ragi]

Nein mit urllib2 gehts auch nicht,

Code: Alles auswählen

def download2(url,name):
    f=urlopen(url)
    wf=open(name, 'w')
    size=f.info()['content-length']
    count=0.0
    while count<float(size):
        try:
            data=f.read(5000)
            count+=5000
            wf.write(data)
        except:
            break;

muss ich jetzt echt auf Sockebene das ganze implementieren?
ich meine es ist ja was ganz banales das mal eine Verbindung zusammen bricht. (in meinem Fall der 24h reconnect des ISPs)

[ms4py]

Es gibt in der urllib2 kein urlretrieve

Der OP hat verstanden, wie es gemeint war

muss ich jetzt echt auf Sockebene das ganze implementieren?

Nein, ich könnte mir eine Lösung mit Threads vorstellen mit einem Event als Watchdog-Variable. Wenn das Event nach x-Sekunden nicht gesetzt wurde, wirfst du halt einen `TimeoutError`.

Edit: Verwende bitte mal PEP8, die fehlenden Leerzeichen machen deinen Code schwer leserlich!

[ragi]

Also ich konrolliere einfach die lokale Dateigröße, ob die sich ändert. So weiss ich wenn der Download ins leere läuft.
Wie bekomme ich nun den thread mit dem urlretrieve "gekillt" oder wie komme ich im Script über den Punkt hinaus?

[ms4py]

Also ich konrolliere einfach die lokale Dateigröße, ob die sich ändert. So weiss ich wenn der Download ins leere läuft.
Wie bekomme ich nun den thread mit dem urlretrieve "gekillt" oder wie komme ich im Script über den Punkt hinaus?

In dem du den Thread als "Daemon" markierst:
http://docs.python.org/library/threadin ... ead.daemon

[veers]

http://docs.python.org/library/socket.h ... ulttimeout

Das hilft vermutlich.

ms4py, naja dann hast du einfach solange bis die ganze Anwendung beendet wird einen Zombie. Auch nicht gerade hübsch.

Gruss,
Jonas

[ms4py]

http://docs.python.org/library/socket.h ... ulttimeout

Das hilft vermutlich.

Oh, na klar. Vermutlich gilt diese Einstellung auch für die Socket-abstrahierenden Module. Soweit habe ich gar nicht gedacht.

ms4py, naja dann hast du einfach solange bis die ganze Anwendung beendet wird einen Zombie. Auch nicht gerade hübsch.

Ja, da hast du Recht. Kommt natürlich auf die Laufzeit der Anwendung an. Wenn man von einem kleinen Script ausgeht, das sich bei einem Timeout sowieso beendet, wäre diese Lösung kein Problem.

Ansonsten wäre `multiprocessing` eine Alternative, einen `Process` kann man ja beenden: http://docs.python.org/library/multipro ... .terminate

[Dav1d]

Code: Alles auswählen

import socket
socket.setdefaulttimeout(30)

sollte funktionieren
Wenn es einen Timeout gibts eine socket.timeout Exception => Im Thread anfangen und Thread beenden, notfalls durch sys.exit

[ragi]

Vielen Dank, setdefaulttimeout war genau das was ich brauchte.