Seite 1 von 1

Existenz von Dateien im Internet testen

Verfasst: Sonntag 2. September 2007, 18:12
von sadway
Hallo!

Ich möchte gerne mit einem Script die Existenz bestimmter Daten im Internet testen.

Da es sich immer nur um einen bestimmten Dateityp handelt müsste es doch reichen, wenn ich die erste Zeile wie folgt auslese:

Code: Alles auswählen

#!/usr/bin/env python

import urllib2

a = urllib2.urlopen('http://adresse.de/1.rar')
print a.readline()
Das hat mir zumindest in meinen Tests immer etwas in der Richtung wie "Rar!" zurückgeliefert. Dann kann ich ja nach dem vorkommen von etwas wie rar suchen. Oder war das bei mir jetzt immer nur Glück?

Das zweite für mich etwas schwierigere Thema ist, das die Webseite mittels .htaccess eine Authentifizierung verlangt. In der Dokumentation von urllib2 habe ich folgendes gefunden. Nur weiß ich leider nicht wie ich das verwenden kann oder soll.

Use of Basic HTTP Authentication:

Code: Alles auswählen

import urllib2
# Create an OpenerDirector with support for Basic HTTP Authentication...
auth_handler = urllib2.HTTPBasicAuthHandler()
auth_handler.add_password('realm', 'host', 'username', 'password')
opener = urllib2.build_opener(auth_handler)
# ...and install it globally so it can be used with urlopen.
urllib2.install_opener(opener)
urllib2.urlopen('http://www.example.com/login.html')

Was ist mit realm gemeint. Muss ich dann unter host den Domainnamen angeben? Irgendwie hat keine Kombination bei mir funktioniert.

Ich würde mich freuen, wenn mir jemand mit diesem Problem weiterhelfen könnte.

Vielen Dank!

Mark

Verfasst: Sonntag 2. September 2007, 19:05
von veers
Zum testen ob eine Datei existiert solltest du HEAD Request verwenden und kein GET.

Zur HTTP-Basic Auth:
http://aspn.activestate.com/ASPN/Cookbo ... ipe/305288

Verfasst: Sonntag 2. September 2007, 20:03
von sadway
Vielen Dank für deine Hilfe.
Die Seite kannte ich noch gar nicht. Ist ja sehr umfangreich... da werde ich einige Zeit was zu tun haben.
:D