ich hab ethereal und den perl script bemüht. was mir nicht klar war: putheader(...) schreibt zeilenweise, das wird einfach so oft wie man 's braucht aufgerufen mit je einer option.
so läuft das mal in einer minimalversion:


#!/usr/bin/env python

import robotparser
import httplib

server = 'www ...

OK, vielen dank für die erläuterung.

das bedeutet allerdings auch, dass ich auf eventuell brauchbare, zusätzliche funktionalität der urllib verzichten müsste, da diese vermutlich einen eigenen header platziert. wobei ich mir noch nicht sicher bin, ob ich sie überhaupt brauche.

mehr sorgen macht ...

oje, das da oben war ein self reply. hab vergessen mich einzuloggen...

moin moin
ich muss für ein schulprojekt einen crawler programmieren. kann mir jemand einen tipp geben, wie ich den namen und admin angeben muss?
unter perl kann man ja einfach den LWP::RobotUA( name, mail_admin ) benützen, der das zur verfügung stellt.
unter python hab ich vor urllib und den ...