Spider/Crawler für vorbestimmte IP-Range nach robot.txt Inhalten!? -> Oder doch besser und schneller mit bash?

Und gleich noch eine Frage hinterher! -> Modul "netaddr"

from netaddr import iter_iprange
generator = iter_iprange(192.168.10.1, 192.168.11.255, step=1)
...

Wie kann ich die beiden IP ...