Seite 1 von 1

Spider/Crawler für vorbestimmte IP-Range nach robot.txt Inhalten!

Verfasst: Sonntag 28. Februar 2016, 15:05
von Pu73
Spider/Crawler für vorbestimmte IP-Range nach robot.txt Inhalten!? -> Oder doch besser und schneller mit bash?

Und gleich noch eine Frage hinterher! -> Modul "netaddr"

from netaddr import iter_iprange
generator = iter_iprange(192.168.10.1, 192.168.11.255, step=1)
...

Wie kann ich die beiden IP Adressen mit vorher abgeforderten IP-Adressen (Variablen) austauschen?

Lieben Dank im Voraus!

Re: Spider/Crawler für vorbestimmte IP-Range nach robot.txt Inhalten!

Verfasst: Sonntag 28. Februar 2016, 15:18
von Sirius3
@Pu73: was besser oder schneller ist, hängt von dem ab, was Du kannst und was Du machen willst. Und wie man mit Variablen arbeitet sollte in jedem Grundlagentutorial vorkommen und kommt auch im Tutorial von netaddr vor.

Re: Spider/Crawler für vorbestimmte IP-Range nach robot.txt Inhalten!

Verfasst: Montag 29. Februar 2016, 17:35
von /me
Pu73 hat geschrieben:generator = iter_iprange(192.168.10.1, 192.168.11.255, step=1)
...

Wie kann ich die beiden IP Adressen mit vorher abgeforderten IP-Adressen (Variablen) austauschen?
Das ist ungültiges Python. Die Adressen müssen als String angegeben werden.

Eine Variable verwendest du, indem du sie dort ... na ja, halt verwendest. Statt den String direkt dorthin zu schreiben kannst du natürlich auch auch einen Bezeichner nehmen der auf einen entsprechenden String verweist. Warum sollte das hier anders sein als sonst in Python?

Re: Spider/Crawler für vorbestimmte IP-Range nach robot.txt Inhalten!

Verfasst: Dienstag 1. März 2016, 11:20
von jens
In django-tools hab ich:

[Codebox=python file=Unbenannt.py]from django_tools.settings_utils import InternalIps

INTERNAL_IPS = InternalIps(["127.0.0.1", "::1", "192.168.*.*", "10.0.*.*"])[/Codebox]

https://github.com/jedie/django-tools/b ... s_utils.py