Das habe ich woanders gepostet, passt wohl aber besser hierhin:
http://www.python-forum.de/viewtopic.php?p=26552#26552
(Der Googlebot hatte unabsichtlich ein Posting geqoutet)
robots.txt anpassen.
-
piddon
- Gründer
- Beiträge: 410
- Registriert: Dienstag 30. Juli 2002, 18:03
- Wohnort: Oestrich-Winkel
- Kontaktdaten:
Die Robots.txt wurde angepasst. Ich erlaube sowieso zur Zeit nur den GoogleBot, da alle andere bots einfach zu viel Traffic verursacht haben. Nun habe ich den Googlebot, wie in einem anderen Thread vorgeschlagen, auch limitiert.
irc: #python.de @ irc.freenode.net | [url=http://pythonwiki.pocoo.org]python-wiki[/url] | [url=http://www.pythonwiki.de/PythonDeForum/Faq]python-forum FAQ[/url]