Hier ein kleiner Artikel zu den Grundlagen eines Web Crawlers in Python (Auslesen mit urllib2 und Parsen mit lxml). Erweiterte Funktionen wie `robots.txt`-Verarbeitung und Zerlegung des Inhalts in Tokens werden im nächsten Blogpost behandelt.
http://ms4py.org/2010/04/27/python-sear ... er-part-1/
Kritik und Anmerkungen sind (wie immer) gerne erwünscht.
Python Web Crawler
Jop, gibt eine Menge von Color Schemes: http://www.viper007bond.com/wordpress-p ... ghlighter/mkesper hat geschrieben:Der Syntaxhighlighter ist cool, kann der auch Positivdarstellung?
„Lieber von den Richtigen kritisiert als von den Falschen gelobt werden.“
Gerhard Kocher
http://ms4py.org/
Gerhard Kocher
http://ms4py.org/
Teil 2: http://ms4py.org/2010/05/06/python-sear ... er-part-2/
Performance:
Hinweis für Interessierte: Der Code zu Teil 3 ist im Repository schon verfügbar. Performance mit 8 Crawler-Threads:
Performance:
Code: Alles auswählen
Total runtime: 25 min
Pages processed: 1963
Average: 1.265 Pages/s 75.927 Pages/minHinweis für Interessierte: Der Code zu Teil 3 ist im Repository schon verfügbar. Performance mit 8 Crawler-Threads:
Code: Alles auswählen
Total runtime: 7 min
Pages processed: 1862
Average: 3.919 Pages/s 235.170 Pages/min „Lieber von den Richtigen kritisiert als von den Falschen gelobt werden.“
Gerhard Kocher
http://ms4py.org/
Gerhard Kocher
http://ms4py.org/