:D Programmierkenntnisse? Naja, html grundkenntnisse habe ich, Python seit etwa 3 Tagen non stop video tutorials am reinziehen. ich würde sagen meine Programmierkenntnisse sind fast bei 0. Trotzdem verstehe ich mir bereits angeschauten Videos und bin auch hochmotiviert Python zu lernen. weniger ...

eigentlich reicht die Startseite aus, denn das was ich suche ist auf der startseite meistens zu finden. Z.B. Magento oder Joomla steht ja im Quelltext drin. Was dann noch gesucht werden soll sind z.b. Farbe oder Produktname usw. diese Begriffe möchte ich mir dann gerne aussuchen und eintragen können.

sorry :) wollte Dich doch nicht ärgern. Die "Schnippsel" habe ich einfach nur zusammengefügt um nochmal darauf aufmerksam zu machen..

ja Grundlagen bin ich mit Tutorial videos dran.

Was ich brauche ist ein crawler der mit in einer csv datei oder xls CMS System, URL und das googlerank ausspuckt ...

requests und beautiful soup sind installiert und laufen, auch das crawlen mit "h2" gab mir die entsprechende Ausgabe.

from bs4 import BeautifulSoup
import requests

url = "http://www.zdf.de/"

webpage = requests.get(url).text

soup = BeautifulSoup(webpage, "html.parser")

results = soup.find ...

ich hab alles nochmal platt gemacht und python neu installiert und dann erst requests über pip installiert und dann beauftifulsoup
[img][IMG]http://www.bilder-upload.eu/thumb/1ca4f7-1451667092.png[/img][/img]

Die Installation müsste jetzt richtig sein oder?

[img][IMG]http://www.bilder-upload.eu/thumb/21a896-1451665993.png[/img][/img]

Ok. Tutorials habe ich mir heute fast den ganzen Tag rein gezogen :)

requests zu installieren war kein Problem, bei beautifulSoup habe ich noch Schwierigkeiten.

Ich habe es nun mehrere male versucht, anscheinend mache ich da noch was falsch..

[img] [IMG]http://www.bilder-upload.eu/thumb/e248d6 ...

soweit passt alles, nur erhalte ich leider die Fehlermeldung:

ImportError: No module named 'bs4'

from bs4 import BeautifulSoup
import requests

url = "http://www.heise.de/"

webpage = requests.get(url).text

soup = BeautifulSoup(webpage, "html.parser")

results = soup.find_all("h2")

for result ...

ok, requests und beautifulsoup habe ich erfolgreich installiert und werde nun mit Deinem "Gerüst" weitermachen.

Die xls oder cvs datei die mir das script früher ausgespuckt hat, gab mir folgende Daten aus:

Nr, Content, URL, CMS System der Seite (z.b. Magento), Ranking (googlerank)

vielen Dank. ich denke das eine neuprogrammierung wohl wirklich mehr sinn macht.

ich werde mir die module requests und beautifulsoup anschauen. gibt es für das was ich vorhabe irgendein "Gerüst" oder muss ich hier von null beginnen? danke für die Hilfe!

@pixewab: vielen Dank dafür. Heißt wohl mir bleibt nichts anderes übrig als selber was zu basteln? Dann hab ich ja jetzt ein neues Ziel für 2016

Vielen Dank und guten Rutsch
marcel

@BlackJack: ich erhalte die Meldung: crawler.exe kann nicht als Zip Archiv entpackt werden

ja es ist eine zip datei und die beinhaltet nur eine exe. genau!

Hallo BlackJack,

tatsächlich hab ich mich hier vertippt, aber auch mit -l 50 geht es nicht.

Wie kann ich denn herausfinden ob der Quellcode in der Exe dabei ist?

Ist es schwierig selbst solch ein Script zu erstellen?

hier noch mal den ganzen Ausgabe text:

http://www.bilder-upload.eu/thumb ...

Leider gibt es den Bekannten nicht mehr wie komme ich denn an den quelltext ran？dann koennte ich den doch auslesen und hier rein kopieren oder? Viele Grüße Marcel

Ich glaube jetzt müsste was zu sehen sein

hallo mutetella,

danke für deine Nachricht. Meinst Du meinen Link oder was genau?

Guten Morgen,

ich bin Python Anwender und mir hat vor längerer Zeit ein Bekannter ein kleines Skript geschrieben mit dem ich bei google crawlen kann. leider funktioniert es aus irgendeinem Grund nicht mehr und ich weiss nicht mehr weiter- Kann mir jemand mir eventuell weiterhelfen bzw. weiss wer ...