Das deutsche Python-Forum

Hy,

ich würde gerne meine ersten Programmier-Schritte machen.
Nach einer kurzen Internet-Recherche habe ich Python in die engere Wahl genommen.
Allerdings ist eines meiner großen Programmier-Interessen, das programmieren von Web-Bots.

Hinweis: Bitte nicht gleich mit Kritik um sich werfen: "Wir helfen keinen Cheater & Skriptkiddys nicht die sich in einem Browsergame Vorteile ercheaten wollen!
.. Den die meisten Bot-Eigenschaften die ich brauche sind auf der Browserebene aber hat nichts mit irgendwelchen Games zu tun. Weil vieles bei meiner Arbeit zur Zeit mit einer browserbassierten Warenwirtschaftsumgebung geschieht, würde ich gerne einiges dort automatisieren.

Und da hier wohl viele erfahrene Programmierer sind, dachte ich, ich frage mal am besten euch welche Sprachen sich für das Programmieren von Web-Bots am ehesten zu empfehlen sind.

AutoIT fällt leider weg, weil es für mich ein absolutes MUSS ist, dass es auch unter Linux (und MAC / Windows) lauffähig ist. Wenn es vielleicht noch leicht zu erlernen ist wäre es super, ist aber kein Muss.

Ps: Falls jemand evtl. ein Python Bot kennt, dass evtl. mit Get's und Post's bestückt ist, würde ich mich auf eine Verlinkung freuen, damit ich einen ersten Eindruck von der Strukturierung bekommen kann.

@Sevemiyen: Python ist eine allgemeine Programmiersprache für die es auch Bibliotheken für Webprogrammierung/Webclients gibt. Neben `urllib` & Co aus der Standardbibliothek gibt es das `requests`-Paket was eine wesentlich schönere API über diese Module legt. Das wären Deine GETs und POSTs. `mechanize` simuliert so ein bisschen einen Browser. Und `lxml.html` oder `BeautifulSoup` helfen dabei Informationen aus HTML- und XML-Dokumenten zu extrahieren.

Ich weiß nicht wie es mit anderen Sprachen aussieht, aber ich nutze Python für eine große Anzahl von Browser Aufgaben.
Mit den Bibliotheken "requests", "mechanize", "BeautifulSoup", "lxml" könntest du dir praktisch einen ganzen Browser programmieren

Aufbaubeispiele:
http://docs.python-requests.org/en/latest/

Außerdem kannst du mit Selenium auch nen ganzen Browser skripten, das ist um irgendwelche Web-Aufgaben zu automatisieren ggf. die einfachste Lösung.

Leonidas hat geschrieben:Außerdem kannst du mit Selenium auch nen ganzen Browser skripten, das ist um irgendwelche Web-Aufgaben zu automatisieren ggf. die einfachste Lösung.

Hab gerade ein bisschen gegooglet und mit dem Plugin bisschen rumgespiel. Gerade mit Javascript bekommt es Schwierigkeiten. Und auch das Warten auf Elemente hat er nicht wirklich gut drauf.. Naja, es reicht für 75% meiner Bedürfnisse vollkommen aus. Gibt es vielleicht etwas bisschen weiter entwickelteres Macro-Tool das auch auf einem Linux lauffähig ist?

Mit Windows habe ich damals Networkautomation Automate 9 und was war absolut ausreichend für meine Bedürfnisse (Bis auf die Tatsache, dass man die Macros nicht in irgend einer anderen Sprache wie Java o. Ä. exportieren kann, leider nicht mal eine alleinständige, lauffähige *.exe)

Gibt es evtl. etwas umfangreicheres in dieser Richtung? Natürlich wäre die Alternative: Das Grobe vom Selenium machen lassen und die Feinheiten manuell im Python Skript nachbessern..