Das deutsche Python-Forum

Hallo zusammen,

ich möchte via Python Daten bei www.Bet365.com scrapen und bin beim Googlen auf folgendes Modul gestoßen, dass offenbar "Bookmakers" heißen soll, wie man dem folgenden Video entnehmen kann:

https://www.youtube.com/watch?v=Vzh3eTc0Pa0

Allerdings kann ich dieses Modul nirgends im Netz finden.

Als Alternative gibt es noch ein Modul, dass "Bet365" heißt:

https://www.youtube.com/watch?v=giM6lZZeIE8

Aber auch dieses kann ich nirgends finden.

Wenn irgendjemand einen Tipp hat wo ich eines dieser beiden Module bekommen könnte dann wäre ich happy.

Viele Grüße,
Marc

Hallo,

also bet365 findet man ganz leicht, wenn man Google mit dem eigentlich doch recht naheliegenden Suchbegriff `python bet365` füttert.

BTW: erlauben die Nutzungsbedingungen von bet365.com scraping? Normalerweise ist das nicht die "feine englische Art", an Daten zu kommen. Wenn jemand freiwillig sein Daten zu Weiterverarbeitung anbieten möchte, dann hat der Anbieter eine entsprechende API.
Solltest du vielleicht mal prüfen, bevor dich möglicherweise der Ban-Hammer von bet365.com trifft.

Gruß, noisefloor

Die überwiegende Anzahl der seriösen und freien Python-Pakete ist im offiziellen Paket-Repository PyPi (https://pypi.org/) zu finden. Die beiden Videos scheinen hingegen eher Tech-Demos von Leuten zu sein, die anbieten, Webscraper (vmtl. gegen Geld) zu programmieren. Ich denke nicht, dass es die gezeigten Pakete frei im Netz gibt und rechtlich bewegt sich das vermutlich auch eher im dunkelgrauen Bereich.

EDIT: Okay, noisefloor hat mich (teilweise) eines Besseren belehrt.

Hallo,

das bet365 Modul gibt's bei GitHub. Das ist letztendlich nur eineSkript, was Selenium ausführt, ootb nur unter Windows läuft, ootb einen installierten Firefox voraussetzt und ootb nur NBA Mannschaften abfragt. Also alles andere als universell. Was das dunkelgrau aber nicht heller macht...

Gruß, noisefloor

noisefloor hat geschrieben: Samstag 27. Juli 2019, 09:06 das bet365 Modul gibt's bei GitHub. Das ist letztendlich nur eineSkript, was Selenium ausführt, ootb nur unter Windows läuft, ootb einen installierten Firefox voraussetzt und ootb nur NBA Mannschaften abfragt. Also alles andere als universell. Was das dunkelgrau aber nicht heller macht...

Ich glaube, das ist aber nicht dasselbe Modul. Im Video sehe ich eine Klasse, die in dem Selenium Skript nicht enthalten ist; und der verwendet ja auch scheinbar Ubuntu in einer VM unter Windows.

Hallo,

kann schon sein - ich schaue mir keine kompletten Videos zwecks Support an.

Wenn's noch ein weiteres Modul namens Bet365 gibt, dann ist das zumindest nicht bei meinen ersten Suchtreffer bei Google. Was den TE aber nicht davon abhalten sollte, die Suchergebnisse mal auf Seite 2, 3, 4, ... durchzuklicken

Gruß, noisefloor

noisefloor hat geschrieben: Samstag 27. Juli 2019, 09:15 Hallo,

kann schon sein - ich schaue mir keine kompletten Videos zwecks Support an.

Wenn's noch ein weiteres Modul namens Bet365 gibt, dann ist das zumindest nicht bei meinen ersten Suchtreffer bei Google. Was den TE aber nicht davon abhalten sollte, die Suchergebnisse mal auf Seite 2, 3, 4, ... durchzuklicken

Gruß, noisefloor

Hallo zusammen,

vielen Dank für eure Hinweise! Ich hatte das Selenium Tool bei Github tatsächlich auch schon gesehen, war aber aus irgendeinem Grund davon ausgegangen es sei nicht das gesuchte Tool. Zumal da meines Wissens auch noch der Umstand ist, dass Selenium den aktuellen Firefox Treiber (Marionette) gar nicht mehr unterstützt. Man berichtige mich wenn ich mich irre. Ich werde es aber einfach mal versuchen mit dem Tool.

Grüße,
Marc

Also die Installation dieses Selenium Tools ist mir ein Rätsel denn es ist keine Setup.py Datei vorhanden, die ich zur Installation aufrufen könnte.

Ich hab es in der Eingabeaufforderung dann einfach mal versucht mit "SeleniumScraper.py install". Es tut sich auch was aber am Ende findet er eine Datei nicht:

File "<frozen importlib._bootstrap_external>", line 916, in get_data
ileNotFoundError: [Errno 2] No such file or directory: 'C:\\Users\\Herbert_Meis
l\\AppData\\Local\\Programs\\Python\\Python37-32\\lib\\site-packages\\selenium-
.0.0a1-py3.7.egg\\selenium\\webdriver\\remote\\getAttribute.js'

Wie installiert man eine Datei ohne setup.py file? Muss man die überhaupt installieren?

Sorry, bin da absolut nicht im Bild.

Gruß

Ich weiß, ich bin ein alter Mann, aber ich habe mal gelernt, dass man als erstes immer ins Handbuch schaut.
Und tatsächlich. Der zweite Treffer, wenn man nach "install selenium" sucht, ist der entsprechende Abschnitt in deren Dokumentation.
Und wenn sich dort für dich die Frage ergibt, was eigentlich "pip" ist, dann solltest du auch danach suchen, weil pip eines der grundlegenden Werkzeuge in der Entwicklung mit Python ist. Ebenso wie virtualenv.

sparrow hat geschrieben: Samstag 27. Juli 2019, 18:34 Ich weiß, ich bin ein alter Mann, aber ich habe mal gelernt, dass man als erstes immer ins Handbuch schaut.
Und tatsächlich, der zweite Treffer, wenn man nach "install selenium" sucht, ist der entsprechende Abschnitt in deren Dokumentation.
Und wenn sich dort für dich die Frage ergibt, was eigentlich "pip" ist, dann solltest du auch danach suchen, weil pip eines der grundlegenden Werkzeuge in der Entwicklung mit Python ist. Ebenso wie virtualenv.

Selenium ist bereits installiert wie man dem Pfad in der Fehlermeldung ja auch entnehmen kann, auch wenn offenbar eine für das Scraper-Modul relevante Datei zu fehlen scheint. Der Blick ins Handbuch zeigt mir nur, dass Selenium dort anders installiert wird. Ich könnte natürlich nochmal versuchen es auf diese Weise zu machen. Das war aber gar nicht meine Frage.

Meine Frage lautete, wie man bei der Installation von Modulen verfährt, die keine Setup.py Datei besitzen. Ist in solchen Fällen überhaupt eine Installation notwendig bzw. möglich oder würde es zum Beispiel genügen die Datei einfach in einem bestimmten Pfad abzulegen?

Gruß

Ich habe doch deine Frage beantwortet: So etwas steht im Handbuch (der Dokumentation) des jeweiligen Moduls. Und in der Regel nimmt man zum Installieren von Modulen pip.

Ich hatte die read.me Datei zwar vorher gelesen aber der Ersteller ist auf diesen Umstand nicht genauer eingegangen. Letztlich hat sich meine Frage nun aber beantwortet. Einzelne Dateien kann man einfach über die Python shell ausführen. Eine Installation des Scrapers ist also in diesem Fall nicht notwendig.

Was pip ist weiß ich zwar aber die Installation einzelner Module mit pip hat bei mir bis jetzt noch kein einziges Mal geklappt, da ich pip vermutlich falsch aufrufe. Dementsprechend habe ich die Installation auch im falle von Selenium über die Eingabeaufforderung vorgenommen. Macht das letztlich aber wirklich einen Unterschied?