Seite 1 von 1

Frage zu requests.get

Verfasst: Freitag 24. September 2021, 16:30
von PooggaTo
Hallo zusammen,

ich wollte mir ein kleines Python-Skript schreiben, welches Werte aus einer Website lädt und mitloggt.

Die Seite lade ich mit:

Code: Alles auswählen

page = requests.get(url)
und verarbeite ich anschließend mit BeautifulSoup weiter:

Code: Alles auswählen

soup = BeautifulSoup(page.content, 'html.parser')
Das funktioniert auch soweit und er lädt mir alles rein was dort ist. Problem an der Sache ist nur, dass die Seite mit den Werten 0,0 gestartet wird und dann selbst die entsprechenden Werte nachlädt z.B. 1,2. (Wird beim Seitenbetreibe so umgesetzt sein).
Deswegen fängt halt der "requests.get"-Befehl nur die 0,0 Werte ab.

Die Frage ist nun, ob es beim requests-Befehl die Option gibt, die Seite "länger" laden zulassen, sodass ich eben die richtigen Werte und nicht die 0,0-Werte erhalte?

Schon mal vielen Dank für euren Support und viele Grüße
PooggaTo

Re: Frage zu requests.get

Verfasst: Freitag 24. September 2021, 16:33
von __deets__
Nein. Das ist ja JavaScript. Du kannst versuchen im Browser rauszufinden, welche requests hinter den updates stecken. Und die absetzen.

Re: Frage zu requests.get

Verfasst: Sonntag 26. September 2021, 11:08
von snafu
Oder Selenium für die Abfrage verwenden.

Re: Frage zu requests.get

Verfasst: Sonntag 26. September 2021, 21:12
von PooggaTo
snafu hat geschrieben: Sonntag 26. September 2021, 11:08 Oder Selenium für die Abfrage verwenden.
Perfekt, das hat jetzt einwandfrei funktioniert. Vielen herzlichen Dank :D

Ich habs vorher auf eine unschöne Art gelöst, indem ich alle x-Stunden einen Screenshot der Seite machen hab lassen und diesen dann händisch nachgepflegt habe... Dies kann ich mir jetzt dank deinem Tipp mit Selenium sparen! :mrgreen: