Frage zu requests.get

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
Antworten
PooggaTo
User
Beiträge: 4
Registriert: Freitag 17. November 2017, 22:16

Hallo zusammen,

ich wollte mir ein kleines Python-Skript schreiben, welches Werte aus einer Website lädt und mitloggt.

Die Seite lade ich mit:

Code: Alles auswählen

page = requests.get(url)
und verarbeite ich anschließend mit BeautifulSoup weiter:

Code: Alles auswählen

soup = BeautifulSoup(page.content, 'html.parser')
Das funktioniert auch soweit und er lädt mir alles rein was dort ist. Problem an der Sache ist nur, dass die Seite mit den Werten 0,0 gestartet wird und dann selbst die entsprechenden Werte nachlädt z.B. 1,2. (Wird beim Seitenbetreibe so umgesetzt sein).
Deswegen fängt halt der "requests.get"-Befehl nur die 0,0 Werte ab.

Die Frage ist nun, ob es beim requests-Befehl die Option gibt, die Seite "länger" laden zulassen, sodass ich eben die richtigen Werte und nicht die 0,0-Werte erhalte?

Schon mal vielen Dank für euren Support und viele Grüße
PooggaTo
__deets__
User
Beiträge: 14493
Registriert: Mittwoch 14. Oktober 2015, 14:29

Nein. Das ist ja JavaScript. Du kannst versuchen im Browser rauszufinden, welche requests hinter den updates stecken. Und die absetzen.
Benutzeravatar
snafu
User
Beiträge: 6731
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Oder Selenium für die Abfrage verwenden.
PooggaTo
User
Beiträge: 4
Registriert: Freitag 17. November 2017, 22:16

snafu hat geschrieben: Sonntag 26. September 2021, 11:08 Oder Selenium für die Abfrage verwenden.
Perfekt, das hat jetzt einwandfrei funktioniert. Vielen herzlichen Dank :D

Ich habs vorher auf eine unschöne Art gelöst, indem ich alle x-Stunden einen Screenshot der Seite machen hab lassen und diesen dann händisch nachgepflegt habe... Dies kann ich mir jetzt dank deinem Tipp mit Selenium sparen! :mrgreen:
Antworten