Webscraping - Daten nachladen

[christheturtle]

Hallo liebes Forum!

Ich baue gerade einen Webscraper mit requests, der alle Abflüge für einen bestimmten Flughafen in einem bestimmten Zeitraum ausliest. Meine Quelle für die Daten ist https://www.flightsfrom.com. Das Problem: Wenn mehr als 50 Flüge auf der Website angezeigt werden sollen, muss man einen Button klicken, um weitere Flüge zu laden.

Meine bisherige Lösung
Ich habe herausgefunden, dass bei einem Klick auf den Button "Get more departures" ein XHR-request gestellt wird. Dadurch wird auf eine URL wie z.B. https://www.flightsfrom.com/api/schedul ... &offset=50 zugegriffen. Zurück kommt dann ein hübsches JSON mit allen Daten.

Meine Frage
Mir erscheint als jetzt einfachste Lösung, dass ich direkt über die API die Daten abfrage und die zurückgegebene JSON auswerte. Aber: Ist das eine sinnvolle Vorgehensweise? Oder übersehe ich eine einfachere Lösung, um Daten nachzuladen / einen Klick auszulösen?

[__deets__]

Noe. Das ist schon das, was man da tun muss.

[christheturtle]

danke dir!

[__blackjack__]

Und man kann auch gleich damit starten, also mit einem `offset` von 0. Das erste Ergebnis hat einen Schlüssel "next_offset" mit dem Wert 50. Wenn man das weiterverfolgt, kommt man am Ende anscheinend bei einem "next_offset": 0 an, das man als Abbruchkriterium nutzen kann.