Bautiful Soup Suche mit SessionKey

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
Antworten
BugDroid
User
Beiträge: 2
Registriert: Donnerstag 24. März 2022, 22:29

Hallo

Auf folgender Seite gibt es mittels einem Button eine Suchfunktion, mit der immer die 5 aktuellsten Einträge angezeigt werden:
https://community.secop.gov.co/Public/T ... Page=login

Ich hab mir den Button angeschaut und hab die folgende Aktion in Postman übernommen:
Post: (https://community.secop.gov.co/Public/T ... stGoToPage)
Param: (mkey=295fea84_04fa_4ad2_8628_1511bf0e1af7)
und im Body: (startIdx: '5', endIdx: '9', pageNumber: '1')

Das klappt an sich recht gut. ICh möchte nun die Suche per Beautiful Soup ausführen und anschließend die Ergebnisse weiterverarbeiten. Größtes Hinderniss ist momentan, dass sich der SessionKey mkey immer wieder mal ändert.
WIe würdet ihr vorgehen? Ist Beautiful Soup überhaupt das Mittel der Wahl hier. BIn für jeden Tipp dankbar!
Benutzeravatar
sparrow
User
Beiträge: 4540
Registriert: Freitag 17. April 2009, 10:28

Der mkiey ändert sich, damit sichergestellt ist, dass der Abrufer vorher die von dir verlinkte erte Seite besucht hat. Und die ist mit ReCaptcha gesichert, wie dir möglicherweise aufgefallen ist.
Vielleicht solltest du den Anbieter fragen, ob es eine API gibt, um die von dir gewollten Daten zu erhalten. Das hinter ReCaptcha zu verstecken, deutet nicht selten darauf hin, dass es acuh ein kommerzielles Angebot gibt, die Daten abzufragen.
BugDroid
User
Beiträge: 2
Registriert: Donnerstag 24. März 2022, 22:29

sparrow hat geschrieben: Samstag 26. März 2022, 16:14 den Anbieter fragen, ob es eine API gibt
das haben wir bereits. Die gibt es zwar, dort sind die Daten aber nicht aktuell, sondern werden täglich um Mitternacht aktualisiert. Untertags werden Daten ausschließlich auf dieser Platform aktualisiert...
LukeNukem
User
Beiträge: 232
Registriert: Mittwoch 19. Mai 2021, 03:40

BugDroid hat geschrieben: Samstag 26. März 2022, 17:10
sparrow hat geschrieben: Samstag 26. März 2022, 16:14 den Anbieter fragen, ob es eine API gibt
das haben wir bereits. Die gibt es zwar, dort sind die Daten aber nicht aktuell, sondern werden täglich um Mitternacht aktualisiert. Untertags werden Daten ausschließlich auf dieser Platform aktualisiert...
Unbestätigten Gerüchten zufolge sollen einige Entwickler und Unternehmen bereit sein, etwas zu tun und zum Beispiel ihre Daten in aktueller Form bereitzustellen, wenn man sie mit irgendetwas bewirft. In manchen solcher Fälle soll das Bewerfen mit Geld eine motivierende Wirkung haben, Juckpulver, Wasser- und Stinkbomben sollen nicht so gut funktionieren... habe ich gehört. YMMV! ;-)
Richi12
User
Beiträge: 17
Registriert: Samstag 5. Februar 2022, 17:21

Ich wünsche dir viel Spaß
Antworten