Das deutsche Python-Forum

Hallo

Auf folgender Seite gibt es mittels einem Button eine Suchfunktion, mit der immer die 5 aktuellsten Einträge angezeigt werden:
https://community.secop.gov.co/Public/T ... Page=login

Ich hab mir den Button angeschaut und hab die folgende Aktion in Postman übernommen:
Post: (https://community.secop.gov.co/Public/T ... stGoToPage)
Param: (mkey=295fea84_04fa_4ad2_8628_1511bf0e1af7)
und im Body: (startIdx: '5', endIdx: '9', pageNumber: '1')

Das klappt an sich recht gut. ICh möchte nun die Suche per Beautiful Soup ausführen und anschließend die Ergebnisse weiterverarbeiten. Größtes Hinderniss ist momentan, dass sich der SessionKey mkey immer wieder mal ändert.
WIe würdet ihr vorgehen? Ist Beautiful Soup überhaupt das Mittel der Wahl hier. BIn für jeden Tipp dankbar!

Der mkiey ändert sich, damit sichergestellt ist, dass der Abrufer vorher die von dir verlinkte erte Seite besucht hat. Und die ist mit ReCaptcha gesichert, wie dir möglicherweise aufgefallen ist.
Vielleicht solltest du den Anbieter fragen, ob es eine API gibt, um die von dir gewollten Daten zu erhalten. Das hinter ReCaptcha zu verstecken, deutet nicht selten darauf hin, dass es acuh ein kommerzielles Angebot gibt, die Daten abzufragen.

sparrow hat geschrieben: Samstag 26. März 2022, 16:14 den Anbieter fragen, ob es eine API gibt

das haben wir bereits. Die gibt es zwar, dort sind die Daten aber nicht aktuell, sondern werden täglich um Mitternacht aktualisiert. Untertags werden Daten ausschließlich auf dieser Platform aktualisiert...

BugDroid hat geschrieben: Samstag 26. März 2022, 17:10

sparrow hat geschrieben: Samstag 26. März 2022, 16:14 den Anbieter fragen, ob es eine API gibt

das haben wir bereits. Die gibt es zwar, dort sind die Daten aber nicht aktuell, sondern werden täglich um Mitternacht aktualisiert. Untertags werden Daten ausschließlich auf dieser Platform aktualisiert...

Unbestätigten Gerüchten zufolge sollen einige Entwickler und Unternehmen bereit sein, etwas zu tun und zum Beispiel ihre Daten in aktueller Form bereitzustellen, wenn man sie mit irgendetwas bewirft. In manchen solcher Fälle soll das Bewerfen mit Geld eine motivierende Wirkung haben, Juckpulver, Wasser- und Stinkbomben sollen nicht so gut funktionieren... habe ich gehört. YMMV!

Ich wünsche dir viel Spaß