Scrapy - Cookies übergeben

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
Antworten
dfint
User
Beiträge: 9
Registriert: Montag 23. April 2018, 14:06

Donnerstag 16. August 2018, 20:45

Hallo, ich habe eine Frage zur Verwendung von Cookies bei Scrapy.

Gibt es eine Möglichkeit beim Start von Scrapy bereits Cookies mit zu übergeben? Also beispielsweise Laden aus einer pkl-Datei wie es bei Selenium möglich ist mit

Code: Alles auswählen

for cookie in pickle.load(open("Cookies.pkl", "rb")):

    driver.add_cookie(cookie)
    
    
?

Hintergrund ist, dass ich eine Seite scrapen möchte, welche zu Beginn ein Recaptcha hat. Die Idee ist dieses manuell zu lösen und danach die Cookies zu speichern, um diese dann Scrapy zu übergeben und somit das Recaptcha zu umgehen.

Ich bin für jede Hilfe dankbar.
Antworten