Scrapy - Cookies übergeben
Verfasst: Donnerstag 16. August 2018, 20:45
Hallo, ich habe eine Frage zur Verwendung von Cookies bei Scrapy.
Gibt es eine Möglichkeit beim Start von Scrapy bereits Cookies mit zu übergeben? Also beispielsweise Laden aus einer pkl-Datei wie es bei Selenium möglich ist mit
?
Hintergrund ist, dass ich eine Seite scrapen möchte, welche zu Beginn ein Recaptcha hat. Die Idee ist dieses manuell zu lösen und danach die Cookies zu speichern, um diese dann Scrapy zu übergeben und somit das Recaptcha zu umgehen.
Ich bin für jede Hilfe dankbar.
Gibt es eine Möglichkeit beim Start von Scrapy bereits Cookies mit zu übergeben? Also beispielsweise Laden aus einer pkl-Datei wie es bei Selenium möglich ist mit
Code: Alles auswählen
for cookie in pickle.load(open("Cookies.pkl", "rb")):
driver.add_cookie(cookie)
Hintergrund ist, dass ich eine Seite scrapen möchte, welche zu Beginn ein Recaptcha hat. Die Idee ist dieses manuell zu lösen und danach die Cookies zu speichern, um diese dann Scrapy zu übergeben und somit das Recaptcha zu umgehen.
Ich bin für jede Hilfe dankbar.