Seite 1 von 1

zurück zum Spider

Verfasst: Dienstag 21. November 2023, 22:22
von Ernie1412
wenn ich mehrere Spider habe, die die gleichen Items, pipelines benutzen. Wie kann ich zu dem Spider zurückkehren (eigenen spider.py) ? Gibts da eine Settings extra für ? oder geht er immer zu dem spider.py zurück mit dem ich mit scrapy genspider es auch erstellt habe, eine andere spider.py wird nicht akzeptiert bzw er startet zwar von der anderen aber kehrt immer wieder zu der genspider erstellten .py zurück ? Das scrapen (parse) unterscheidet sich nur minimal. /video/ statt /videos/ z.B.

Re: zurück zum Spider

Verfasst: Dienstag 21. November 2023, 23:49
von Ernie1412
es scheint doch nicht mit dem zurück zum spider zu tun zu haben, sondern mit dem response von from scrapy import Spider zu tun zu haben. jetzt hab ich das als Notbehelf mit:

Code: Alles auswählen

relative_url = relative_url.replace("/videos/","/video/") if "/videos/" in relative_url else relative_url
gelöst