Scrapy mit Python Datenbank verbinden
Verfasst: Mittwoch 24. Juli 2024, 21:27
Hallo an die Community,
ich möchte ein Programm welches Daten aus einer Webpage extrahiert, in eine Datenbank führt und ich mit den Daten arbeiten kann.
Ich habe gerade angefangen mit Python zu programmieren und habe versucht mit KI den Code selbst zu programmieren. Aber jetzt stoße ich gedanklich an meine Grenzen.
Hier irgendwo kann es den itemadapter nicht auflösen?
ich möchte ein Programm welches Daten aus einer Webpage extrahiert, in eine Datenbank führt und ich mit den Daten arbeiten kann.
Ich habe gerade angefangen mit Python zu programmieren und habe versucht mit KI den Code selbst zu programmieren. Aber jetzt stoße ich gedanklich an meine Grenzen.
Code: Alles auswählen
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
class Immoscout24Pipeline:
def process_item(self, item, spider):
return item
import csv
class ImmobilienPipeline:
def open_spider(self, spider):
self.csv_file = open("immobilien.csv", "w", newline="")
self.csv_writer = csv.DictWriter(self.csv_file, fieldnames=["title", "Kaufpreis", "Grundstücksfläche", "Wohnfläche", "Provision", "Sanierung/Renovierung"])
self.csv_writer.writeheader()
def close_spider(self, spider):
self.csv_file.close()
def process_item(self, item, spider):
self.csv_writer.writerow(item)
return item