Seite 1 von 1

Scrapy mit Python Datenbank verbinden

Verfasst: Mittwoch 24. Juli 2024, 21:27
von FNK
Hallo an die Community,

ich möchte ein Programm welches Daten aus einer Webpage extrahiert, in eine Datenbank führt und ich mit den Daten arbeiten kann.
Ich habe gerade angefangen mit Python zu programmieren und habe versucht mit KI den Code selbst zu programmieren. Aber jetzt stoße ich gedanklich an meine Grenzen.

Code: Alles auswählen

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter


class Immoscout24Pipeline:
    def process_item(self, item, spider):
        return item


import csv

class ImmobilienPipeline:
    def open_spider(self, spider):
        self.csv_file = open("immobilien.csv", "w", newline="")
        self.csv_writer = csv.DictWriter(self.csv_file, fieldnames=["title", "Kaufpreis", "Grundstücksfläche", "Wohnfläche", "Provision", "Sanierung/Renovierung"])
        self.csv_writer.writeheader()

    def close_spider(self, spider):
        self.csv_file.close()

    def process_item(self, item, spider):
        self.csv_writer.writerow(item)
        return item
Hier irgendwo kann es den itemadapter nicht auflösen?

Re: Scrapy mit Python Datenbank verbinden

Verfasst: Donnerstag 25. Juli 2024, 16:07
von __blackjack__
@FNK: „[M]it KI den Code selbst zu programmieren“ ist ja irgendwie ein Widerspruch.

Was heisst „kann es den itemadapter nicht auflösen“ denn konkret? Was ist ”es”? Python? Die IDE? Wie äussert sich das? Gibt es eine Ausnahme? Welche? Wie sieht der Traceback aus?

Ist das `itemadapter`-Package installiert?

Re: Scrapy mit Python Datenbank verbinden

Verfasst: Donnerstag 25. Juli 2024, 17:19
von grubenfox
__blackjack__ hat geschrieben: Donnerstag 25. Juli 2024, 16:07 Ist das `itemadapter`-Package installiert?
... und ist es überhaupt notwendig wenn es in dem obigen Code(-Ausschnitt?) gar nicht genutzt wird?

Re: Scrapy mit Python Datenbank verbinden

Verfasst: Donnerstag 25. Juli 2024, 17:54
von __blackjack__
Ich frage mich auch ein bisschen ob es notwendig wäre, selbst wenn es benutzt würde. Solange man nicht tatsächlich mindestens zwei verschiedene Item-Typen hat, die an diesen Adapter verfüttert werden, sieht das ein bisschen nach YAGNI aus und so gar nicht nach KISS. 🤓