Scrapy mit Python Datenbank verbinden

Installation und Anwendung von Datenbankschnittstellen wie SQLite, PostgreSQL, MariaDB/MySQL, der DB-API 2.0 und sonstigen Datenbanksystemen.
Antworten
FNK
User
Beiträge: 1
Registriert: Mittwoch 24. Juli 2024, 21:16

Hallo an die Community,

ich möchte ein Programm welches Daten aus einer Webpage extrahiert, in eine Datenbank führt und ich mit den Daten arbeiten kann.
Ich habe gerade angefangen mit Python zu programmieren und habe versucht mit KI den Code selbst zu programmieren. Aber jetzt stoße ich gedanklich an meine Grenzen.

Code: Alles auswählen

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter


class Immoscout24Pipeline:
    def process_item(self, item, spider):
        return item


import csv

class ImmobilienPipeline:
    def open_spider(self, spider):
        self.csv_file = open("immobilien.csv", "w", newline="")
        self.csv_writer = csv.DictWriter(self.csv_file, fieldnames=["title", "Kaufpreis", "Grundstücksfläche", "Wohnfläche", "Provision", "Sanierung/Renovierung"])
        self.csv_writer.writeheader()

    def close_spider(self, spider):
        self.csv_file.close()

    def process_item(self, item, spider):
        self.csv_writer.writerow(item)
        return item
Hier irgendwo kann es den itemadapter nicht auflösen?
Benutzeravatar
__blackjack__
User
Beiträge: 13786
Registriert: Samstag 2. Juni 2018, 10:21
Wohnort: 127.0.0.1
Kontaktdaten:

@FNK: „[M]it KI den Code selbst zu programmieren“ ist ja irgendwie ein Widerspruch.

Was heisst „kann es den itemadapter nicht auflösen“ denn konkret? Was ist ”es”? Python? Die IDE? Wie äussert sich das? Gibt es eine Ausnahme? Welche? Wie sieht der Traceback aus?

Ist das `itemadapter`-Package installiert?
“The city's central computer told you? R2D2, you know better than to trust a strange computer!” — C3PO
Benutzeravatar
grubenfox
User
Beiträge: 570
Registriert: Freitag 2. Dezember 2022, 15:49

__blackjack__ hat geschrieben: Donnerstag 25. Juli 2024, 16:07 Ist das `itemadapter`-Package installiert?
... und ist es überhaupt notwendig wenn es in dem obigen Code(-Ausschnitt?) gar nicht genutzt wird?
Benutzeravatar
__blackjack__
User
Beiträge: 13786
Registriert: Samstag 2. Juni 2018, 10:21
Wohnort: 127.0.0.1
Kontaktdaten:

Ich frage mich auch ein bisschen ob es notwendig wäre, selbst wenn es benutzt würde. Solange man nicht tatsächlich mindestens zwei verschiedene Item-Typen hat, die an diesen Adapter verfüttert werden, sieht das ein bisschen nach YAGNI aus und so gar nicht nach KISS. 🤓
“The city's central computer told you? R2D2, you know better than to trust a strange computer!” — C3PO
Antworten