Die Suche ergab 178 Treffer

von Perlchamp
Mittwoch 11. Dezember 2024, 02:19
Forum: Allgemeine Fragen
Thema: Probleme beim Scrapen einer Webseite
Antworten: 9
Zugriffe: 2496

Re: Probleme beim Scrapen einer Webseite

moinsen,
ja, suuper !
Für heute bist du definitiv mein Hero.
Vielen herzlichen Dank !

So long
Pc
von Perlchamp
Mittwoch 11. Dezember 2024, 00:28
Forum: Allgemeine Fragen
Thema: Probleme beim Scrapen einer Webseite
Antworten: 9
Zugriffe: 2496

Re: Probleme beim Scrapen einer Webseite

@imonbln:
danke für den Tipp. Icalender kenne ich nicht. Ich werde mich mal informieren. Mit dem Script habe ich aufgegeben:
Bitte dennoch einmal die Kommentare im Script lesen, ob die richtig sind, damit ich doch noch was lerne...

import requests
from bs4 import BeautifulSoup
from scrapy import ...
von Perlchamp
Dienstag 10. Dezember 2024, 20:44
Forum: Allgemeine Fragen
Thema: Probleme beim Scrapen einer Webseite
Antworten: 9
Zugriffe: 2496

Re: Probleme beim Scrapen einer Webseite

danke !
von Perlchamp
Dienstag 10. Dezember 2024, 17:54
Forum: Allgemeine Fragen
Thema: Probleme beim Scrapen einer Webseite
Antworten: 9
Zugriffe: 2496

Re: Probleme beim Scrapen einer Webseite

... und der Ärger geht weiter, wer kann mir weiterhelfen:
import requests
from bs4 import BeautifulSoup

response = requests.get("https://www.stadtwerke-speyer.de/speyerGips/Gips?SessionMandant=Speyer&Anwendung=CMSWEBPAGE&Methode=RefreshHTMLAusgabe&RessourceID=687740&Container.Children:2.BezirkId=9 ...
von Perlchamp
Dienstag 10. Dezember 2024, 17:28
Forum: Allgemeine Fragen
Thema: Probleme beim Scrapen einer Webseite
Antworten: 9
Zugriffe: 2496

Re: Probleme beim Scrapen einer Webseite

Super, vielen lieben Dank. Jetzt werde ich mal schauen, ob/wie es weitergeht.

So long
Pc
von Perlchamp
Dienstag 10. Dezember 2024, 16:27
Forum: Allgemeine Fragen
Thema: Probleme beim Scrapen einer Webseite
Antworten: 9
Zugriffe: 2496

Probleme beim Scrapen einer Webseite

Moinsen,
ich möchte gerne die Termine der örtlichen Müllabfuhr in ein Dashboard von HA einbinden. DAS ist das Ziel. Momentan bin ich dabei, in VS Code zum Testen ein .py-Scrape-Script zu erstellen. Doch bereits dort gibt es ein massives Problem, das ich anscheinend nicht im Stande bin, alleine zu ...
von Perlchamp
Samstag 9. Mai 2020, 20:53
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?

danke für deine antwort. dann werde ich mir mal die seite anschauen, mich mit split beschäftigen und mich in sqlalchemy einlesen :-) ...
von Perlchamp
Samstag 9. Mai 2020, 17:48
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?

ich raff's einfach nicht. es muss doch eine einfach möglichkeit geben, ziffern als String im eine dezimalzahl umzuwandeln. langsam beschleicht mich das gefühl, dass da was mit der version 3.8.2 nicht ganz so stimmt. ich meine das folgende script ist doch wirklich gaaanz einfach. der stil ist, klar ...
von Perlchamp
Samstag 9. Mai 2020, 16:25
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?

super, danke für deine antwort, wusste wirklich nicht, das man die keys bekommt, wenn man über ein dict iteriert. ist aber wahrscheinlich vernünftig, weil man dann mit den keys die valuies ansprechen kann ... ich mag es zwar smart, aber manchmal ist das so cryotisch, dass ich fast gar nichts ...
von Perlchamp
Samstag 9. Mai 2020, 13:36
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?

@__blackjack__:
könnte ich eigentlich statt :

COLUMN_NAME_TO_CONVERTER = {
"gold": Decimal,
"palladium": Decimal,
"datum": lambda text: parse_date(text).date(),
}

def parse_record_values(record):
return {
key: COLUMN_NAME_TO_CONVERTER[key](value)
for key, value in record.items()
}

def ...
von Perlchamp
Freitag 8. Mai 2020, 18:57
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?

@__blackjack__:
funzt :-)

vielen dank nochmals

so long
von Perlchamp
Freitag 8. Mai 2020, 16:30
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?

@__black_jack__:
zu deinem script fehlen mir die worte (im positiven sinn). da habe ich nebenher noch viel zu lesen, um die einzelnen zeilen auch wirklich zu verstehen. im gesamten verstehe ich das schon, aber die kombinationen und und und sind für mich natürlich auf den ersten blick kaum zu ...
von Perlchamp
Freitag 8. Mai 2020, 16:22
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?

hi, hallo,
erst einmal vielen dank für deine zeit!
ich hatte auch wieder einiges an meinem script geändert und wollte es posten, aber ein anruf kam dazwischen. ich poste mein aktuelles script, worin auch bereits vorher fehler ausgemerzt wurden, die du zurecht "angeprangert" hast. ich werde mir aber ...
von Perlchamp
Freitag 8. Mai 2020, 12:49
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?

das problem ist gelöst:

#!/usr/bin/env python3

import sqlite3, csv, decimal
from dateutil.parser import parse

# datenbank
TABLE_NAME = "edelmetallpreise"
DB_PATH = f"E:\\APPDATA\\Atom\\Python\\Data\\{TABLE_NAME}.db"

# csv-datei
CSV_PATH = f"E:\\APPDATA\\Atom\\Python\\Data\\{TABLE_NAME}.csv ...
von Perlchamp
Freitag 8. Mai 2020, 11:04
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?

aaaalso, ich habe alles auf TEXT gesetzt, dann ging's. dann habe ich nur das datum auf DATE gesetzt und es ging. liegt also an den zahlen. ich habe alles ausprobiert, was sqlite3 unterstützt. dies habe ich von hier: https://www.techonthenet.com/sqlite/datatypes.php .
hm, da ist guter rat teuer ...
von Perlchamp
Freitag 8. Mai 2020, 09:47
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?

hallo Sirius3,
danke für deine tipps, passt trotzdem nicht :-( :

cursor.execute("INSERT INTO edelmetallpreise (gold, palladium, datum) VALUES (?,?,?)",(gold_preis, palladium_preis, datum))
sqlite3.InterfaceError: Error binding parameter 0 - probably unsupported type.

ich ko::: gleich ...
ich ...
von Perlchamp
Freitag 8. Mai 2020, 04:54
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?


#!/usr/bin/env python3

import sqlite3, csv
from babel.numbers import parse_decimal
from datetime import datetime
from dateutil.parser import parse

# datenbank
TABLE_NAME = "edelmetallpreise"
DB_PATH = f"E:\\APPDATA\\Atom\\Python\\Data\\{TABLE_NAME}.db"
CONNECTION = None

#csv-datei
CSV_PATH = f ...
von Perlchamp
Donnerstag 7. Mai 2020, 15:33
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?


#!/usr/bin/env python3

import sqlite3, csv
from babel.numbers import parse_decimal

# datenbank
TABLE_NAME = "edelmetallpreise"
DB_PATH = f"E:\\APPDATA\\Atom\\Python\\Data\\{TABLE_NAME}.db"

#csv-datei
CSV_PATH = f"E:\\APPDATA\\Atom\\Python\\Data\\{TABLE_NAME}.csv"

def read_csv_file(file_path ...
von Perlchamp
Donnerstag 7. Mai 2020, 15:19
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?

vielen dank !

In der Tabelle fehlt ein Primärschlüssel und ein UNIQUE-Constraint für das Datum, sofern das nicht der Primärschlüssel ist. Ich würde aber einen künstlichen anlegen und das Datum UNIQUE machen.
Ist auch die Frage ob Gold und Palladium tatsächlich Spalten sind, oder nicht doch eher ...
von Perlchamp
Donnerstag 7. Mai 2020, 14:41
Forum: Allgemeine Fragen
Thema: ist das guter stil ?
Antworten: 33
Zugriffe: 5189

Re: ist das guter stil ?


#!/usr/bin/env python3

import sqlite3, csv
from babel.numbers import parse_decimal

# datenbank
TABLE_NAME = "edelmetallpreise"
DB_PATH = f"E:\\APPDATA\\Atom\\Python\\Data\\{TABLE_NAME}.db"

#csv-datei
CSV_PATH = f"E:\\APPDATA\\Atom\\Python\\Data\\{TABLE_NAME}.csv"

def read_csv_file(file_path ...