csv mit Separator-Zeichen im Einzeleintrag

[Thomas67]

Salve

ich bin neu hier und noch nicht sicher, wo ich dieses Thema posten soll

Ich lese in Python ein csv-File ein, welches Kommata als Spaltenseparatoren verwendet.
Das File lese ich zuerst mit .readlines und liefert einzelne Zeilen.
Diese Zeilen teile ich mit split auf
In der ersten Zeile bestimme ich die Spaltenköpfe und die gesuchten Spaltennummern.

Allerdings habe ich in manchen Zeilen Einträge, die in der Spalte auch ein Komma im Eintrag enthalten
Im Debugger werden diese Einträge mit Anführungszeichen angezeigt.
Die Split-Funktion ignoriert mir diese und teilt dies auf.

Beispiel
Zeile: 'Eintrag1,Eintrag2,"Eintrag3, 4",Eintrag5'
Beabsichtigte, gewünschte Aufteilung wäre ( die // zur Verdeutlichung )
Eintrag1 // Eintrag2 // Eintrag3, 4 // Eintrag5
Der Split liefert aber
'Eintrag1 // Eintrag2 // Eintrag3 // 4 // Eintrag5

Wie schaffe ich das, dass der dritte Spalteneintrag als "Eintrag3, 4" nach dem Split erhalten bleibt?

Danke
Thomas

[geraldfo]

Vielleicht hilfreich:
https://docs.python.org/3/library/csv.html

[noisefloor]

Hallo,

die Lösung ist: nicht selber machen, sondern das passende Modul verwenden, siehe vorheriger Beitrag. Da kannst du dem CSV Reader auch mitgeben, was der `separator` ist - nämlich bei dir das Komma - und was der `quotechar` ist - nämlich bei dir die Anführungszeichen.

Gruß, noisefloor

[Thomas67]

Danke
werde ich testen; hatte ich bisher nur am Rande gesehen, aber beim ersten Lesen immer ein paar Sachen gesehen, die mir da quer schossen, bswp. dass wohl alles per String kommt und manchmal mit umschlossenen Anführungszeichen.
Hat jemand einen Tip für aussagekräftigen Beispielcode?
Danke
thomas

[__blackjack__]

@Thomas67: Wenn Du die einzelnen Zeilen (= Zeichenketten) selber zerlegst, bekommst Du ja auch Zeichenketten. Und Anführungszeichen in einzelnen Zellen bekommt man nur wenn da auch tatsächlich Anführungszeichen drin sind. Bei Deinem Beispiel sind keine _in_ den Zellen:

Code: Alles auswählen

>>> next(csv.reader(io.StringIO('Eintrag1,Eintrag2,"Eintrag3, 4",Eintrag5', newline="")))
['Eintrag1', 'Eintrag2', 'Eintrag3, 4', 'Eintrag5']

Tipp für Beispielcode wäre die Dokumentation vom `csv`-Modul.

[Thomas67]

Danke!

[Thomas67]

Danke! Funktioniert..... aber wie erwartet bekomme ich nun alles als Text und muss numerische Werte halt entsprechend umwandeln. Aber ist bei csv an sich auch nicht anders zu erwarten...

[snafu]

@Thomas67:
Richtig, die einzelnen Felder muss man in die passenden Typen konvertieren. Je nach Programmierstil könnte man diese auch per zip() mit der Ausgabe des Readers kombinieren. Etwas mehr Komfort gibt einem die read_csv()-Funktion der pandas-Bibliothek mit dem dtype-Parameter. Dafür muss man natürlich pandas inkl. numpy installiert haben.

Falls dir Dezimalzahlen in deutscher Schreibweise vorliegen, kannst du das Komma und ggf. den Punkt als Tausendertrenner mittels replace() umwandeln oder atof() aus dem locale-Modul der Standardbibliothek verwenden. Für letzteres müssen aber vorab die Spracheinstellungen (setlocale) auf German eingestellt werden, sonst funktioniert die Umwandlung nicht.

EDIT: Pandas bietet einem auch convert_dtypes für eine automatische Umwandlung der Daten. Das funktioniert allerdings nicht mit den besagten deutschsprachigen Kommazahlen. Deine Angabe aus dem ersten Beitrag lässt entsprechende Vermutungen bei mir aufkommen...

[snafu]

Nachtrag: read_csv() bietet einem die Parameter thousands und decimal. Die kann man für deutsche Zahlen anpassen. Dann funktioniert auch convert_dtypes() auf Anhieb. Pandas (falls dir noch nicht bekannt) ist ne umfangreiche Bibliothek und wegen der der Numpy-Abhängigkeit auf manchen Systemen nicht ohne Weiteres verfügbar. Aber sie kann eben auch vieles.

[DeaD_EyE]

Nachtrag: read_csv() bietet einem die Parameter thousands und decimal.

Wo steht das in der Doku? Hab gerade danach gesucht und nichts gefunden.

[__blackjack__]

@DeaD_EyE: Das steht in der Dokumentation von der Funktion. Und zwar bis zurück zur Version 1.0, dass heisst die beiden Argumente gab es schon von Anfang an: pandas.read_csv()

[DeaD_EyE]

@DeaD_EyE: Das steht in der Dokumentation von der Funktion. Und zwar bis zurück zur Version 1.0, dass heisst die beiden Argumente gab es schon von Anfang an: pandas.read_csv()

Da kann ich in der Python-Doku lange suchen
Pandas ist für mich ein rotes Tuch.

[Thomas67]

Danke Euch
hab mit python grad erst vor 2-3 Wochen angefangen und bin noch in der Orientierung. s Meiste von Panda&co schopn gelesen oder gehört, aber nichts davon bisher bewertbar meinerseits