csv-datei in numpy-array mit unterschiedlichen datentypen pro spalte

[kussji]

Hallo
Ich packe eine CSV-Datei in ein numpy-array.

Der folgende Code macht dabei alles float.
Gibt es die Möglichkeit die ersten beiden csv-Werte als int32 und der letzte Wert float32?

data.csv
256945 1365856 1595.23
267894 1348952 1689.14

Code: Alles auswählen

with open(data.csv,'r') as dest_f:
    data_iter = csv.reader(dest_f, delimiter = ' ')
    data = [data for data in data_iter]

dt = np.dtype(np.float32)
data_array = np.asarray(data, dtype = dt)

[__blackjack__]

@kussji: Warum benutzt Du nicht `numpy` zum Einlesen der CSV-Datei? Da suchst Du `recfromtxt()`.

Die „list comprehension“ macht ja nicht wirklich etwas, das wäre einfacher ``data = list(data_iter)`` oder ohne den Namen für das Zwischenergebnis: ``data = list(csv.reader(dest_f, delimiter=" "))``.

Was ist denn der Gedanke hinter dem Namen `dest_f`? Das scheint mir falsch zu sein.

[kussji]

Hallo Danke für die Antwort.

Funktion kannte ich nicht - Danke. Wenn ich ehrlich bin, obiger Code ist aus dem Netz kopiert. Name "dest_f" hat mich auch etwas verwundert.

Also probiere ich es so:

Code: Alles auswählen

data = np.genfromtxt(fileName, dtype=[('s1','i4'),('s2','i4'),('s3','f4')], delimiter=" ")

Wäre zwar das was ich suche - nur: Meine Datei die ich einlese hat über 10Mio. Zeilen.mit der Funktion "genfromtxt()" dauert das einlesen ca. 4 Minuten.
Mit meinem erst geposteten Code dauert es nur etwa 30 Sekunden - aber eben, nicht das richtige Format. Darum bin ich noch nicht glücklich

Jemand eine gute Idee?

[Sirius3]

Dann lies halt erst alles als floats und wandle das danach um.