csv-Datei mit Numpy verarbeiten

mit matplotlib, NumPy, pandas, SciPy, SymPy und weiteren mathematischen Programmbibliotheken.
Antworten
takual
User
Beiträge: 1
Registriert: Dienstag 4. Oktober 2022, 17:12

Hallo Zusammen,

Ich versuche gerade eine ziemlich große csv-Datei zu verarbeiten über Python mit Numpy.
Quäle mit grade durch den Prozess der Datenaufnahme in Python. Hatte die Variante mit Loadtxt versucht.
Die CSV hat ungefähr 380.000 Datensätze. Leider bringt mir die Ausgabe immer nur die ersten sechs Zeilen.
Eine Verkürzung der Datei auf 100 Datensätze ändert auch nichts. Wenn ich maxrow auf 100 setze, bringt er mir zehn Zeilen. Ist für mich grade etwas unlogisch.
Wo ist der Fehler? Der Header umfasst 9 Spalten.

import numpy as np
my_array = np.loadtxt('hier steht der Dateiname', delimiter=',', dtype=str,)
print(my_array)


Die Variante mit DictReader bringt den richtigen Output. Mir geht es jedoch um die mathematische Auswertung über Numpy. Deswegen hätte ich auch gerne die erste Variante.
import csv
f = open('Dateiname', newline='')
price_csv = csv.DictReader(f, delimiter=',')
my_array = list(price_csv)
print(my_array)
Benutzeravatar
__blackjack__
User
Beiträge: 13004
Registriert: Samstag 2. Juni 2018, 10:21
Wohnort: 127.0.0.1
Kontaktdaten:

@takual: Der Fehler ist in Deiner Annahme das man das mit `print()` irgendwie sinnvoll ausgeben können muss. Das macht halt keinen Sinn sich da über eine viertelmillion Datensätze mit `print()` irgend wo hinzukippen, das kann eh kein Mensch lesen/erfassen.

Wenn es um eine mathematische Auswertung geht, warum ist der `dtype` dann `str`?
“Most people find the concept of programming obvious, but the doing impossible.” — Alan J. Perlis
Antworten