Die Zahlen wurden aus Mops exportiert.
Habe noch ein na_ Value gefunden und mit na_values=["#NAME?",'nan ','inf ']
hat es nun geklappt.

Sirius3 hat geschrieben: Donnerstag 4. Februar 2021, 21:04 Woher kommen denn die Zahlen? Warum gibt es da so unterschiedliche kaputte Zellen?

Danke dir, das klappt wunderbar !

Sirius3 hat geschrieben: Donnerstag 4. Februar 2021, 20:17 Eine Spalte ist gleich, wenn das Minimum gleich dem Maximum ist:

Code: Alles auswählen

column_with_one_value = df.max() == df.min()

Und damit kann man natürlich die Spalten filtern:

Code: Alles auswählen

df_filtered = df[df.columns[~column_with_one_value]]
[/quote]

NAbend,

ich habe ein dataframe mit ausschließlich Zahlen vorliegen.
Nun möchte ich Spalten mit nur einem Wert löschen.

Habe einen funktionierenden code geschrieben, der braucht jedoch sehr lange.
Ich habe auch gehört, dass man keine for schleifen nutzen sollte mit pandas.

Habt ihr vielleicht ...

Vielen Dank !

bei der Test.csv klappt es nun auch bei mir endlich.
Aber die große csv, zeigt immer noch fehler.
Ich denke mal, dass da einige na_Values sind welche mit ["#NAME?",'nan '] nicht abgefangen werden.
Besteht die Möglichkeit, dass die Funktion pd.read Werte, die nicht konvertiert ...

Vielleicht hilft das noch weiter, hier nochmal alles zusammengefasst.

Die Test.csv Datei sieht folgendermmaßen aus (aus Editor copy und paste):

A;B;C;D;E
0;0;nan ;0;0
0;0;nan ;0;0
0;0;nan ;0;0
0;0;99994,2;0;0
0;0;99976,7;0;0
0;0;99973,7;0;0
0;0;99973,2;0;0
0;0;99961,8;0;0
0;0;99958,5;0;0
118476 ...

Die erste Zelle , die den Fehler verursacht habe ich in dem Bild gelb markiert.

Bild: https://share.icloud.com/photos/0tBgFjYH6JD8AObJgduq-87zg

Als code habe ich nur die Zeile ausgeführt.

import pandas as pd

link = 'Test.csv'
dfx = pd.read_csv(link, sep=";", decimal=",", dtype=float, na ...

Verstehe nicht ganz, was du damit meinst.
Soll ich einen kleinen Ausschnitt aus meiner csv als csv hier posten ?

Sirius3 hat geschrieben: Donnerstag 4. Februar 2021, 16:54 Zeige ein Minimal lauffähiges Beispiel inklusive Inputdaten, damit wir das nachvollziehen können.

Wenn man for-Schleifen mit pandas kombiniert, macht man etwas falsch.
Und engine='python' sorgt auch dafür, dass das Einlesen mit 2 Minuten so extrem lange dauert.
read_csv hat für Deinen Fall schon das passende Argument.
[df = pd.read_csv(link, sep=";", decimal=",", dtype=float, na_values ...

Guten Tag,

Ich bin ein Python neuling, habt bitte erbarmen.

ich möchte eine csv einlesen mit 25_000 Zeilen und 1800 Spalten.
In dieser CSV sind:
- nur numerische Werte
- ein paar Zellen in der csv haben jedoch den Wert "#Name?"
- in der csv sind die Zahlen mit einem Komma getrennt und ...