Das deutsche Python-Forum

Code: Alles auswählen

Traceback (most recent call last):
  File "C:\Python_Skripte\paper_add_name.py", line 20, in <module>
    for row in reader:         #schleife für jede zeile
Error: field larger than field limit (131072)

Code: Alles auswählen

# -*- coding: utf-8 -*-
#Das Skript schreibt alle Zeilen aus allen Dateien eines Ordner in eine großes Datei und hängt den Datennamen hinten dran (4 Zellen)
import csv, os, sys

# relevanter Pfad mit Dateien
pfad = 'C:/papererweiterung/'

# Pfad zu den txt/csv Dateien 'Pfad'
liste_dateiname = os.listdir(pfad)

liste = [] #erstellt eine leeres Array
gesamte_datei = open('C:/papererweiterung1/New400Liste.csv', "wb")  #öffne die gesamte Datei
for dateiname in liste_dateiname:   # für jedes Element der Variable path 
        
    with open(os.path.join(pfad, dateiname), "rb") as f: #öffnet die jeweilige datei
        reader = csv.reader(f, delimiter="\t") #liest die zeilen aus, tabstop getrennt
        next(reader) #überspringt jeweils die erste zeile 
        #new_datei = open(os.path.join(pfad, dateiname) + "_new","w")
        #print (liste) #testausgabe        
        for row in reader:         #schleife für jede zeile   
            row.append(dateiname)#schreibt in jede zeile hinten den vollen dateinamen dran
            #del row[58]
            compid, nummer, _, subname = dateiname.split("#") #"splittet" den namen mit der Trennung "#"
            row.extend([compid, nummer, subname])#setzt den geteilten Dateinamen in die letzten drei Spalten
            liste.append(row) #schreibt die zeilen in die liste
writer = csv.writer(gesamte_datei,  delimiter = "\t")#gibt die liste weiter an die gesamte datei
writer.writerows(liste)#Zgibt die liste weiter an die gesamte datei

Code: Alles auswählen

quoting=csv.QUOTE_NONE

Code: Alles auswählen

print(len(row[22]),dateiname)

Code: Alles auswählen

for row in reader:         #schleife für jede zeile
            if summe(len(row[0])...len(row[63])) < 130000: #das in richtig
                row.append(dateiname)#schreibt in jede zeile hinten den vollen dateinamen dran
                compid, nummer, _, subname = dateiname.split("#") #"splittet" den namen mit der Trennung "#"
                row.extend([compid, nummer, subname])#setzt den geteilten Dateinamen in die letzten drei Spalten
                liste.append(row) #schreibt die zeilen in die liste
            else:
            gehe zu row+1 # und #das in richtig
            print(dateiname)

Code: Alles auswählen

csv.field_size_limit(500000)

Code: Alles auswählen

with open(os.path.join(pfad, dateiname), "rb") as f: #öffnet die jeweilige datei
        reader = csv.reader(f, delimiter="\t") #liest die zeilen aus, tabstop getrennt
        next(reader) #überspringt jeweils die erste zeile 
        
        for row in reader:   #schleife für jede zeile
            for i in range (0, 60,1):
                if len(row[i])> 131072:
                   print("STOP:" ,dateiname, "in Zeile: ROW","Element:", i)
                

Code: Alles auswählen

for nr, row in enumerate(reader):
    ...

Code: Alles auswählen

csv.field_size_limit(250000) #131072
[....]
readerzahl = 0
        for row in reader:   #schleife für jede zeile
            readerzahl += 1
            for i in range (0, 60, 1):
                if len(row[i]) > 100000:
                    print("Name:",dateiname,"Zeile:",readerzahl+1, "Element:",i+1,"Laenge:", len(row[i]))
 
Wenn ich ein wenig runtergehe, dann bspw. auf ">100000" dann finde auch auch die Felder wo zu (für mich) zu viel Inhalt ist.
Also klappt alles ganz gut :)
Danke