@snafu: danke für den Tipp, habe es gerade implementiert. Hat die Einlesezeit um 15% verkürzt.
@jrech: klingt cool, werde ich noch testen.

Leider hat mein gestriger Versuch mit multiprocessing.pool() keinen Erfolg gebracht.

Danke,
rman

Danke für die Hinweise.

Gehofft habe ich dass ich irgendwo einen Gedankenschnitzer habe und mein Konzept im Ar*** ist.

Ich werde die eine oder andere Optimierung in Cython machen.

Hi danke für das Edit.

Das was pseudocode. Grob abgetippt.
Das csv Modul ist etwas langsamer als ein split(). Ich kenne meine Daten und weiss dass ein split() reicht.
Einträge wie:
a,"bla,bla,bla",c
habe ich nicht. Sonst könnte ich .split() nicht verwenden.
Mir ist gerade die Idee gekommen das ...

Danke sparrow.

Diese Idee habe ich anfangs verfolgt, alles schön im RAM verarbeitet und war begeistert. Jetzt wo ich mit den grossen Daten arbeite und der RAM nicht mehr reicht bin ich am verzweifeln.

Aber das Gespräch mit euch hilft mir weiter. Jetzt habe ich am Profiler entdeckt dass ein grosser ...

Hi,

Index ist vorhanden, ohne ist das Tool nicht mal am Wochenende durchgelaufen.

Mein Problem scheinen andere auch zu haben. Nur leider habe ich nichts gelesen in dieser Grössenordnung.
Alle haben entweder nur ein paar Einträge oder nur ganz wenige Spalten. Bei mir sind es etwa 460 Spalten und 5M ...

Hi Sirius3

die Datensätze sind alles Text, manchmal ist es ein True/False, manchmal eine 4 digit Zahl, manchmal bis zu 100 Characters pro Feld. Alles wird gebraucht.

Der entscheidene Parameter ist die uid.
JSON kenn ich nicht muss ich mir anschauen.Danke für den Tipp.

Das Zusammensetzen ist mein ...

Erstmal danke.

Mein Tool liesst die Daten erst ein und verarbeitet diese im zweiten Schritt.
Das Einlesen hat Verbesserungspotential. Euren Tipps folgend habe ich entdeckt dass meine Verarbeitungsroutinen für 75% der Laufzeit verantwortlich sind. Da ist noch einiges an Potential drin.

Der zweite ...

Hi Leute,

ich habe ein Tool fertig welches ca. 9 GB Daten verarbeiten muss (12GB in naher Zukunft).
Momentan benutze ich sqlite3. Ob der lahmen Geschwindigkeit versuche ich permanent zu optimieren und komme langsam an meine Wissensgrenzen. Langsam zweifle ich ob die Designentscheidung sqlite3 zu ...