Das deutsche Python-Forum

Hallo,

ich erzeuge ein dictionary mit etwa 5.000.000 Einträgen und möchte es (zB mit pickle) speichern, um es später wieder verwenden zu können. Die einzelnen Einträge sind eher kurz, z.B. (12, 34): (56, 78).

Wenn ich nun mein Object (in einer Liste mit ein paar integers) via speichere, dauert das gerne mal 'ne volle Stunde, das .dmp-file ist etwa 350MB groß. Ich brauche leider das gesamte dictionary für den nächsten Schritt. Daher meine Fragen:

Kann man bei pickle was 'falschmachen', z.b. zu tiefe Verschachtelung von Tupeln?
Gibt's für mein Problem bessere Alternativen (shelve scheint nicht geeignet)?

Danke und Beste Grüße, Tyrax

Hast du mal cPickle ausprobiert?

Nö, das werde ich jetzt mal machen. Danke schonmal. Tyrax

Musst Du das denn in einem separaten Script weiterverarbeiten? Wenn es Dir auf Zeitersparnis ankommt, könntest Du doch ggf. das ganze im RAM belassen und den "nächsten" Schritt einfach im selben Programm durchführen?

Ja, ich muss das leider trennen. Tyrax

Wäre vielleicht eine Datenbank(sqllite) angebracht?

Hallo,

bei der stattlichen Zahl von 5 Mio einträgen kann man in der Tat über eine DB nachdenken. In diesem Falle böte sich ein KV-Store an. Python hat ootb welche an Bord (keine Ahnung, wie schnell die sind), ansonsten ist Redis immer eine gute Wahl

Gruß, noisefloor

Danke fail und noisefloor, ich hatte auch schon einen thread zu einem ähnlichen Thema von SQLite und DBs gelesen. cPickle ist aber schonmal deutlich schneller als pickle und damit bin ich erstmal zufrieden.

Danke nochmal an EyDu. Grüße, Tyrax