Das deutsche Python-Forum

Ich würde gerne die verwendete Datenbank verkleinern. Mein jetziger Ansatz läuft darauf hinaus, dass ich die Datenbank in einem temp. Verzeichnis entpacke, darauf arbeite und wieder via gzip zurückschreibe. Gibts da eine elegantere Lösung?

Datenbanken brauchen wahlfreien Zugriff, gzip aber ist ein Stream-Format. Das passt irgendwie nicht zusammen.

Für diejenigien, die es interessiert, meine Lösung:
Ich betreibe sqlite im In-Memory Modus und exportiere meinen Dump mit gzip.

Deine Datenbank ist so klein, dass sie in den knapp bemessenen Arbeitsspeicher passt, doch so groß, dass Du sie auf dem reichlich vorhandenen Festplattenspeicher komprimieren möchtest?! Was sind denn das für merkwürdige Rahmenbedingungen?

Dir muss auch klar sein, dass Du die sich eher geringe Verringerung des Speicherbedarfs mit möglicherweise deutlichen Leistungseinbußen erkaufst... u.a. gehen Die so sämtliche Indizes verloren.

Das bezweifle ich aber stark. Zum einem sollte das Einlesen der Datensätze effizienter sein, zum anderen dürfte der In-Memory Ansatz deutlich mehr Leistung bringen.

@darktrym: Wenn man sich wegen fehlender Indizes quadratische Laufzeiten einhandelt ist das eigentlich völlig egal wie schnell auf die Datensätze zugegriffen werden kann.

Steht das irgendwo?
Ich kann dazu keine Aussagen finden die das bestätigen, dass sich In-Memory deutlich vom Plattenbetrieb unterscheiden würden.

Dann hast du wahrscheinlich gar keine Indizes, insofern ist das dann auch egal. Deine Datenbank ist dann so oder so verhältnismäßig langsam.

Mithin kann sie auch nicht viele Datensätze enthalten, was mir die Kompression noch unverständlicher erscheinen lässt.