Temporäre Datenhaltung
Verfasst: Dienstag 18. März 2008, 08:23
Hallo,
ich bin gerade dabei ein Programm zur Auswertung von Messdaten zu erstellen. Die Messdaten liegen in Form von binären Textdateien vor und enthalten jeweils ca 300000 Messreihen mit jeweils 12Messpunkten.
Das Programm soll mehrere Messdateien lesen können, so dass man von einer Datensatzgröße >1Million ausgehen kann. Das Parsen der Dateien funktioniert soweit alles schon.
Meine Frage ist jetzt, welche temporäre Datenhaltung bietet sich an, um die Datensätze für eine grafische Darstellung und statistische Auswertung bereitzustellen?
Ich gehe derzeit von zwei Möglichkeiten aus:
1.) SQLite
Habe ich schon mal testweise implementiert. In anderen Threads im Forum habe ich schon gelesen, dass SQLite für große Datenmengen ungeeignet ist. Deshalb gehe ich davon aus, dass es für meine Zwecke nicht nutzbar ist.
Um die Performance zu testen, habe ich mal 300000 Datensätze in eine SQLite Tabelle eingefügt. Dies hat "unglaubliche" 38 Sekunden gedauert. Der besondere Charme bei dieser Variante wäre die schnelle Filterung der Daten im SQL Style
2.) Speichern der Daten in einer Liste
Hier wäre jetzt meine Frage, ist eine Liste geeignet, um Datensätze >1Million(>20MByte) temporär zu speichern?
Wäre über Infos dankbar
Danke george
ich bin gerade dabei ein Programm zur Auswertung von Messdaten zu erstellen. Die Messdaten liegen in Form von binären Textdateien vor und enthalten jeweils ca 300000 Messreihen mit jeweils 12Messpunkten.
Das Programm soll mehrere Messdateien lesen können, so dass man von einer Datensatzgröße >1Million ausgehen kann. Das Parsen der Dateien funktioniert soweit alles schon.
Meine Frage ist jetzt, welche temporäre Datenhaltung bietet sich an, um die Datensätze für eine grafische Darstellung und statistische Auswertung bereitzustellen?
Ich gehe derzeit von zwei Möglichkeiten aus:
1.) SQLite
Habe ich schon mal testweise implementiert. In anderen Threads im Forum habe ich schon gelesen, dass SQLite für große Datenmengen ungeeignet ist. Deshalb gehe ich davon aus, dass es für meine Zwecke nicht nutzbar ist.
Um die Performance zu testen, habe ich mal 300000 Datensätze in eine SQLite Tabelle eingefügt. Dies hat "unglaubliche" 38 Sekunden gedauert. Der besondere Charme bei dieser Variante wäre die schnelle Filterung der Daten im SQL Style
2.) Speichern der Daten in einer Liste
Hier wäre jetzt meine Frage, ist eine Liste geeignet, um Datensätze >1Million(>20MByte) temporär zu speichern?
Wäre über Infos dankbar
Danke george