Schleife für eine Fetchall-Statement

Installation und Anwendung von Datenbankschnittstellen wie SQLite, PostgreSQL, MariaDB/MySQL, der DB-API 2.0 und sonstigen Datenbanksystemen.
123GuteLaune
User
Beiträge: 27
Registriert: Mittwoch 2. November 2016, 22:35

@Sirius:

Meine Datengröße liegt bei 2-3 GB und bei Excel ist zwar erst bei 1 Mio Zeilen Schluss, aber ich brauche mindestens 240.000 Zeilen und über 4.000 Spalten und alleine bei meinen Probe-Daten (400.000 Zeile und 10 Spalten) ohne Berechnung wird Excel sehr langsam oder funtioniert nicht mehr. Meine realtionsbassierte Datenbank wird wahrscheinliche eher 10 GB groß sein, aber der Abruf der Daten ist schnell und es kann einfach in Excel nachbearbeitet werden.
Zusätzlich hab ich als anforderung das diese Erweiterung dieser Datenbank möglich sein muss und da sehr ich mehr als nur Schwarz für Excel. Besonders, wenn ich aus Excel auch noch Berechnungn durchführen will die in Python laufen, da wie gesagt Excel meine mathematischen Modell nicht kann.
123GuteLaune
User
Beiträge: 27
Registriert: Mittwoch 2. November 2016, 22:35

Nochmal alle deine Frage zu beantworten:

meine Inputdaten sind etwa Werte in Zellen 250 Mio -> Datengröße 7 GB in Datenbank oder Excel 2-3 GB
Neu berechnte Analyse-Daten in Zellenwerten ca. 100 Mio -> 2 GB in Datenbank
Die Analysedaten sind alle zwei dimensional da sie in meiner Datenbank gespeichert sind.
Ich werden über eine Abfrage in Access die Daten bestehen aus "Input" und "Analyse" ausgeben lassen und sie dann weiter auswerten in Excel.
Antworten