[Konzept-Frage] Größere Datenmenge in Diagramm auswerten

[Dennis89]

Hallo zusammen,

ich habe eine grundsätzliche Frage/Anliegen.
Auf längere Sicht gesehen benötigen wir hier ein Programm, das Daten aus einer CSV-Datei in einem Diagramm darstellt. Soweit ist das erst mal kein Problem mit `matplotlib` und meinen Python-Kenntnissen. Die Datei enthält Daten von mehreren Sensoren (Druck, Temperatur, Volumenstrom), es sollten mehrere Werte in dem Diagramm dargestellt werden und wenn nötig mit entsprechender Y-Achse. Der Zeitbereich bleibt ja gleich, da zu einem Zeitpunkt alle Sensorwerte geschrieben werden. Auch das habe ich mit `matplotlib` hinbekommen. Auch das Zoomen "in" das Diagramm geht gut.
Jetzt kommen wir endlich zum "aber". Die größte Datei, die ich eingelesen habe, hatte ~190MB und das war schon zäh, wenn ich dann noch mehrere Daten in einem Diagramm anzeigen wollte, musste man schon etwas warten. An der Stelle kann man den Fehler sicherlich auch noch bei mir suchen und das Ganze so programmieren, das es schneller geht. Es ist nur so, dass die Datei auf jeden Fall wesentlich größer wird und das Programm sollte flüssig laufen.

Sagen wir mal es geht um eine Datenmenge von 10 GB. Bin ich hier mit Python und `matplotlib` noch richtig aufgehoben? Es ist jetzt kein muss, dass ich das umsetzen kann. Erst mal geht es mir darum, wenn ihr das beruflich als Auftrag machen müsstet, wie würdet ihr vorgehen? Bzw. was würdet ihr an Programmiersprache und Bibliotheken nutzen? Ob das in einem Browser oder als normale GUI-Anwendung läuft ist egal, je nach dem was für den Fall "besser" geeignet ist.

Ich muss mich auch mal noch über fertige Lösungen schlau machen, aber wie immer bin ich schon aus persönlicher Interesse daran interessiert, wie man sowas richtig und robust umsetzt, daher meine Frage an euch.


Vielen Dank und Grüße
Dennis

P.S. Es soll nicht Thema sein, wie ich meinen Code verbessere. Wenn ihr sagt, zu 100% ist hier Python die aller erste Wahl, dann wird es ziemlich sicher in naher Zukunft ein Thema geben, in dem ich euch die Probleme mit meinem Code vorstelle.

[sparrow]

Mein erster Impuls bei der Datenmenge ist eher, ob da noch eine .CSV-Datei die richtige Wahl ist.
Es gibt Datenbanken, die sich auf so etwas spezialisiert haben. Und wenn die Datenbank die Aggregation vornimmt, wäre das Nadelöhr schon einmal weg.

[Dennis89]

Danke für die Antwort.
Als Info, die ich vergessen habe, aktuell schreibt uns eine SPS die Daten auf eine SD-Karte und da habe ich bis jetzt das CSV-Format gewählt. Vorhin habe ich ein Dokument von Siemens gefunden, dass die Daten wohl auch in eine SQL-Datenbank geschrieben werden können. Für die Details zur Umsetzung bin ich aber noch nicht gekommen. Die Datenbank müsste dann halt, falls es zu einem produktiven Einsatz kommt, von der SPS auf einen PC geclont werden, damit dort die Auswertung stattfinden kann. Viele Kunden erlauben nicht, dass irgendwelche Geräte Verbindung zum Internet hat.

Das mit der Speicherung sind gerade alles noch Versuche, davon ist nichts im produktiven Einsatz. Wegen Personalmangel versuche ich mich immer mal wieder etwas da einzuarbeiten und schauen was es für Möglichkeiten gibt.


Grüße
Dennis

[Sirius3]

Wie immer gilt, bei Performance-Problemen: zuerst Messen. Also wo geht wirklich die Zeit verloren? Eine 190MB-csv-Datei ist mit pandas in Bruchteilen einer Sekunde gelesen.

[grubenfox]

Wenn ihr sagt, zu 100% ist hier Python die aller erste Wahl

Dazu sage ich jetzt nichts , ... aber nur mal aus Neugier (und weil ich nicht weiß wie kompatibel das ist) würde mich mal interessieren was passiert wenn man zum ausführen des Python-programmes nicht das übliche CPython (das wurde doch genommen, oder?) nutzt,, sondern es von PyPy (https://pypy.org/) ausführen lässt.

Ich habe bisher PyPy nur einmal mit einem kleinem Programm, welches in ein paar Schleifen für sich in rechnet, ausprobiert und war doch etwas überrascht.

Ansonsten wie schon Sirus3 hier drüber schrieb: Messen, Messen, Messen... (ich würde da auch mal mit einer anderen zweite SD-Karte messen und eben auch auf einem 'richtigen' PC. SD-Karten traue ich da so manches zu (meistens nicht positives) und wenn die Karte schon eine längere Zeit in der SPS steckte und dauerhaft immer mit den aktuellen Daten beschrieben wurde, dann ist sie vielleicht schon etwas ausgeleiert..

[nezzcarth]

Sagen wir mal es geht um eine Datenmenge von 10 GB. Bin ich hier mit Python und `matplotlib` noch richtig aufgehoben? Es ist jetzt kein muss, dass ich das umsetzen kann. Erst mal geht es mir darum, wenn ihr das beruflich als Auftrag machen müsstet, wie würdet ihr vorgehen?

Auch wenn ich Python sehr mag und nicht behaupten möchte, dass es mit Python nicht geht, würde ich solche Aufgaben erst einmal mit Gnuplot angehen. Ist natürlich auch Geschmackssache, aber das ist m.M.m. das klassische Standardwerkzeug für das Erzeugen von Diagrammen und macht auch bei großen Datenmengen keine Probleme, vorausgesetzt natürlich die Hardware spielt mit. Allerdings: 10 GB an Messdaten dürften in den allermeisten Fällen so immens viele Messpunkte sein, dass eine 1:1 Darstellung der kompletten Daten praktisch eh wenig sinnvoll ist, egal, selbst wenn die Software das mitmacht. Bei solchen Datenmengen würde man daher filtern/splitten/aggregieren/gruppieren/usw. Das kann man dann auch gerne in Python machen; Sprachmittel wie Generatoren erlauben, so etwas elegant und RAM-freundlich umzusetzen. (Wobei ich persönlich für so etwas auch gerne zu awk greife).

[Dennis89]

Danke für eure weiteren Antworten.

@Sirius3 Messen würde oder werde ich machen, wenn ich mich dazu entscheide meinen aktuellen Python-Versuch in ein fertiges Programm umzusetzen. Gerade geht es mir darum, das ich nicht durch Unwissenheit einen falschen Weg gehe um später zu merken, das ich nicht richtig vorbereitet war. Deswegen speziell die Frage wie ihr vorgehen würdet, bzw. was ihr nutzen würdet. Wenn ich dann trotz aller Warnungen einen falschen Weg gehe, dann bin "gescheitert wegen Dummheit" und nicht "gescheitert wegen zu faul zum vorbereiten".

@grubenfox Ja das wurde mit CPython ausgeführt, ich habe noch nie etwas anderes genutzt. Die Daten werden auf einer SD-Karte gespeichert, aber ich kopiere die Datei lokal auf den PC und von dort aus lese ich die dann erst. Da das unsere ersten Versuche in die Richtung sind, ist die Karte auch noch relativ neu.

@nezzcarth Irgendwann war ich schon mal auf der Webseite, zumindest kommt sie mir bekannt vor. Genutzt habe ich das aber nie, schaue ich mir auf jeden Fall an.
Es muss natürlich nicht sein, dass man die gesamte Aufnahmezeit auf einmal sieht. Zumindest nach Tagen sollte man die Daten zusammen fassen und dann mit der Option in gewünschte Zeitbereiche zu zoomen um die detaillierter zu sehen. Ist das mit `awk` einfach ein persönlicher Grund? So lese ich es zu mindest.


Grüße
Dennis

[nezzcarth]

Ist das mit `awk` einfach ein persönlicher Grund? So lese ich es zu mindest.

Na ja, das ist halt unter anderem genau dafür gedacht, Text-Datenströme anhand von Mustern zu verarbeiten, in dem man für Muster Aktionen definiert. Also zum Beispiel Messwerte rausfiltern, die in einem bestimmten Wertebereich und Zeitrahmen liegen etc. Wenn man das ein bisschen kennt, lassen sich damit auf der Shell in kurzer Zeit Aufgaben lösen, für die man sonst in Python vielleicht deutlich länger brauchen würde. Dafür ist die Python-Lösung mit Generatoren usw. im Zweifelsfall natürlich robuster. Es kann schon oft ein sehr gutes Werkzeug für solche Aufgaben sein (insb., wenn man es schon kennt und mit anderen gängigen UNIX-Tools verbindet), aber nicht das einzige; wenn man solche Workflows mag, kann es sich anbieten, es ist also "persönlich" in dem Sinne.

[Dennis89]

Okay danke für die Erklärung, das habe ich soweit verstanden.


Grüße
Dennis

[Dennis89]

Hallo,

ich melde mich hier mal wieder zurück, da ich das Problem etwas verdrängt hatte und es jetzt wieder aufgetaucht ist.

Wie immer gilt, bei Performance-Problemen: zuerst Messen. Also wo geht wirklich die Zeit verloren? Eine 190MB-csv-Datei ist mit pandas in Bruchteilen einer Sekunde gelesen.

Ich habe eine *.csv - Datei, mit einer Größe von 1,19GB laut Windows-Eigenschaften. Das Einlesen mit

Code: Alles auswählen

pd.read_csv(
    file,
    on_bad_lones="skip",
    date_format="ISO8601",
    sep=","
)

benötigt 6,9 Sekunden. Gemessen mit `time.process_time()`. Ist das eine angemessene Zeit? Ich habe keine Erfahrungswerte und kann nicht sagen, ob das normal ist oder ob das unüblich lange geht und kann daher schlecht den Flaschenhals ausfindig machen.

`on_bad_lines` wird benötigt, sonst steigt der Parser aus. Ich weiß nicht ob die Datei schon mal mit Excel offen war, habe nur im Netz den Hinweis gefunden, dass das zu Probleme führen könnte.

`GNUPlot` habe ich mir auch angeschaut und steht auch noch zur Option. Da es jetzt doch mal wieder etwas eilt, würde ich erst mal schauen ob ich mit der "gewohnten" Umgebung klar komme.


Danke und Grüße
Dennis

Edit: Etwas mehr Kontext, evtl ist das hilfreich. Die Datei besitzt je Datenpunkt einen Zeitstempel und der Zeitraum kann sich über Tage bewegen. Ich will nicht alle Daten auf einmal anzeigen, sondern vor dem anzeigen soll ein Tag ausgewählt werden und nur die Daten dieses Tages sollen in einem Diagramm sichtbar sein. Ich weiß nicht ob es möglich ist, das man erst nur das Datum liest und danach nur den entsprechenden Datensatz. Ich stelle mir das schwer/nicht möglich vor, aber meine Vorstellung hat mich in der Hinsicht schon öfters getäsucht.

[DeaD_EyE]

Wenn eine SPS die Sensordaten erfasst, dann habt ihr doch sicherlich auch HMIs. Die HMIs können Daten archivieren und diese auch als Diagramm ausgeben. Das wäre dann eine Lösung ohne zusätzlichen PC, dass ein Programm ausführen muss.

InfluxDB wäre noch eine Überlegung wert. Wenn man mit Matplotlib einen Graphen generiert, werden alle Datenpunkte gezeichnet. InfluxDB macht das nicht. Dort werden mehrere Daten von einem Zeitraum zusammengefasst und dann wird dafür nur ein Punkt ausgeben. Soweit ich weiß, arbeitet InfluxDB mit Fenster-Funktionen, um die Daten zu glätten.

Theoretisch könnte die SPS die Daten via HTTP in die InfluxDB schaufeln.

[Dennis89]

Danke für die Antwort.

Das HMI archiviert die Daten auch auf einer SD-Karte. Wir haben eine Visualisierung die uns den Ist-Zustand anzeigt. Die Auswertung die ich hier benötige und umsetzen will ist bei einem ungeplanten Stillstand/Defekt/... sehr hilfreich. Da die Daten Rückschlüsse auf die Ereignisse geben können bzw. man kann eventuelles Verschleißverhalten ableiten oder ähnliches.
Wir "müssen" vorerst mit der SD-Karte und der *.csv - Datei arbeiten. Falls das gravierende, belegbare Nachteile liefert, kann ich das für unseren nächsten Testlauf ändern. Nur für den jetzt anstehenden geht das nicht mehr.

Grüße
Dennis

[kbr]

Ohne die Problemdomäne zu kennen: csv Daten sind üblicherweise tabellarische Daten und auf einer SD Karte auf Dauer schlecht aufgehoben. Womöglich könnte es sinnvoll sein diese zu aggregieren und im hdf5 Format abzulegen (pytables). Dieses Format ist für große Datenmengen ausgelegt. Vielleicht könnte das für euch interessant sein.

[Dennis89]

Danke für die Antwort.
Darüber werde ich mich mal informieren. Ich weiß auswendig nicht was Siemens da an Formate zulässt, ich weiß nur noch dass eine übliche SD-Karte nicht gelesen wurde und es speziell diese von Siemens sein musste. Ob und wie empfindlich die Schreibvorgänge für die Daten/Karte ist, weiß ich natürlich auch nicht. Für den produktiven Einsatz gibt es da schöne Lösungen von anderen Anbieter und wie schon erwähnt könnte man die sicherlich auch selbst noch wo anders ablegen. Leider haben wir recht wenig Kapazität um sich damit ausführlicher beschäftigen bzw. es zieht sich halt lange bis man von der ersten Lösung zu etwas gutem kommt.

Grüße
Dennis

[Sirius3]

@Dennis89: wenn Du direkt von der SD-Karte mit 200MB/s liest, dann dauert das bei 1.2GB ja alleine schon 6 Sekunden. Der Flaschenhals ist also die SD-Karte. Ob das ein Problem ist, mußt Du selbst sagen. Für einmal lesen wäre das für mich Ok. Wenn ich performant auf Ausschnitte der Daten zugreifen möchte, würde ich eine Time-Series-Datenbank verwenden.

[Dennis89]

Danke für die Antwort.

Da gibt es ein Missverständnis. Die Datei liegt dann lokal auf dem PC und dann lese ich sie mit `pandas` und benötige dafür die ~6.9 Sekunden. Das wäre schön, wenn man ohne Aussetzer, ruckeln oder sonstiges schön auf Ausschnitte der Daten zugreifen könnte.
Wenn ich dafür die Daten in eine Datenbank laden muss, würde das ein paar "Probleme" mit sich bringen. Wir haben einen Linux-Rechner, auf diesem könnte ich eine Datenbank einrichten, dann müsste ich aber die Abfrage der Daten über eine Webanwendung gestalten, damit das jeder machen kann und ebenso müsste ich die Möglichkeit schaffen, dass der der die SD-Karte hat, die neuen Daten in die Datenbank einspielen kann. Ich will nicht, dass das nur ich mich kann. Hm gibt es dazu Anregungen? Eine GUI die sich mit dem Linux-Rechner und damit der Datenbank verbindet wäre auch noch eine Option. Hätte für mich den Vorteil das ich bei `matplotlib` bleiben kann. Habe zwar gesehen das man mit GNUPlot uns SVG die Daten auf einer Webseite darstellen kann, bin aber noch nicht so ganz durchgestiegen.

Grüße
Dennis

[snafu]

@Dennis89:
Hast du viele ungenutzte Spalten in deinen CSV-Daten? Dann könntest du mit dem ``usecols``-Parameter die Spalten auf bestimmte Namen bzw. Indexwerte eingrenzen.

Die Doku sagt dazu:

(...) For example, a valid list-like usecols parameter would be [0, 1, 2] or ['foo', 'bar', 'baz'].
(...) Using this parameter results in much faster parsing time and lower memory usage.

Auch ``engine="c"`` macht das Parsen schneller. Wobei dies, soweit ich weiß, schon die Standardeinstellung ist. Da müsstet du mal ausprobieren, ob sich etwas an der Performance verändert, wenn du den Parameter explizit setzt.

[Dennis89]

Guten Morgen und danke.

Ich habe keine ungenutzten Spalten.

Ich bin jetzt noch auf `dask` aufmerksam geworden. Das reduziert die Zeit auf 0.016 Sekunden. Ich schaue mal wie sich der Rest, also die Darstellung der Daten damit verhält. Es "fühlt" sich irgendwie nicht so wirklich nach einer Lösung an. So vom Bauchgefühl


Grüße
Dennis

[Dennis89]

Hallo,

ich werde mal `Prometheus` evtl. in Verbindung mit `Grafana` versuchen und ein Skript vorschalten, dass die *.csv in die Datenbank einliest. Falls dass aus irgendwelchen Gründen eine dumme Idee ist, lasst es mich bitte wissen.


Danke und Grüße
Dennis

[grubenfox]

Ach, schade... ich hatte auf zukünftige Erfahrungsberichte zu `dask` gehofft. Die Webseite liest sich ja ganz nett. Ich glaube ich würde es vielleicht gerne einsetzen, aber mir fehlen dafür irgendwie die passenden Problemfälle.