Studentische Arbeit mit Python - Hilfe benötigt

[LeviAckermann]

Hey Liebe Community,

für meine letzte Prüfungsleistung muss ich eine Hausarbeit schreiben, in welcher ich programmieren muss. Während des Studiums hatte ich das ein oder andere Mal schon den Kontakt zur Programmierung (C,C++, Matlab). Nun besteht meine Aufgabe darin mit Python (vorgegeben Software bzw. Entwicklungsumgebung: Spyder) ein Programm zu schreiben welches Daten aus einer .txt in eine Excel Datei überträgt und "bearbeitet". Abschließend sollen die Ergebnisse der Messreihen visualisiert werden.

Ich habe in etwa 100000+ Messdaten, welche verarbeitet werden müssen. Die Messdaten sind Messungen, welche tagelang ca. über einen Monat gemessen worden sind. Meine Aufgabe ist es, die Messungen den richtigen Betriebspunkten zuzuordnen und dann erstmal zu Mitteln. Man muss sich das so vorstellen: Einen ganzen Tag wurden Messwerte gespeichert, aber nicht alle sind relevant. Es gibt Betriebspunkte, die eine Zeitspanne von 10 Minuten haben, die ich auswerten muss. Die anderen Messungen sind nicht relevant, da diese das "Vorheizen" der Anlage beschreiben. Die Betriebspunkte liegen vor (also ich weiß bspw. das ein Betriebspunkt am 23.12.21 von 11:45 Uhr bis 11:55 Uhr vorhanden ist. Hierfür muss ich jetzt aus der .txt Datei vom 23.12.21 die Messwerte dem Betriebspunkt zuordnen und eine eigene Excel Tabelle erstellen, die einmal die Werte aus der .txt Datei auflistet und die Messwerte mittelt --> Das muss ich für sehr sehr viele Betriebspunkte machen... Es ist eine Art "Säuberungs- und Bearbeitungsaufgabe"). Meine erste Aufgabe ist es, für jeden Betriebspunkt eine Excel Tabelle zu erstellen, in welcher die gemessenen Werte (50 Messwerte sind relevant) einmal dargestellt werden und im nächsten Schritt gemittelt werden (bspw. wurde eine Temperatur über 10 Minuten gemessen und die muss gemittelt werden). in der .txt Datei sind Messungen eines ganzen Tages und von denen gibt es halt ca. 30 Stück, in allen 30. .txt-Datein sind bestimmt weit über 100.000 Messungen). Man kann das natürlich auch händisch machen, indem man die Messdaten in Excel einliest und dann über VBA bzw. Excel an sich die Daten auswertet. Da ich allerdings über 100.000 Messungen habe, würde das zu lange dauern und den Sinn dieser Arbeit verfehlen. Ich bin jetzt soweit, dass ich die erste .txt Datei für den ersten Betriebspunkt in eine Excel Tabelle eingelesen habe und nun theoretisch anfangen könnte ein Skript zu schreiben, was den weiteren Vorgang automatisiert. Da ich keinerlei Erfahrung mit Python habe und nicht weiß wie ich anfangen soll, brauche ich Hilfe.
Beim einlesen habe ich immer wieder gelesen, dass es verschiedene Bibliotheken gibt, mit welchen man auf Excel-Daten zugreifen kann. Allerdings hat das Einlesen bei mir nicht funktioniert, weswegen ich nicht voran komme. Wie gehe ich am besten vor? Ich bin leider echt nicht begabt im Programmieren, weswegen ich vor einer großen Herausforderung stehe.

Vielen Dank im Voraus und bleibt gesund.

Liebe Grüße LeviAckermann^^

[__deets__]

Wenn du txt-Dateien hast, und die in Excel einlesen konntest, dann werden die im CSV-Format vorliegen. Statt mit Excel solltest du damit einfach direkt arbeiten. Und die dazu beliebteste und bequemste Bibliothek ist das pandas-Modul. Damit solltest du anfangen dich zu beschaeftigen. Wenn du da auf Probleme triffst, kannst du dich natuerlich gerne hier melden. Dazu bitte den genutzten Code, die Daten (wenn noetig nur einen Auschnitt, der das Problem illustriert, und ggf. anonymisiert, wenn das wichtig ist), sowie eventuelle Fehlermeldungen etc. zeigen. Dabei die hier angebotenen Code-Tags (</> im vollstaendigen Editor) nutzen, sonst ist der Code nicht zu entziffern.

[LeviAckermann]

Hey, vielen Dank für die schnelle Antwort.

Leider muss ich mit Excel arbeiten. Der Professor hat mir folgende Arbeitsschritte auf gegeben:
1) Aus txt-Datei (jeweils nur diejenigen, die auch in der Liste der relevanten Betriebspunkte auftauchen) eine Excel-Tabelle mit allen Rohdaten erstellen (Nomenklatur: 2021-12-002_raw.xlsx )
2) Data reduction:
Rohdaten reduziert auf relevante Betriebspunkte. Jeweils einen Betriebspunkt (entsprechendes 10minütiges Zeitfenster) aus Rohdaten extrahieren und in eine neue Excel-Tabelle einfügen als ein Tabellensheet. Betriebspunkte eines Tages zusammenfassen in einer Excel-Datei. Nächster Messtag mit Betriebspunkten in neue Datei
3) Mittelwertbildung in entsprechendem Tabellenblatt des reduzierten Betriebspunkte aufführen
4)Erstellung einer MIttelwert-Excel-Datei

die fordern für ihr Institut Excel Tabellen.

Es muss somit ein Programm geschrieben werden, welches auf die txt.Datei liest (hier sind nur die ersten zwei Spalten relevant, da dort die relevanten Uhrzeiten zu finden sind. Mit den gelesenen Daten soll das Programm dann eine Excel Tabelle erstellen, die die gesammelten Rohdaten auflistet . Daran anknüpfend sollen die Daten (in einer eigenen Excel Tabelle) reduziert dargestellt werden (hier wird die Rohdatei auf die Betriebspunkte reduziert). Anschließend soll das Programm dann für jeden Tag eine Excel Datei erstellen, die alle Betriebspunkte des Tages darstellt und Messdaten mittelt (Mittelwerte) und die Standardabweichung berechnen.
Gibt es neben dem Tipp Pandas zu benutzen noch mehr Tipps? vielleicht gibt es schon fertige Codes, die sich mit dieser Thematik auseinandersetzen. Mir fällt es zurzeit noch schwer in das Thema "rein zu kommen".

[Sirius3]

Ja, der fertige Code nennt sich `pandas`. Damit ist jeder der von Dir beschriebenen Punkte mit 4-5 Zeilen Code umgesetzt.
Das Pandas-Tutorial beschreibt alle diese Fälle.

[ThomasL]

Schaust du hier: https://pandas.pydata.org/

und hier: https://data-flair.training/blogs/pytho ... -tutorial/

[LeviAckermann]

Vielen Dank für die Antworten