ich habe folgenden Sachverhalt:
Einen Referenz-Datenframe über z.B. 5 Spalten und 5 Zeilen
Einen Vergleichs-Datenframe mit denselben Dimensionen, jedoch hier z.B. die komplette erste Zeile sowie die dritte Spalte maskiert. Wenn Daten maskiert im Datenframe auftreten, dann immer komplett über eine Zeile oder eine Spalte bzw. mehrere.
Ich möchte mittels Linearer Regression die Veränderung der Steigung je Zeile von Vergleichsmessung zu REF-Messung ermitteln und anschließend grafisch darstellen. Ich weiß wie ich das Prozedere mit der Linearen Regression und den Graphen umsetzen muss.
Mein Problem:
Es muss sichergestellt werden, dass ich Zeile 1 von REF ebenfalls mit Zeile 1 aus der Vergleichsmessung vergleiche. Das Ganze fortfolgend. Hier habe ich das Problem mit den teilweise maskierten Datenframe. Wie kann ich nur die relevanten Daten aus der Vergleichsmessung heranzuziehen und gleichzeitig den richtigen Bezug zu den REF-Daten erhalten?
Mir würde ein Weg einfallen, dies umzusetzen mit einer Schleife über die Zeile der Daten der Vergleichsmessung und die lineare Regression nur zu berechnen, wenn wirklich Daten vorliegen und nicht NaN. Dies ist jedoch auf Grund der sehr großen Menge an Daten nicht zielführend. Zudem würde ich hier noch eine zusätzliche Schleife benötigen um alle maskierten Spalten der Vergleichsmessungen ebenfalls aus der REF-Messung herauszunehmen
Habt Ihr hier Ideen für mich? Bin über jede Hilfe dankbar

Code: Alles auswählen
# for k in range(0, test_reihe):
model = LinearRegression().fit(np.array(referenzdaten)[k].reshape(-1,1), np.array(vergleichsdaten_maskiert)[k].reshape(-1,1))