Multivariate Regression Machine Learning

[Alina__init__()]

Hallo liebes Forum,

ich sitze seit einiger Zeit an einer multivariaten Regressionsanalyse für die qualitative Einschätzung von Apotheken.

Zu der Datengrundlage:
Pro Apotheke gibt es sehr viele Variablen, welche alles Kategorien sind, die entweder erfüllt sind oder nicht.
Sprich ich habe pro Apotheke ein Array an 0 (Kategorie nicht erfüllt) und 1 (Kategorie erfüllt), wobei jeder Eintrag einer festen Kategorie zugeordnet ist.
Die abhängige Variable (Qualität) ist ein Integer, welcher der Qualität einer Apotheke zugeordnet ist.

Ich habe dann als Input für meine Regressionsanalyse eine Matrix mit Dimensionen von ca 1.000.000 Apotheken (Fälle) und bis zu 1.200 Kategorien (unabhängige Variablen) und ein Target-Array mit der abhängigen Variablen (eine Zahl pro Apotheke).

Mein Ansatz:
Polynomiale Regression (skigit-learn) und Decission-Trees.
Bisher habe ich dabei aber eine Standardabweichung von ca. 4 erhalten (Mein Ziel wäre eine Abweichung von ca. 1).

Ich bin mir dem Problem bewusst, dass die Dimensionen meines Problems sehr groß sind. Ich habe daher versucht mittels eines Autoencoders ein neuronales Netz (unsupervised) zu trainieren, ein minimales Set zu finden und so die Dimensionen zu reduzieren.

Habt ihr noch weitere Tipps, Richtung Feature Detection zB, um herauszufinden, welche Kategorien gar keine Rolle bei der Qualität spielen? Oder andere Regressions-Ansätze?

Ich bin sehr dankbar über jeden Tipp!!!
Schönen Abend allerseits.

[Tamas]

Hallo Alina!

Dieses Problem ist sehr interessant, ich würde dabei sehr gern helfen. Zur Zeit lerne ich Machine Learning in Courseara ( IBM Machine Learning Professional Certificate) und ich würde auch mit diesem Problem sehr nützliche Erfahrung sammeln.

Kannst Du die Dataset hochladen oder für mich schicken? Ich könnte sie im Jupiter Notebook besser durchdenken.

Viele Grüsse,
Tamas