Neuer und guter Online-Übersetzter (DeepL)

Alles, was nicht direkt mit Python-Problemen zu tun hat. Dies ist auch der perfekte Platz für Jobangebote.
Antworten
__deets__
User
Beiträge: 14494
Registriert: Mittwoch 14. Oktober 2015, 14:29

DeaD_EyE hat geschrieben: Niemand ist in der Lage zu sagen wieso ein NN zu einer Entscheidung gekommen ist.
Falls du das weißt, dann erkläre es uns und dann kannst du dein Nobelpreis abholen.

Lediglich die Mechanik von etwas zu kennen, bedeutet nicht, dass man die komplette Maschine verstanden hat. Ja, wir können NN optimieren bis wir das Ergebnis bekommen, was wir haben wollen. Wir können aber nicht erklären wieso das NN sich für etwas entschieden hat.
Du bist derjenige, der diese Behauptung aufstellt, das "wir" das nicht wuessten. Aber ich muss einen Nobelpreis vorlegen? Es gibt eine Vielzahl von Prozessen und Algorithmen, bei denen wir die Ergebnisse nicht vorhersagen koennen, weil sie Zufallselemente beinhalten oder nicht so genau kontrolliert werden koennen. Beruehmtes Beispiel: Intel-Fabs, die irgendwelche Rohre um die Ecke legen, weil das in der Ur-Fab so aus architektonischen Gruenden so war. Auch wenn die neue Fab das nicht erzwingen wuerde. Und sie nicht wissen, ob das nicht einen Einfluss auf die Ausbeute an ICs hat. Nur weil dem so ist, sagt doch auch keiner "also wir wissen nicht, wie man ICs herstellt".

Und angesichts der Tatsache, das es durchaus Moeglichkeiten gibt, deep learning Verfahren mit relativ simplen Mechanismen auszuhebeln, die aus einem Panda eine Schildkroete machen, ohne das der Mensch diesem Irrtum unterliegt, scheint mir das doch durchaus gut verstanden, welche Teile eines NNs was machen, und wie man das zur Manipulation nutzen kann.
Benutzeravatar
snafu
User
Beiträge: 6731
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

DeaD_EyE hat geschrieben:Niemand ist in der Lage zu sagen wieso ein NN zu einer Entscheidung gekommen ist. (...)

Lediglich die Mechanik von etwas zu kennen, bedeutet nicht, dass man die komplette Maschine verstanden hat. Ja, wir können NN optimieren bis wir das Ergebnis bekommen, was wir haben wollen. Wir können aber nicht erklären wieso das NN sich für etwas entschieden hat.
Ich glaube, du missverstehst da was. Mag sein, dass niemand in der Lage ist, für ein komplexes Problem im ersten Anlauf die perfekte Konfiguration eines KNNs zu finden. Aber dass es nachträglich niemand erklären kann, ist doch ziemlich unwahrscheinlich.

Das ist ja in etwa vergleichbar mit dem Finden einer komplexen Gleichung, um ein physikalisches Phänomen zu beschreiben: Es dauert lange bis irgendein Genie drauf kommt. Aber wenn die Formel einmal vorhanden ist, dann können das einige Experten durchaus nachvollziehen.
DasIch
User
Beiträge: 2718
Registriert: Montag 19. Mai 2008, 04:21
Wohnort: Berlin

Moment mal, so falsch liegt Dead_Eye jetzt nicht. Es ist durchaus nicht wirklich erklärbar wieso ein Neuronales Netzwerk zu einer bestimmten Entscheidung gekommen ist. Dazu lässt sich unter dem Stichwort Explainable Artificial Intelligence (XAI) auch jede Menge finden.

Es gibt durchaus Argumente dafür dass wir es auch möglicherweise nie schaffen werden solche Erklärungen zu bekommen. Siehe z.B. dieser Artikel. Der geht auch auf die Konsequenzen im Zusammenhang mit GDPR ein, was auch nochmal ein spannendes Thema ist.
__deets__
User
Beiträge: 14494
Registriert: Mittwoch 14. Oktober 2015, 14:29

@DasIch na das ist ja etwas belastbares, und beantwortet meine Frage, woher diese Einschaetzung kommt. Die haette ich mir gewuenscht statt der Aufforderung, einen Nobelpreis anzustreben... :roll:
__deets__
User
Beiträge: 14494
Registriert: Mittwoch 14. Oktober 2015, 14:29

So, und nachdem ich den Artikel gelesen habe, finde ich das immer noch eine schwierige Formulierung. Der Artikel ist ja wirklich sehr gut, und beschreibt auch genau das, was ich schon so versucht habe auszudruecken: die Mechanik eines NNs ist wohlbekannt. Welche konkreten Parameter es aber durch sein Training erhaelt, und inwiefern die zu (unvorhersehbaren) Fehlklassifikationen im Sinne nicht eines Bugs, sondern eine unerwuenschten Eigenschaft des Systems, die zu Problemen fuehrt, zur Folge haben - das laesst sich halt nicht vorhersagen. ZB unter ganz bestimmten Umstaenden ein Stoppschild aus einer Schwalbe zu klassifizieren, die gerade vorbeifliegt. Und damit eine Notbremsung auszuloesen.

Nur ist das doch ueberhaupt nichts besonderes im Kontext der komplexen Systeme, die wir den ganzen Tag herstellen. Der Artikel selbst beschreibt das Halteproblem. Wir haben oft genug Situationen, in denen die komplexen Interaktionen von Software und ggf. verteilten Systemen zu Fehlern fuehren. Datencenter bei Amazon, die ausfallen, Finanzmaerkte die ins trudeln geraten, weil die High-Frequency-Trader sich in einer selbstgebauten Erregungsschleife begeben, etc. Das wird durch ML-Verfahren nicht einfacher, ist aber in meinen Augen auch keine substantiell andere Situation.

In der Realtime-Linux community wird zB die Belastbarkeit des PREEMPT-RT Systems auch nur stochastisch ermittelt. Und so geht's jetzt halt auch mit NNs. Die muessen dann eben wie in dem Artikel dargestellt durch festgezurrte Trainingsdaten, konkrete Versionen, die released werden, und ggf. Nachbesserungen mit neuen Daten behandelt werden. Ich sehe da jetzt keine fundamental neue Qualitaet.
Antworten