Fragen nach passender Lektüre für Neuronale Netze und Backpropagation Algorithmus

[Wunderkind89]

Hallo zusammen,

wie einige von euch vielleicht wissen hatte ich mein Praktikum in einem Softwareentwicklungsunternehmen gemacht und meine Aufgabe war "Messfehler in Sensoren und Zeitreihenverläufe". Mit dieser Aufgabe hatte ich große Schwierigkeiten (konnte lange keine passende Literatur finden usw.), hab es aber dennoch letzten Endes geschafft, nur nicht so wie seitens Betreuerin erwünscht. Das Problem war, dass ich seitens Unternehmen nicht genügend Daten zu Auswertung bekommen habe, so dass ich keine brauchbaren Rückschlüsse ziehen konnte (hätte Daten von ganzen Tag bekommen sollen, bekam jedoch Daten von ca. 2 Stunden. Das haben die mir am Anfang des Praktikums mitgeteilt, dass aufgrund eines Problems sie nur einen kleinen Beobachtungszeitraum für den Testdatensatz haben). Nichtsdestotrotz habe ich überraschenderweise einen sehr guten Arbeitszeugnis bekommen, obwohl ich selbst mit meiner Lösung nicht zufrieden war.

Die Betreuerin hat mir mitgeteilt, dass ich mich mit meiner Aufgabe ziemlich schwer getan habe und ich solle mir gut überlegen, ob ich in die Softwareentwicklung gehen möchte. Normalerweise hätte ich in diesem Unternehmen eine Bachelorarbeit über Neuronale Netze nach meinem Praktikum schreiben sollen, was aber für mich nicht drin war. Die Betreuerin meinte zu mir, dass Neuronale Netze ein deutlich schwierigeres Thema ist und sie möchte nicht, dass ich da eine schlechte Note kriege aber auch sie selbst möchte keine Probleme kriegen, weil sie als Betreuerin im Unternehmen eine gewisse Verantwortung für Praktikanten und Studenten trägt, daher unter anderem für gute Ergebnisse in einer Bachelorarbeit durchaus verantwortlich ist.

Ein guter Freund von mir hat sein Ingenieurinformatikstudium mit einer Durchschnittsnote von 2 beendet und gehört zu den 3 besten Kandidaten, die das Studium in Regelstudienzeit abgeschlossen haben. Jetzt studiert er Data Science und ist in der Mitte seines Master Studiums. Seine Bachelorarbeit hat er über Neuronale Netze geschrieben und auch da konnte er eine sehr gute Note rausholen. Als ich ihm interessehalber mein Thema zeigte, hat er sich damit etwas beschäftigt und meinte, dass mein Thema selbst für ihn zu schwierig sei, daher Neuronale Netze für ihn leichter wären. Unteranderem lag der Grund darin, dass zu meinem Thema nur englische Paper zu finden waren und über Neuronale Netze deutlich mehr Literatur (auch auf Deutsch) existiert. Das größte Problem mit dem Thema in meinem Praktikum war die richtige Einordnung des Themas in die wissenschaftliche Literatur: weder überwachtes noch unüberwachtes, weder hidden Markov noch semi hidden Markov usw. irgendwie schien alles nicht richtig zu sein. Letzten Endes habe ich die Problematik stark vereinfacht und das Problem auf meine Art gelöst.

Mein Zwischenstand ist jetzt so, dass ich zwar mein Praktikum beendet habe aber die Bachelorarbeit muss noch geschrieben werden und ich suche derzeit ein passendes Thema. Einem Betreuer an der Fachhochschule schlug ich Neuronale Netze vor und ob er da etwas für mich passendes hätte, weil

1) Python ist noch frisch im Kopf
2) Das Wissen aus dem Praktikum kann weiterführend genutzt werden
3) Mich mit einem rein mathematischen Thema zu beschäftigen muss nicht zwingend "leichter" sein. Ich muss so gesehen mich intensiv mit vielen Themen auseinandersetzen, um sagen zu können, ob dieses eine Thema oder etwas anderes mir "leichter" fällt und dazu fehlt mir die Zeit. Ich persönlich denke, dass kein Thema leicht ist, da gewisse Ansprüche an eine Bachelorarbeit erfüllt werden müssen in der nötigen wissenschaftlichen Tiefe, daher warum also nicht Neuronale Netze programmieren.
4) So habe ich wenigstens Bezug zur Praxis und es ist nicht nur "trockene" Theorie wo man nur Sätze Beweisen muss.
5) Falls ich in die Softwareentwicklung dennoch gehen werde, so habe ich bereits das passende Thema für meine berufliche Laufbahn gewählt.

Der Dozent hat mir folgende Themen vorgeschlagen:

1) Backpropagation-Algorithmus
2) Feed Forward Neural Networks
3) MNIST-Datenbank (Handgeschriebene Ziffern)

Mein Interesse derzeit liegt bei Backpropagation-Algorithmus. Um Python Kenntnisse zu wiederholen, zu prüfen und zu vertiefen werde ich diese Bücher komplett durcharbeiten:

1) Python 3 – Einsteigen und Durchstarten: Python lernen für Anfänger und Umsteiger. Mit Kapiteln zu Git und Minecraft Pi. Inkl. E-Book Gebundene Ausgabe – 8. Oktober 2018 von Heiko Kalista.
2) Numerisches Python: Arbeiten mit NumPy, Matplotlib und Pandas Gebundene Ausgabe – 11. Juni 2019 von Bernd Klein

nachdem ich diese Bücher durchgearbeitet habe folgen dann diese Bücher:

1) Neuronale Netze selbst programmieren: Ein verständlicher Einstieg mit Python Taschenbuch – 28. April 2017 von Tariq Rashid
2) Deep Learning mit Python und Keras: Das Praxis-Handbuch vom Entwickler der Keras-Bibliothek (mit Professional) Broschiert – 31. Mai 2018 von Francois Chollet

Ich hab mich bereits in das erste Buch von Tariq Rashid eingelesen (die ersten 100 Seiten) und dieses Buch ist wirklich sehr vereinfacht geschrieben, ohne dass man dafür großes mathematisches Verständnis haben muss und hier liegt meiner Meinung nach bereits das Problem: um Neuronale Netze in der nötigen Tiefe zu verstehen muss ein höherer mathematischer Anspruch vorhanden sein aber auch ein höherer Anspruch was die Programmierung in Python angeht.

Jetzt meine Fragen an euch:

1) Hat jemand schon Erfahrungen mit Neuronalen Netzen insb. Backpropagation Algorithmus gemacht? Könntet ihr mir dieses Thema empfehlen? Auf der einen Seite habe ich zwar das, was mir meine Betreuerin im Unternehmen sagte und auf der anderen Seite denke ich mir "kein Meister ist vom Himmel gefallen und alles ist erlernbar und kein Hexenwerk". Ich bleibe also an dieser Stelle stur und zieh mein Ding durch, weil ich unteranderem solche Themen spannend finde.

2) Wie findet ihr meine Lektüren oder habt ihr bessere Lektüren für mich? Oder würdet ihr sagen, dass man auch im Internet genug zeug finden kann ohne explizit Bücher lesen zu müssen? Mein Freund von dem ich vorhin gesprochen habe hat tatsächlich nie Programmierbücher gelesen und hat nur durch Internet und Foren programmieren gelernt.

3) Würdet ihr auch so vorgehen und diese Bücher durcharbeiten (so wie ich es vorhabe) oder gibt es da eine bessere Methode wie man an solche Themen wie Neuronale Netze und Backpropagation angehen kann? In meinem Studium hatte ich zwar meine Klausuren im Durchschnitt mit befriedigend bestanden aber bei meinen Seminar und Proseminararbeiten hatte ich große Schwierigkeiten (Proseminar durchgefallen und danach Seminar mit einer 4 bestanden), daher mir fehlt die wissenschaftliche Herangehensweise, wo ich (ohne groß Zeit zu verlieren) das Wesentliche für mich herausfiltern kann, denn eine Bachelorarbeit ist weitaus mehr als eine Seminararbeit und das macht mir große Sorgen! Gibt es da Bücher oder Links um eine Bachelorarbeit richtig anzugehen? Weil ich möchte nicht die gleichen Fehler wie bei Seminar und Proseminararbeiten machen.

Ich hab zu hause ca. 3 Bucher zu wissenschaftlichem Schreiben aber die sind irgendwie allgemeingehalten und so wirklich helfen die mir nicht: da wird etwas von Zeitplan erstellen geredet, was für mich keinen Sinn macht, denn um Zeitplan erstellen zu können brauche ich gewisse Einschätzung wie lange ich für eine bestimmte Aufgabe brauche und um die Zeit richtig einschätzen zu können muss ich bereits diese Aufgabe des Öfteren gemacht haben und genau hier liegt das Problem: ich kann nicht einschätzen wie schwierig mir die Literatur fallen wird während meiner Bachelorarbeit oder das Thema an sich. Dementsprechend kann ich nicht sagen wie lange ich dafür brauchen werde. Meine Meinung an dieser Stelle: solche Bücher zu wissenschaftlichem Schreiben sind zu allgemein Gehalten (denn je nachdem was man Studiert sollten die Schwerpunkte anders sein, was sie aber in solchen Büchern nie sind!). Es werden da teilweise auch kontraproduktive Tipps gegeben, wie Seiten sperren zu lassen (damit man nicht auf YouTube o.ä. gehen kann, Mentale Tipps usw.) was in meinen Augen total unnötiger Aufwand ist. Es wird in solchen Büchern immer drumherum geredet und die kommen nie auf das Wesentliche.

Übrigens, ich werde meine Arbeit in Word schreiben und nicht in LATEX, obwohl viele der Meinung sind, dass LATEX im IT (und generell im naturwissenschaftlichem Bereich) das Nonplusultra ist. Ja, LATEX ist gut und alles wird mathematisch "schöner" dargestellt wie z.B. Formeln und Formatierung aber letztenendes kommt es auf den Inhalt an und um LATEX zu lernen fehlt mir die Zeit. Mein Proseminar hatte ich in LATEX geschrieben und meine Zeit zu sehr auf das Erlernen von LATEX investiert, so dass der Inhalt mager wurde, daher falls man vorhat mit LATEX zu programmieren, dann sollte man gewisse Zeit einplanen können, bevor man mit Bachelorarbeit anfängt

Was haltet ihr so von Word vs. LATEX?

ich hatte übrigens zwei Operationen gehabt vor und nach meinem Praktikum, so dass ich nicht direkt im Anschluss an mein Praktikum mit meiner Bachelorarbeit anfangen konnte.

Danke vielmals, falls ihr es geschafft habt bis hierhin zu lesen und ich bin jetzt schon Dankbar für eure Antworten

Liebe Grüße

[__blackjack__]

@Wunderkind89: Englische Paper sollten aber kein Problem sein. Sonst ist Softwareentwicklung ein Problem. Da muss man Fachliteratur mindestens lesen/verstehen können.

Zeitplan(ung) ist schon wichtig. Das ist aber ein dynamischer Prozess. Klar kannst Du ohne Wissen wie schwierig etwas ist nicht wissen wie lange Du dafür brauchst. Aber Du hast eine Deadline und weisst wie viel Zeit zur Verfügung steht. Also weisst Du mindestens schon mal wieviel Zeit Du maximal aufbrauchen kannst. Und die kann man auch schon grob aufteilen. Zum Beispiel am Ende einen Puffer lassen für Sachen wie andere die Arbeit lesen lassen, und Rückmledungen einarbeiten. Und diese Zeitplanung kann man dann im Laufe der Zeit immer weiter verfeinern. Wichtig ist einen Überblick zu behalten über die Sachen die gemacht werden müssen, und die Zeit die dafür noch zur Verfügung steht. Und das man die Todo-Liste priorisiert und ggf. harte Schnittpunkte setzt. Du kannst nicht einschätzen wie schwierig Dir die Literatur fallen wird, aber Du kannst grob sagen wie viel Zeit anteilig für das Lesen von Literatur draufgehen darf, damit noch Luft für das Programmieren, und für die schriftliche Ausarbeitung übrig bleibt. Das gleiche gilt für das Programmieren und für die schriftliche Ausarbeitung.

Ich würde ja in LaTeX schreiben *weil* es auf den Inhalt ankommt. Ich finde Quelltext wo hauptsächlich der Text und semantische Auszeichnungen drin stehen, lenken wesentlich weniger vom Inhalt beim schreiben ab, als eine WYISWYG-Oberfläche. Und als Programmierer mag ich Quelltext. Den kann man wo es Sinn macht programmatisch erzeugen und bearbeiten. Und man kann den in eine Versionsverwaltung packen. Durch ein verteiltes VCS hatte ich bei meinen Arbeiten immer mehrere aktualle Sicherungskopien auf den Rechnern auf denen ich das bearbeitete und auf einem Server in der Uni. Ich hatte damals Mercural verwendet, aber heute würde man wohl auf Git setzen.

Word oder eine andere WYISWYG-Textverarbeitung ist letztlich aber auch nicht so einfach, sofern man sie nicht wie eine Schreibmaschine benutzt, sondern tatsächlich die stärken einer Textverarbeitung nutzt in der man semantisch auszeichnet, Zeilenumbrüche und Seitenumbrüche nicht hart setzt und so weiter.

Und dann gibt es so Sachen wie Quelltextfragmente setzen und insbesondere auch mathematische Formeln im Fliesstext und abgesetzt in grösser setzen. Und verschiedene Nummernkreise für Quelltextfragmente, Abbildungen, Formeln. Und Verzeichnisse (Inhalt, Tabellen, Abbildungen, Quelltextfragmente, …).

Alles so Sachen die IMHO in LaTeX besser sind als in Textverarbeitungen.

[ThomasL]

Hi,

hier mal meine Gedankensplitter in unsortierter Reihenfolge:

An englischen Büchern, Arbeiten, Tutorials, Videos kommst du nicht vorbei

Schau dir mal diese Playlist an: https://www.youtube.com/watch?v=Wo5dMEP ... OF2tius3V3
Diese Playlist basiert auf dem Buch: https://nnfs.io/

Es wurde dir ja schon eine Versionsverwaltung empfohlen, ich werfe mal github in den Raum
benutze diese Suche: https://github.com/topics/thesis-template

Für die Anfertigung deiner Thesis stelle ich mal Jupyter Notebooks zur Diskussion:
http://harpolea.github.io/2018-05-03-ju ... 20sequence).

Hintergrundwissen ist das A&O
Heros of Deep Learning Serie:
https://www.youtube.com/watch?v=-eyhCTv ... 2mugGeA5gR
Geoffrey Hinton - The Neural Network Revolution
https://www.youtube.com/watch?v=1JO1Pcr5rYA

Bezüglich MNIST gibt es unzählige Videos:
https://www.youtube.com/results?search_query=mnist

Ansonsten YT Kanäle in die ich dir dringend empfehle:
https://www.youtube.com/c/YannicKilcher/playlists
https://www.youtube.com/c/VictorLavrenko/playlists
https://www.youtube.com/c/SebastianRaschka/playlists
https://www.youtube.com/c/BrandonRohrer/playlists
https://www.youtube.com/playlist?list=P ... x_ZCJB-3pi
https://www.youtube.com/watch?v=5tvmMX8 ... t26ZgjG9NI
https://www.youtube.com/watch?v=NfnWJUy ... C7OQi31AlC

Definitiv Information Overflow aber imho geht es nicht ohne.
Viel Erfolg.

[__blackjack__]

Vorlagen für solche Arbeiten, ob nun Word oder LaTeX bekommt man oft auch von der Uni selbst. Nicht selten gibt es da auch Vorgaben was Ränder und so angeht. So kann man sich einiges an Einstellungen schrauben sparen. Und das Unilogo ist meistens auch schon eingebaut.

[Wunderkind89]

super, vielen Dank für eure Antworten! Die Videos werde ich mir aufjedenfall anschauen.

Was haltet ihr von meinen Büchern? Sind diese hilfreich? Weil ihr habt leider nichts dazu gesagt oder generell was haltet ihr vom Lernen mit Büchern oder nutzt ihr solche Bücher eher als Nachschlagewerk? Was mich bisschen stutzig macht ist die Tatsache, dass viele Bücher auf Deutsch mehr oder weniger fehlerhaft sind und da sind die Bücher auf Englisch eine deutlich bessere Alternative, zumindest wenn es um die Programmierung geht.

Bezüglich Englisch:

Ich kann mich auf English gebrochen sowie fehlerhaft unterhalten aber da ist noch viel Luft nach oben. Als ich in meinem Praktikum war, da habe ich einzelne Wörter (die ich nicht kannte) in den PDF Dateien übersetzt, markiert, die Übersetzung direkt dahin geschrieben und habe dann versucht mir den Sinn des Satzes zu erschließen. Das habe ich dann bei jedem Satz durchgezogen. Es war viel Arbeit aber so lernte ich die Bedeutung vieler Wörter kennen. Wie habt ihr English gelernt?

Viele sagen zu mir, dass sie durch englische Filme/Serien und Bücher Englisch gelernt haben, was auf mich leider nicht zutrifft, da ich eher auf Deutsch die Filme gucke und auf Deutsch die Bücher lese. Ich denke am Besten lernt man eine Sprache, wenn man für ein paar Jahre in ein komplett anderes Land geht und mit den Leuten in dieser Sprache spricht. Bei mir war es zumindest so, als ich von Russland nach Deutschland kam, weil nach ungefähr 5 Jahren konnte ich Deutsch relativ gut sprechen. Diese ganzen Regelwerke zu lernen, wie z.B. "was ist ein Possessivpronomen und wann wende ich es an" erschwerte mir damals Deutsch zu lernen - selbst mehr als die Hälfte der Deutschen wussten nicht, was ein "Possessivpronomen" ist bzw. hatten wenig Ahnung von Grammatikregeln. Erst durch das Sprechen mit anderen Menschen habe ich gelernt diese Sprache richtig zu sprechen und wende mittlerweile bestimmte Regeln unbewusst an. Warum sollte es bei Englisch anders sein?

Konkret zu meinem Fall:

Wenn ich wissenschaftliche Paper lese, dann muss ich nicht nur die Sprache verstehen sondern auch die technisch\mathematischen Details und das ist derzeit sehr schwierig für mich. Noch schwieriger wird es, wenn ich mir irgendwelche Videos anschaue, wo die Wörter teilweise falsch betont werden/die Leute Akzent haben (Inder, die irgendwelche Algorithmen erklären) oder Leute, die zu schnell reden. Deswegen sind Videos für mich persönlich nochmal schwieriger als wissenschaftliche Paper. Naja, anscheinend muss ich dadurch, wenn ich Neuronale Netze machen möchte und komme da nicht drumherum. Erst recht nicht, wenn ich in den Bereich Softwareentwicklung gehen möchte.

Vielen Dank euch beiden!

[__blackjack__]

Zu Büchern für Einsteiger habe ich nichts gesagt, weil zum ersten von Heiko Kalista bereits ein Thema von Dir existiert. Fazit war da, dass das nach dem Probekapiteln die man im Netz lesen kann, das einen ganz guten Eindruck gemacht hat.

Das andere Buch kenne ich nicht. Und auch die zu neuronalen Netzen/Deep Learning kenne ich nicht.

Zu Programmiersprachen braucht man IMHO für halbwegs moderne Sprachen für den Einstieg keine Bücher mehr, weil eigentlich alle, Python inklusive, entsprechendes Material in der Dokumentation haben. Und so etwas veraltet mir in Papierform zu schnell. Bücher finde ich dann eher für allgemeinere Themen, die nicht so schnell überholt sind, passender.

Neuronale Netze scheinen dazu zu gehören. Wenn ich zu dem Thema schreiben müsste, würde ich es mir wohl nicht nehmen lassen „Simulation Neuronaler Netze: Grundlagen, Modelle, Programme in Turbo Pascal“ von Norbert Hoffmann (Vieweg, 1992) wenigstens mal zu überfliegen und irgend etwas daraus zu zitieren, nur um das in der Literaturliste zu haben. Aber hey, ich bin halt ein Retro-Nerd.

Re English: In der Schule als Unterrichtsfach. Beim Computer dann Spiele, Spieleanleitungen, Demos, Fanzines/Diskettenmagazine, DFÜ/Internet, wo viel Englisch zu lesen war. Dann Internet, wo dann auch viel schreiben dazu kam, erst in Newsgroups (USENET) und Mailinglisten und später dann Foren.

Dann Uni, wo es für Java noch viele Bücher auf Deutsch gab, aber bei Haskell schon nicht mehr. Dort habe ich dann auch festgestellt, dass englische Fachliteratur oft verständlicher geschrieben war. Selbst bei übersetzten Büchern. Kann mich da an eines erinnern wo sie bei der deutschen Übersetzung verständliche Prosabeispiele durch ”Mathematik” ersetzt haben. Man hatte da manchmal den Eindruck, dass deutsche Autoren das möglichst kryptisch formulieren, während englischsprachige Autoren mehr Wert darauf gelegt haben, dass es verständlich ist.

In der Softwareentwicklung/Programmierung ist man ständig mit englisch konfrontiert, weil die Sprachelemente in der Regel englisch sind, und die Dokumentationen und Bibliotheksreferenzen auch. Die Fehlermeldungen sind Englisch, und wenn man die dann in eine Suchmaschine füttert, landet man hauptsächlich auf englischsprachigen Seiten, ob das nun die Issue-Tracker vom jeweiligen Projekt sind, Stackoverflow, oder Blogs und Forenbeiträge.

In der Uni hatte ich dann noch das Glück, dass wir in der Arbeitsgruppe einen Engländer hatten der die Studien- und Abschlussarbeiten betreut hat, und das Pech, dass ich in der Abschlussarbeit regelmässig mit zwei Indern ausschliesslich über Audio kommunizieren musste. Also von einem Muttersprachler korrigiert zu werden und sich durch einen indischen Akzent zu kämpfen war eine interessante Erfahrung.

Ansonsten schaue ich recht viele Serien/Filme auf Englisch und auf Youtube ist ja auch viel englischsprachiges zu finden.

Sprechen ist aber auch gar nicht so wichtig wenn man nicht international tätig sein will. Und technisches Englisch zu verstehen ist IMHO wesentlich einfacher als englische Prosa zu verstehen.

[ThomasL]

Zum Thema Bücher hier ein Link zu vielen kostenlosen digitalen Werken:
https://github.com/pamoroso/free-python-books

Zum Thema Englisch:
Bei mir: 9 Jahre Englisch in der Schule, Auslandsaufenthalte, Job, schaue mir Filme im Original auf Englisch an,
bin im Netz zu 98% auf englischsprachigen Seiten unterwegs, dieses Forum ist eine der wenigen Ausnahmen.

Zum Englisch lernen gibt es viel freies Material im Netz:
https://www.youtube.com/results?search_ ... sh+lessons

[Wunderkind89]

Hey, ich melde mich mal wieder und zwar hab ich eine Frage zu Backpropagation:

1. Man hat eine Kostenfunktion z.B. 1/n * Summe (soll - ist)^2
2. Der Gradient lautet: 2/n Summe(soll - ist) * gradient (ist)

und hier liegt genau mein Problem: ein Professor aus dem Bereich Data Science hat den Punkt 2 tatsächlich so geschrieben aber das ist doch falsch, oder? Denn

2.1 Mit Gradient von "ist" bezieht man sich auf das gesamte neuronale Netzwerk, welches nach den Gewichten und Bias per Kettenregeln differenziert wird. Konkret bedeutet es, dass kein mal zwischen (soll - ist) * gradient (ist) stehen darf. Der Grund: soll und ist sind zwar Vektoren, was aber ist der Gradient(ist) bzw. welche Dimension hat das Teil? Da wird ja nach jedem Gewicht und Bias differenziert und in meiner Bachelorarbeit muss ich mathematisch sauber alles aufschreiben, daher so wie es in 2. steht wäre falsch oder was meint ihr?

Weiß einer da etwas mehr oder hat da jemand diesbezüglich gute Quellen?

Liebe Grüße

[ThomasL]

Eventuell hilft dir das hier:
https://sebastianraschka.com/faq/docs/b ... trary.html

https://de.wikipedia.org/wiki/Backpropagation

[EyDu]

Ich würde erstmal alle Bücher zur Seite legen und den CS231n machen. Also wirklich im Detail durcharbeiten, alle Übungen umsetzen, etc. Das ist gerade eigentlich der Standard-Kurs und besser aufbereitet bekommst du es wohl kaum. Den lassen wir alle unsere Studenten machen, bevor wir sie an echte Probleme lassen.

[YAPD]

Hi,

ich hatte eine ähnliche Frage hier im Forum gestellt und wurde auf diesen
Kurs aufmerksam gemacht :

https://www.udemy.com/course/deep-learning-und-ai/

VG
YAPD