Matroids Matheplanet Forum Index
Moderiert von matroid
Matroids Matheplanet Forum Index » Aktuelles und Interessantes » Machine Learning und Neuronale Netze
Autor
Schule Machine Learning und Neuronale Netze
Ehemaliges_Mitglied
  Themenstart: 2018-12-20

Hallo! Dieser Thread soll dazu dienen, über das Thema Machine Learning und neuronale Netzwerke zu diskutieren, gerade auch in Bezug zur Mathematik. Ein Netzwerk (Feedforwardnetzwerk) ist erstmal nichts weiter als eine Funktion zwischen zwei Vektorräumen, der Lernprozess ist eine Regression. Der einzige Unterschied zur Regression von Polynomen o. Ä. ist, dass die Parameterzahl extrem hoch ist und entsprechend auch die Anzahl der Wertpaare für die Regression. Ein Netzwerk ist allerdings in der Lage intelligente Dinge zu tun, z. B. zu sagen, ob auf einem Bild ein Hund oder eine Katze zu sehen ist. Generative Adversarial Networks (GANs) sind sogar in der Lage, Bilder von Gesichter o. Ä. zu generieren (mit Zufallszahlen als Eingang in die Funktion). Die Funktion selbst kann theoretisch explizit angeben werden, die gefundenen Parameter könnten in ein Buch gedruckt werden. Von der Mathematik ist man gewohnt, dass man damit die vorgestellte, mathematische Welt perfekt beschreiben kann, Kreise, Polynome, Mannigfaltigkeiten. Andere Dinge aus der realen Welt können nachmodelliert werden, z. B. Wärmeleitgleichungen. Die Modellierung klappt aber deshalb so gut, weil die Naturgesetze sich selbst schon sehr gut an mathematische Gesetzmäßigkeiten zu halten scheinen, sodass das Nachmodellieren eher ein Entdecken der zugrunde liegenden Naturgesetze ist. Bei neuronalen Netzwerken wird auf ganz andere Weise die Realität mathematische Fassbar gemacht. Werden Computer irgendwann in der Lage sein, Mathematikbücher in exakte Logische Schlussfolgerungen (wie bei den Principia Mathematica) zu übersetzen?


   Profil
AnnaKath
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 18.12.2006
Mitteilungen: 3671
Wohnort: hier und dort (s. Beruf)
  Beitrag No.1, eingetragen 2018-12-25

Huhu Pearly, eine Anmerkung möchte ich einbringen in eine derartige Diskussion (von der ich vermute, dass sie in eine gewisse Richtung laufen wird): Ich bin ein großer Fan der "KI", aber eine entschiedene Gegnerin der (naiven Anwendung der) Neuronalen Netze. Natürlich ist nichts gegen eine gesunde Regression einzuwenden (wenn sie denn angemessen ist), und es gibt Anwendungsgebiete, in denen die KNN durchaus sinnvoll sind (etwa bei sukzessiver Datenerhebung). Trotzdem kann ich mich des Eindrucks nicht erwehren, dass Informatiker nun das entdecken, was Mathematiker schon vor 50 Jahren analysiert und währenddessen weitaus tieferes Verständnis gewonnen und dabei Methoden und Grundlagen erarbeitet haben, die weit über die doch recht überschaubare theoretische Grundlage der KNN hinaus gehen. "Wenn man nur einen Hammer kennt, ist die ganze Welt ein Nagel!" Trotzdem freue ich mich natürlich auf eine spannende Diskussion; und ich kann nicht bestreiten, dass die neuronalen Netze durchaus ihre (theoretischen) Anwendungsgebiete haben und ihre (praktischen) Erfolge vorweisen. lg (und frohe Weihnachten!), AK.


   Profil
LaLe
Senior Letzter Besuch: vor mehr als 3 Monaten
Dabei seit: 07.09.2014
Mitteilungen: 555
Wohnort: Bonn
  Beitrag No.2, eingetragen 2018-12-26

\quoteon(2018-12-25 22:26 - AnnaKath in Beitrag No. 1) Trotzdem kann ich mich des Eindrucks nicht erwehren, dass Informatiker nun das entdecken, was Mathematiker schon vor 50 Jahren analysiert und währenddessen weitaus tieferes Verständnis gewonnen und dabei Methoden und Grundlagen erarbeitet haben, die weit über die doch recht überschaubare theoretische Grundlage der KNN hinaus gehen. \quoteoff Kannst du dafür Beispiele geben? Viele Grüße, LaLe


   Profil
AnnaKath
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 18.12.2006
Mitteilungen: 3671
Wohnort: hier und dort (s. Beruf)
  Beitrag No.3, eingetragen 2018-12-26

Huhu Lale, ein - meiner Meinung nach weit unterschätztes - Problem beim maschinellen Lernen z.B. zur Klassifikation (die KNNler bezeichnen das als "pattern recognition") ist die Überanpassung des Modells ("overfitting")*. Darauf kennen KNNs meines Wissens nach bisher nur heuristische und nicht quantifizierbare Antworten. Beispielweise benennt dieses Paper hier (auf Seite 2, unterer Bereich) den doch recht fragwürdigen Umgang (mit dem behandelten Verfahren, was stellvertretend für viele Aspekte der Modellbildung durch KNNs zu sehen sein mag) in vorherigen Studien: "Despite the widespread use[...], there has been little research. Most published studies are seriously flawed. [...]" (und die folgenden Einzelkritik an gewissen Studien). Sicherlich ist die Zeit weiter fortgeschritten, und viele elementare Schwächen aus der Frühzeit der (zweiten) KNN-Welle sind überwunden. Allerdings hat in gleichem Umfang auch die Zahl der Menschen zugenommen, die mit diesen Techniken herumexperimentieren. Solange sie das in ihrem stillen Kämmerlein tun, mag das unbedenklich sein; sofern sie allerdings (in Unternehmen, Behörden oder auch in der universitären Forschung) naiv KNNs zur Klassifikation und darauf aufbauend zur Prognose einsetzen (man denke z.B. an medizinische Anwendungen), bereitet mir das Sorge. Ein KNN in einem typischen Klassifikationsproblem (, das überwacht trainiert wird), leistet nichts, was nicht auch z.B. mit einer SVM (support vector machine) oder einem Regressionsbaum modelliert werden könnte. Diese Modelle sind gut erforscht, ihr Anwendungsbereich ist klar definiert, sie messen ihre Modellgüte, und können gegen overfitting "geschützt" werden**. Ich möchte nicht sagen, dass künstliche neuronale Netze nicht sehr praktisch sind und beeindruckende Ergebnisse liefern. Meine Sorge liegt mehr darin, dass die Anwender/die Anwendung der KNNs gelegentlich recht naiv sind/erfolgt. Natürlich wird auch erfolgreich daran gearbeitet, die KNNs robuster zu machen und die Anwendung also weniger kritisch zu gestalten; allerdings sind die (jeweils äquivalenten) statistischen Verfahren in der Regel doch schon viel länger bekannt und untersucht worden. Natürlich muss man kein Auto bauen können um damit zu fahren, man muss nicht einmal wissen, ob es Allradantrieb besitzt oder nicht. Letzteres mag aber eine hilfreiche Information sein, wenn man einmal nicht über eine Straße fährt und bevor ein neues Fahrzeugmodell zugelassen wird, sollte m.E. doch ein Ingenieur einmal einen Blick auf den Bauplan geworfen haben... In diesem Sinne hoffe ich, dass bei aller berechtigten Euphorie über die KNNs (auch ich bin begeistert über AlphaZeros Schachkünste!) es nie dazu kommen wird, dass ein überangepasstes Netzwerk (, das ein eifriger Mensch mit Tensorflow zusammengeklickt hat...) einmal eine entscheidende Diagnose für meine Tochter stellen wird. lg, AK. *) Daneben sehe ich Schwächen in dem doch oft sehr rudimentären Umgang mit fehlenden oder unvollständigen Daten sowie mit der Interpratation der Ergebnisse eines KNN-Modells (welche wichtig ist, um die Anwendbarkeit des Modells zu überprüfen) sowie in fehlenden/rein heuristischen Gütekriterien des Modelfits **) Daneben sind sie auch noch unabhängig von der Reihenfolge, in der die Trainingsdaten aufgeführt werden - eine Sache, die mich immer schon am Training von KNNs gestört hat


   Profil
Akura
Senior Letzter Besuch: vor mehr als 3 Monaten
Dabei seit: 21.05.2012
Mitteilungen: 748
  Beitrag No.4, eingetragen 2018-12-26

\quoteon(2018-12-26 07:36 - AnnaKath in Beitrag No. 3) Beispielweise benennt dieses Paper hier \quoteoff Der Link funktioniert nicht. Irgendwas von wegen Zugriff verweigert, Link abgelaufen. Kannst du den Link vielleicht noch einmal posten? Oder einfach die Quellenangabe zu dem Paper nennen?


   Profil
AnnaKath
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 18.12.2006
Mitteilungen: 3671
Wohnort: hier und dort (s. Beruf)
  Beitrag No.5, eingetragen 2018-12-26

W. Sarle, "Stopped Training And Other Remedies For Overfitting" in "Proceedings on the 27th Symposium", SAS Institute, Cary (NC), 1995. Eine weitere Arbeit, in dem u.a die Klassikationsgüte von KNNs und klassichen Methoden verglichen wird, gibt es etwa hier (N. Srivastava et. al., "Dropout: A simple way to prevent neural networks from overfitting", Journal of Machine Learning Research 15 p. 1929-1958, 2014). Mit einigem "Methoden-Voodoo" (und wenden solches "unfairerweise" nicht auf die Vergleichsverfahren an..) konstruieren die Autoren gute Resultate für KNNs und behandeln auch das Thema des Overfittings. Einen kurzen Vortrag zum Problem der Überanpassung gibt es hier (S. Lawrence et al., "Lessons in neural network training: Overfitting may be harder than expected", Proceedings of the 14th National Conference on Artificial Intelligence, AAAI Press, Menlo Park, p. 540–545, 1997). lg, AK.


   Profil
schnitzel
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 26.02.2009
Mitteilungen: 222
  Beitrag No.6, eingetragen 2018-12-26

Tag, sorry, dass ich da mal widerspreche. Manche Sachen in Deep Learning mögen große Probleme sein, aber Overfitting gehört definitiv nicht (mehr) dazu. Vielfach größer sind da: - alles was mit den Daten und mit dem Umgang der Daten zu tun hat - feststellen auf welcher Grundlage Entscheidungen des Netzes getroffen werden Gruß


   Profil
Ehemaliges_Mitglied
  Beitrag No.7, vom Themenstarter, eingetragen 2018-12-26

Zu dem Thema Overfitting: Üblicherweise wird doch eine Trainingskostenfunktion und eine Validierungskostenfunktion betrachtet. Das Validierungsdatenset ist eine Stichprobe von Daten aus der "freien Natur" und wird vom Netzwerk während des Lernprozesses nicht gesehen. Außerdem sind die Kostenfunktion und die Genauigkeit der Vorhersage (bei Klassifizierungen) recht gute Maße dafür, wie gut die Regression des Netzwerkes funktioniert. Sein Leben sollte man einem künstlichen Neuronalen Netzwerk natürlich nicht anvertrauen, aber kann ja auch mal umgekehrt sein, dass ein Arzt etwas übersieht, und der Computer sagt (heuristisch), dass auf dem Tomographiebild doch etwas Auffälliges zu sehen sein sollte. Eine neue Anwendung, die neuronale Netze ermöglichen, ist doch z. B. die Erweiterung von Datensätzen durch GANs, wenn aus vorhandenen Daten neue Daten generiert werden und den Lernprozess von den Verfahren verbessert. Du sagst, dich stört, dass die Reihenfolge der Trainingsdaten das Neuronale Netzwerk beeinflusst. Warum ist das für dich so ein großes Problem? Weil das Ergebnis weniger determiniert erscheint? Letztendlich sind doch alle Verfahren fehlerbehaftet?


   Profil
Akura
Senior Letzter Besuch: vor mehr als 3 Monaten
Dabei seit: 21.05.2012
Mitteilungen: 748
  Beitrag No.8, eingetragen 2018-12-27

Danke, AnnaKath.


   Profil
DerEinfaeltige
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 11.02.2015
Mitteilungen: 3211
  Beitrag No.9, eingetragen 2018-12-27

Zum ersten Post: Neuronale Netzwerke sind im Wesentlichen recht effiziente und vielseitig einsetzbare Methoden zur verlustbehafteten Datenkomprimierung. Sie können auch Mathematikern sicherlich in näherer Zukunft helfen, bspw. Beweisansätze zu finden. Zum Finden der tatsächlichen stichhaltigen Argumentationsketten sind sie hingegen völlig ungeeignet, da sie (boshaft ausgedrückt) wie typische "Cranks" argumentieren: "Wenn etwas fast immer klappt, wird es schon stimmen!" Die Idee wäre eher: Mathematiker: "Ich will diesen Satz beweisen. Wie könnte das elegant funktionieren?" Netzwerk: "Ansatz A->B->C sieht gut aus. Erinnert mich an Beweis soundso von dem vielzitierten Mathematiker und Naturwissenschaftler Et Al." Automatischer Beweiser: "Überprüfe Beweiskette A->C->C ... "


   Profil
Ehemaliges_Mitglied hat die Antworten auf ihre/seine Frage gesehen.

Wechsel in ein anderes Forum:
 Suchen    
 
All logos and trademarks in this site are property of their respective owner. The comments are property of their posters, all the rest © 2001-2022 by Matroids Matheplanet
This web site was originally made with PHP-Nuke, a former web portal system written in PHP that seems no longer to be maintained nor supported. PHP-Nuke is Free Software released under the GNU/GPL license.
Ich distanziere mich von rechtswidrigen oder anstößigen Inhalten, die sich trotz aufmerksamer Prüfung hinter hier verwendeten Links verbergen mögen.
Lesen Sie die Nutzungsbedingungen, die Distanzierung, die Datenschutzerklärung und das Impressum.
[Seitenanfang]