Detlef Nautk Frank Klawonn Rudolf Kruse Neuronale Netze und Fuzzy·Systeme Computational Intelligence herausgegeben von Wolfgang Bibel, Walther von Hahn und Rudolf Kruse Die Bucher in dieser Reihe behandeln Themen, die sich dem weitgesteckten Ziel des VersUindnisses und der technischen Realisierung intelligenten Verhaltens in einer Umwelt zuordnen lassen. Sie sollen damit Wissen aus der Kunstlichen Intelligenz und der Kognitionswissenschaft (beide zusammen auch Intellektik genannt) sowie aus interdisziplinar mit diesen verbundenen Disziplinen vermitteln. Computational Inteligence umfal3t die Grundlagen ebenso wie die Anwendungen. Die ersten TItel der Reihe sind: Das Rechnende Gehim Grundlagen zur Neuroinformatik und Neurobiologie von Patricia S. Churchland und Terrence J. Sejnowski Neuronale Netze und Fuzzy-Systeme Grundlagen des Konnektionismus, Neuronaler Fuzzy-Systeme und der Kombination mit wissensbasierten Methoden von Detlef Nauck, Frank K.lawonn und Rufold Kruse Titel aus dem weiteren Umfeld, erschienen in der Reihe Kiinstliche Intelligenz des Verlages Vieweg: Automatische Spracherkennung von Ernst Gunter Schukat-Talamazzini Deduktive Datenbanken von Armin B. Cremers, Ulrike Griefahn und Ralf Hinze Wissensreprasentation und Inferenz von Wolfgang Bibel, Steffen Holldobler und Torsten Schaub Detlef Nauck Frank Klawonn Rudolf Kruse Neuronale Netze und Fuzzy-Systeme Grundlagen des Konnektionismus, N euronaler Fuzzy-Systeme und der Kopplung mit wissensbasierten Methoden 2., iiberarbeitete und erweiterte Auflage 1. Auflage 1994 (erschienen in der Reihe "Kiinstliche Intelligenz" desselben Verlages, ISSN 0940-0699) 2., liberarbeitete und erweiterte Auflage 1996 Aile Rechte vorbehalten © Springer Fachmedien Wiesbaden 1996 UrsprUnglich erschienen bei Friedr. Vieweg & Sohn Verlagsgesellschaft mbH, BraunschweigIWiesbaden, 1996. Das Werk einschlieBlich aller seiner Teile ist urheberrechtlich geschlitzt. Jede Verwertung auBerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulassig und strafbar. Das gilt insbesondere fUr Vervielfliltigungen, Ubersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Gedruckt auf saurefreiem Papier ISBN 978-3-528-15265-9 ISBN 978-3-663-10898-6 (eBook) DOI 10.1007/978-3-663-10898-6 Vorwort zur zweiten Auflage Neuronale Netze erfreuen sich einer wachsenden Popularitat, die sich in einer Viel zahl von Veroffentlichungen und industriellen Anwendungen ausdriickt. Ihre Fahig keit, aus Beispielen lernen zu konnen, ohne im herkommlithen Sinne programmiert werden zu miissen, macht einen wesentlichen Teil ihrer Faszination aus. Die Arbeit an Neuronalen Netzen, die auch als "konnektionistische Systeme" bezeichnet wer den, war zunachst biologisch motiviert. Die Forscher wollten an ihnen mehr uber Eigenschaften des Gehirns lernen. Das erste lernfahige kiinstliche Neuronale Netz, das Perceptron, wurde 1958 von Frank Rosenblatt vorgestellt. Nachdem jedoch in den sechziger Jahren gezeigt wurde, daB dieses damals bevorzugt untersuchte Per ceptron sogenannte linear nicht separierbare Probleme nicht losen konnte, wurde die Forschung an Neuronalen Netzen einige Jahre lang sehr stark eingeschrankt. Nach der Entdeckung neuer und machtiger Lernverfahren in den achtziger Jahren lebte das Interesse jedoch wieder auf. Nun war man in der Lage, auch nicht linear separierbare Probleme, wie z.B. die XOR-Funktion, von einem Neuronalen Netz losen zu lassen. Die Industrie hat die Neuronalen Netze fUr sich entdeckt und wendet sie in Bereichen wie z.B. Bildverarbeitung, Schrift- und Spracherkennung an. Es gibt be reits eine Vielzahl kommerzieller und frei verfugbarer Entwicklungsumgebungen, die eine Erstellung eines Neuronalen Netzes am Computer ermoglichen und die Entwick lungen von Anwendungen erleichtern. Selbst "Neuronale Hardware" ist mittlerweile entwickelt worden. Dabei handelt es sich urn Zusatzhardware fur Computersysteme zur Unterstiitzung der Rechenvorgange in Neuronalen Netzen. Die Forschung an kiinstlichen Neuronalen Netzen, d.h. an yom Computer simulier ten Neuronalen Netzen, ist ein hochgradig interdisziplinares Gebiet. Biologen und Neurophysiologen untersuchen sie, urn mehr iiber biologische Neuronale Netze, also den Aufbau und die Funktionsweise von Gehirnen zu erfahren. Psychologen bzw. Kognitionswissenschaftler befassen sich mit ihnen, urn menschliche Verhaltensweisen z.B. kognitive Leistungen zu simulieren. Mathematiker, Ingenieure und Informatiker verwenden sie zur Datenanalyse, zur Regelung und Steuerung und untersuchen sie als parallele informationsverarbeitende Modelle. Die Grenzen zwischen diesen Berei chen sind flieBend und gerade zwischen den beiden letztgenannten Gebieten bestehen starke Uberschneidungen. VI Dem Vorteil der Lernfiihigkeit Neuronaler Netze gegeniiber herkommlichen Verfah ren der Informationsverarbeitung steht jedoch ein Nachteil entgegen: Neuronale Netze konnen nicht interpretiert werden, sie stellen sich dem Entwickler und dem Anwen der als eine "Black Box" dar. Das in ihnen enthaltene "Programm" oder "Wissen" entzieht sich einer formalen Untersuchung, wodurch die Verifikation eines Neuronalen Netzes unmoglich wird. Neben ihrer Fiihigkeit des Lernens sind Neuronale Netze in der Lage, mit unvollstiindi gen, gestorten oder ungenauen Eingaben zu arbeiten und dennoch eine akzeptable Ausgabe zu produzieren. Sie sind von daher fUr den Bereich des "Soft-Computing" von Interesse. Mit Soft-Computing werden wissensbasierte Techniken bezeichnet, die in der Lage sind, mit unsicheren und impriizisen Daten zu arbeiten. Auf diese Weise konnen sie zu Ergebnissen gelangen, wenn andere herkommliche, meist logikbasierte KI-Ansiitze versagen, die auf "scharfe" (engl. crisp), d.h. exakte Daten angewiesen sind. Zu dem Bereich des Soft-Computing werden neb en Neuronalen Netzen auch Fuzzy-Systeme und probabilistische Verfahren (z.B. Bayessche Netze) geziihlt. Die Themenauswahl in diesem Buch konzentriert sich zuniichst auf die Darstellung der fiir Neuronale Netze notwendigen Grundlagen und die Vorstellung einiger wichtiger Neuronaler Architekturen und Lernverfahren. In der vorliegenden zweiten Auflage haben wir ein Kapitel iiber Radiale-Basisfunktionen-Netze eingefiigt. Dabei handelt es sich um ein Netzwerkmodell, das neben den Multilayer-Perceptrons fUr industrielle Anwendungen von besonders hoher Bedeutung ist. Gegeniiber anderen Lehrbiichern iiber Neuronale Netze ist hervorzuheben, dail wir insbesondere Kopplungsmoglichkeiten konnektionistischer Modelle mit anderen wis sensbasierten Methoden untersuchen. Als Resultate der Integration werden die kon nektionistischen Expertensysteme und die Neuronalen Fuzzy-Systeme diskutiert. Man erhofft sich durch diese Kopplung lernfiihige und dennoch interpretierbare wis sensbasierte Systeme. Wiihrend konnektionistische Expertensysteme sich noch in einer konzeptionellen Phase befinden, trifft man die NeuronalenFuzzy-Systeme be reits in zahlreichen industriellen Anwendungen an. Wir haben deshalb in der zweiten Auflage ein umfangreiches Kapitel iiber Neuro-Fuzzy-Datenanalyse hinzugefUgt. Wesentliche Teile diese Buches basieren auf Vorlesungen, Arbeitsgemeinschaften und Seminaren, die von den Autoren an der Technischen Universitiit Braunschweig gehal ten wurden. Einige Ergebnisse unserer aktuellen Forschungsarbeiten sind ebenfalls eingeflossen. Wir wenden uns mit diesem Buch an Forscher und Anwender aus dem Bereich der Kiinstlichen Intelligenz sowie an Studierende der Informatik und angren zender Gebiete. Das Buch ist in sich abgeschlossen, so daB keine Vorkenntnisse iiber Neuronale Netze, Fuzzy-Systeme oder Expertensysteme notwendig sind. Die vorliegende zweite Auflage ist eine Uberarbeitung und Verbesserung der 1994 erschienenen Erstauflage. Der Text wurde mehrfach in Vorlesungen und Schulungen eingesetzt und hat dabei von zahlreichen Anregungen aus dem Kreise der Studenten, Kollegen sowie den Teilnehmern der industriellen Tutorien profitiert. VB Fiir die Unterstiitzung bei der Entstehung des Buches bedanken wir uns bei Hermann Josef Diekgerdes, Patrik Eklund, Steffen Forster, Jorg Gebhardt, Ingrid Gerdes, Michael Kruse, Joachim Nauck, Ulrike Nauck, Uwe Neuhaus und Thomas Scholz. Hartmut Wolff danken wir fiir die fachliche Unterstiitzung in diversen Projekten zum Thema Fuzzy-Systeme. Bei dem Vieweg-Verlag, insbesondere bei Dr. Rainer Klockenbusch, bedanken wir uns fiir die uns entgegengebrachte Geduld und die gute Zusammenarbeit. Braunschweig, im Januar 1996 Die Autoren Inhaltsverzeichnis Einleitung 1 I Grundlagen Neuronaler Netze 9 1 Historische und Biologische Aspekte 11 2 Ein generisches Modell fiir Neuronale Netze 19 2.1 Die Struktur Neuronaler Netze ... 19 2.2 Die Arbeitsweise Neuronaler Netze 24 2.3 Strukturveranderung - Lernen . . 28 2.4 Lernparadigmen. . . . . . . . . . 34 II Architekturen Neuronaler Netze 37 3 Perceptrons 39 3.1 Das formale Modell des Perceptrons . 41 3.2 Lineare Separabilitat . . . . . . . . . 46 3.3 Der Lernalgorithmus des Perceptrons 49 4 Einfache lineare Modelle 59 4.1 Das formale Modell Linearer Neuronaler Netze . 60 4.2 Das ADALINE und die Delta-Regel. . . . . . 62 4.3 Matrixspeicher und die Hebbsche Lernregel .. 67 x Inhaltsverzeichnis 5 Multilayer-Perceptrons 71 5.1 Das formale Modell des Multilayer-Perceptrons 72 5.2 Backpropagation - Die verallgemeinerte Delta-Regel 74 5.3 Anwendung des Backpropagation-Algorithmus . 78 5.4 Linear nicht-separable Lernaufgaben . . . . . . 81 5.5 Multilayer-Perceptrons als universelle Approximatoren 88 5.6 Anwendungen....................... 92 6 Radiale Basisfunktionen 97 6.1 Lokale versus globale Klassifikation 97 6.2 Das formale Modell Radialer-Basisfunktionen-Netze 101 6.3 Lernverfahren fur RBF-Netze . . . . . . . . . . . . 108 7 Wettbewerbslernen 117 8 Selbstorganisierende Karten 125 8.1 Das formale Modell . . . . . . . . . . . . . . 126 8.2 Anwendungen selbstorganisierender Karten . 129 8.3 Counterpropagation:............. 134 9 Hopfield-Netze 137 9.1 Das formale Modell des Hopfield-Netzes 138 9.2 Die Energiefunktion eines Hopfield-Netzes 140 9.3 Das Hopfield-Netz als autoassoziativer Speicher 142 9.4 Die Losung von Optimierungsproblemen mit Hopfield-Netzen 147 9.5 Das kontinuierliche Hopfield-Modell. . . . . . . . . . . . . . . 154 10 Simulated Annealing und Boltzmann-Maschinen 159 10.1 Simulated Annealing . 159 10.2 Boltzmann-Maschinen 161 11 Neuronale Regier 169