Computational Intelligence | springerprofessional.de

Springer Professional

nach oben

2011 | Buch

Kapitel lesen Erstes Kapitel lesen

Computational Intelligence

Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze

verfasst von: Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Verlag: Vieweg+Teubner Verlag

Buchreihe : Computational Intelligence

Enthalten in: Springer Professional "Wirtschaft+Technik" , Springer Professional "Technik" , Springer Professional "Wirtschaft"

Einloggen, um Zugang zu erhalten

Über dieses Buch

Der Anwendungsbereich „Computational Intelligence“ der Informatik erlangt durch viele erfolgreiche industrielle Produkte immer mehr an Bedeutung. Dieses Buch behandelt die zentralen Techniken dieses Gebiets und bettet sie in ein didaktisches Konzept ein, welches sich gezielt an Studierende und Lehrende der Informatik wendet. Zusatzmaterialien wie Aufgaben, Lösungen und Foliensätze für Vorlesungen sowie Beispiele aus der industriellen Anwendung betonen den praktischen Charakter des Buches.

Anzeige

Inhaltsverzeichnis

Frontmatter

Einleitung

Kapitel 1. Einleitung

Zusammenfassung

Komplexe Problemstellungen in verschiedensten Anwendungsbereichen führen verstärkt zu Computeranwendungen, die „intelligentes Verhalten“ aufweisen müssen. Diese Anwendungen leisten z. B. Entscheidungsunterstützung, steuern und kontrollieren Prozesse, erkennen und interpretieren Muster oder bewegen sich autonom in unbekannten Umgebungen. Zur Bewältigung solcher Aufgaben sind neuartige Vorgehensweisen, Methoden, Programmierumgebungen und Tools entwickelt worden.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Neuronale Netze

Frontmatter

Kapitel 2. Künstliche neuronale Netze

Zusammenfassung

(Künstliche) neuronale Netze (artificial neural networks) sind informationsverarbeitende Systeme, deren Struktur und Funktionsweise dem Nervensystem und speziell dem Gehirn von Tieren und Menschen nachempfunden sind. Sie bestehen aus einer großen Anzahl einfacher, parallel arbeitender Einheiten, den sogenannten Neuronen. Diese Neuronen senden sich Informationen in Form von Aktivierungssignalen über gerichtete Verbindungen zu.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 3. Schwellenwertelemente

Zusammenfassung

Die Beschreibung natürlicher neuronaler Netze im vorangehenden Kapitel legt es nahe, Neuronen durch Schwellenwertelemente zu modellieren: Erhält ein Neuron genügend erregende Impulse, die nicht durch entsprechend starke hemmende Impulse ausgeglichen werden, so wird es aktiv und sendet ein Signal an andere Neuronen. Ein solches Modell wurde schon sehr früh von McCulloch u. Pitts [1943] genauer untersucht. Schwellenwertelemente nennt man daher auch McCulloch-Pitts-Neuronen. Ein anderer, oft für ein Schwellenwertelement gebrauchter Name ist Perzeptron, obwohl die von Rosenblatt [1958, 1962] sogenannten Verarbeitungseinheiten eigentlich etwas komplexer sind als einfache Schwellenwertelemente.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 4. Allgemeine neuronale Netze

Zusammenfassung

In diesem Kapitel führen wir ein allgemeines Modell (künstlicher) neuronaler Netze ein, das i.W. alle speziellen Formen erfasst, die wir in den folgenden Kapiteln betrachten werden. Wir beginnen mit der Struktur eines (künstlichen) neuronalen Netzes, beschreiben dann allgemein die Arbeitsweise und schließlich das Training eines (künstlichen) neuronalen Netzes.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 5. Mehrschichtige Perzeptren

Zusammenfassung

Nachdem wir im vorangehenden Kapitel die Struktur, die Arbeitsweise und das Training/Lernen (künstlicher) neuronaler Netze allgemein beschrieben haben, wenden wir uns in diesem und den folgenden Kapiteln speziellen Formen (künstlicher) neuronaler Netze zu. Wir beginnen mit der bekanntesten Form, den sogenannten mehrschichtigen Perzeptren (multilayer perceptrons, MLPs), die eng mit den in Kapitel 3 betrachteten Netzen von Schwellenwertelementen verwandt sind. Die Unterschiede bestehen im wesentlichen in dem streng geschichteten Aufbau des Netzes (siehe die folgende Definition) und in der Verwendung auch anderer Aktivierungsfunktionen als einem Test auf Überschreiten eines scharfen Schwellenwertes.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 6. Radiale-Basisfunktionen-Netze

Zusammenfassung

Radiale-Basisfunktionen-Netze sind, wie mehrschichtige Perzeptren, vorwärtsbetriebene neuronale Netze mit einer streng geschichteten Struktur. Allerdings ist die Zahl der Schichten stets drei; es gibt also nur genau eine versteckte Schicht. Weiter unterscheiden sich Radiale-Basisfunktionen-Netze von mehrschichtigen Perzeptren durch andere Netzeingabe- und Aktivierungsfunktionen, speziell in der versteckten Schicht. In ihr werden radiale Basisfunktionen verwendet, die diesem Netztyp seinen Namen geben. Durch diese Funktionen wird jedem Neuron eine Art „Einzugsgebiet“ zugeordnet, in dem es hauptsächlich die Ausgabe des Netzes beeinflusst.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 7. Selbstorganisierende Karten

Zusammenfassung

Selbstorganisierende Karten sind mit den im vorangehenden Kapitel behandelten Radiale-Basisfunktionen-Netzen eng verwandt. Sie können gesehen werden als Radiale-Basisfunktionen-Netze ohne Ausgabeschicht oder, anders formuliert, die versteckte Schicht eines Radiale-Basisfunktionen-Netzes ist bereits die Ausgabeschicht einer selbstorganisierenden Karte. Diese Ausgabeschicht besitzt außerdem eine innere Struktur, da die Neuronen in einem Gitter angeordnet werden. Die dadurch entstehenden Nachbarschaftsbeziehungen werden beim Training ausgenutzt, um eine sogenannte topologieerhaltende Abbildung zu bestimmen.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 8. Hopfield-Netze

Zusammenfassung

In den vorangegangenen Kapiteln 5 bis 7 haben wir sogenannte vorwärtsbetriebene Netze betrachtet, d. h. solche, bei denen der dem Netz zugrundeliegende Graph azyklisch (kreisfrei) ist. In diesem und dem folgenden Kapitel wenden wir uns dagegen sogenannten rückgekoppelten Netzen zu, bei denen der zugrundeliegende Graph Kreise (Zyklen) hat. Wir beginnen mit einer der einfachsten Formen, den sogenannten Hopfield-Netzen [Hopfield 1982, 1984], die ursprünglich als physikalische Modelle zur Beschreibung des Magnetismus, speziell in sogenannten Spingläsern, eingeführt wurden. In der Tat sind Hopfield-Netze eng mit dem Ising-Modell des Magnetismus [Ising 1925] verwandt (siehe unten).

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 9. Rückgekoppelte Netze

Zusammenfassung

Die im vorangehenden Kapitel behandelten Hopfield-Netze, die spezielle rückgekoppelte Netze sind, sind in ihrer Struktur stark eingeschränkt. So gibt es etwa keine versteckten Neuronen und die Gewichte der Verbindungen müssen symmetrisch sein. In diesem Kapitel betrachten wir dagegen rückgekoppelte Netze ohne Einschränkungen. Solche allgemeinen rückgekoppelten neuronalen Netze eignen sich sehr gut, um Differentialgleichungen darzustellen und (näherungsweise) numerisch zu lösen. Außerdem kann man, wenn zwar die Form der Differentialgleichung bekannt ist, die ein gegebenes System beschreibt, nicht aber die Werte der in ihr auftretenden Parameter, durch das Training eines geeigneten rückgekoppelten neuronalen Netzes mit Beispieldaten die Systemparameter bestimmen.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Evolutionäre Algorithmen

Frontmatter

Kapitel 10. Evolutionäre Algorithmen

Zusammenfassung

Evolutionäre Algorithmen stellen eine Klasse von Optimierungsverfahren dar, die Prinzipien der biologischen Evolution nachahmen. Sie gehören zur Gruppe der Metaheuristiken. Das sind Algorithmen zur näherungsweisen Lösung, z. B. eines kombinatorischen Optimierungsproblems. Diese sind definiert durch eine abstrakte Folge von Schritten, die auf beliebige Problemstellungen anwendbar sind. Jeder einzelne Schritt muss allerdings problemspezifisch implementiert werden. Aufgrund dessen sprechen wir auch von problemspezifischen Heuristiken.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 11. Elemente evolutionärer Algorithmen

Zusammenfassung

Jeder evolutionäre Algorithmus besteht aus verschiedenen Elementen, die man je nach gegebenem Problem wählen und anpassen muss. Insbesondere spielt die Kodierung der Lösungskandidaten eine entscheidende Rolle. Allgemeine Aussagen über günstige Kodierungen beschreiben wir in Abschnitt 11.1. Der so wichtige Begriff der Fitness, welcher einhergeht mit der Selektion, muss ebenfalls problemspezifisch gewählt werden. Wir erörtern die wichtigsten Berechnungen von Gütewerten und Selektionsverfahren in Abschnitt 11.2. Während eine wohldefinierte Fitnessfunktion und ein dazu passendes Selektionsverfahren hauptsächlich Umwelteinflüsse steuern, dienen genetische Operatoren größtenteils dem Durchsuchen des Lösungsraums. Sexuelle und asexuelle Rekombinations- und Variationsverfahren diskutieren wir ausgiebig in Abschnitt 11.3.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 12. Evolutionäre Basisalgorithmen

Zusammenfassung

Nachdem wir im letzten Kapitel verschiedene Implementationen der Elemente evolutionärer Algorithmen eingeführt und gegenübergestellt haben, können wir nun die grundlegenden evolutionären Algorithmen behandeln. Sie bilden den Rahmen der einzelnen Elemente und unterscheiden sich auf vielfältigste Art und Weise voneinander.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 13. Spezielle Anwendungen und Techniken evolutionärer Algorithmen

Zusammenfassung

Mit diesem Kapitel schließen wir die Diskussion über evolutionäre Algorithmen und geben einen Ausblick auf eine Anwendung und zwei speziellen Techniken. Die Anwendung im Abschnitt 13.1 bezieht sich auf die Verhaltenssimulation durch einen EA. Danach stellen wir im Abschnitt 13.2 evolutionäre Algorithmen zur Mehrkritierenoptimierung vor. Schlussendlich im Abschnitt 13.3 präsentieren wir Techniken zur Parallelisierung von evolutionären Algorithmen.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Fuzzy-Systeme

Frontmatter

Kapitel 14. Fuzzy-Mengen und Fuzzy-Logik

Zusammenfassung

Die klassische Mathematik basiert auf der Grundannahme, dass allen formal-logischen Aussagen immer einer der beiden Wahrheitswerte wahr oder falsch zugeordnet werden kann. Sofern sich ein formales Modell für eine zu bearbeitende Aufgabe angeben lässt, stellt die gewöhnliche Mathematik mächtige Werkzeuge zur Problemlösung bereit. Die Beschreibung eines formalen Modells geschieht in einer Terminologie, die sehr viel strikteren Regeln folgt als die natürliche Umgangssprache. Auch wenn die formale Spezifikation häufig mit großem Aufwand verbunden ist, so lassen sich durch sie Missinterpretationen vermeiden. Außerdemkönnen im Rahmen eines formalen Modells Vermutungen bewiesen oder bisher unbekannte Zusammenhänge abgeleitet werden.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 15. Das Extensionsprinzip

Zusammenfassung

Im vorhergehenden Abschnitt haben wir die Erweiterung der mengentheoretischen Operationen Durchschnitt, Vereinigung und Komplement auf Fuzzy-Mengen kennengelernt. Wir wenden uns jetzt der Frage zu, wie man gewöhnliche Abbildungen für Fuzzy-Mengen verallgemeinern kann. Die Antwort ermöglicht es, Operationen wie das Quadrieren, die Addition, Subtraktion, Multiplikation und Division, aber auch mengentheoretische Begriffe wie die Hintereinanderschaltung von Relationen für Fuzzy-Mengen zu definieren.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 16. Fuzzy-Relationen

Zusammenfassung

Relationen eignen sich zur Beschreibung von Zusammenhängen zwischen verschiedenen Variablen, Größen oder Attributen. Formal ist eine (zweistellige) Relation über den Grundmengen X und Y eine Teilmenge R des kartesischen Produkts X × Y von X und Y. Die Paare (x, y) ∈ X × Y, die zur Relation R gehören, verbindet ein Zusammenhang, der durch die Relation R beschrieben wird. Man schreibt daher häufig statt (x, y) ∈ R auch xRy.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 17. Ähnlichkeitsrelationen

Zusammenfassung

In diesem Abschnitt werden wir einen speziellen Typ von Fuzzy-Relationen, die Ähnlichkeitsrelationen, näher untersuchen, die eine wichtige Rolle bei der Interpretation von Fuzzy-Reglern spielen und ganz allgemein dazu verwendet werden können, die einem Fuzzy-System inhärente Ununterscheidbarkeit zu charakterisieren.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 18. Possibilitätstheorie und verallgemeinerte Maße

Zusammenfassung

Die Interpretation von Fuzzy-Mengen Sinne von Ähnlichkeitsrelationen ist bei weitem nicht die einzige mögliche Sichtweise, wie die Possibilitätstheorie zeigt. Es würde zu weit führen, detailliert zu erläutern, wie Fuzzy-Mengen als Possibilitätsverteilungen aufgefasst werden können. Das folgende Beispiel vermittelt eine Idee, wie Possibilitätsverteilungen interpretiert werden können.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 19. Fuzzy-Regelsysteme

Zusammenfassung

Das erste Modell eines regelbasierten Fuzyy-Systems, das wir hier vorstellen, wurde 1975 von Mamdani [Mamdani u. Assilian 1975] auf der Grundlage der bereits Anfang der siebziger Jahre in Zadeh [1971, 1972, 1973] publizierten allgemeineren Ideen von Zadeh entwickelt und für Fuzzy-Regler verwendet.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 20. Fuzzy-Relationalgleichungen

Zusammenfassung

Wir betrachten Fuzzy-Regeln noch einmal aus der Sicht der Fuzzy-Relationen, die im Kapitel 16 eingeführt wurden.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 21. Fuzzy-Clusteranalyse

Zusammenfassung

Das Ziel der Clusteranalyse besteht darin, einen gegebenen Datensatz so in Gruppen (Cluster) aufzuteilen, dass ähnliche Objekte des Datensatzes demselben Cluster und sehr verschiedene Objekte unterschiedlichen Clustern zugeordnet werden.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Bayes-Netze

Frontmatter

Kapitel 22. Bayes-Netze

Zusammenfassung

Relationale Datenbanksysteme zählen zu den am weitesten verbreiteten Strukturierungsarten in heutigen Unternehmen. Eine Datenbank besteht typischerweise aus mehreren Tabellen, die jeweils für das Unternehmen grundsätzliche Objekte wie beispielsweise Kundendaten, Bestellungen oder Produktinformationen beschreiben. Jede Zeile beschreibt ein Objekt, wobei die Spalten jeweils Werte eines Attributes enthalten. Relationen zwischen diesen Objekten werden ebenfalls über Tabellen abgebildet. Ein wesentlicher Teil der Datenbanktheorie befasst sich mit der möglichst redundanzfreien und effizienten Repräsentation der Daten, wobei das Augenmerk hauptsächlich auf dem Abrufen und Ablegen von Daten liegt.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 23. Grundlagen der Wahrscheinlichkeits- und Graphentheorie

Zusammenfassung

Der klassische Wahrscheinlichkeitsbegriff und die Interpretation als relative Häufigkeit sind stark in unserer Intuition verwurzelt. Die moderne Mathematik hat sich jedoch die axiomatische Methode zu eigen gemacht, bei der von der Bedeutung der Objekte, über die man spricht, abstrahiert wird. Sie nimmt Objekte als gegeben an, die keine anderen Eigenschaften haben als ihre Identität (d. h., sie sind voneinander unterscheidbar), und untersucht lediglich die Struktur der Relationen zwischen diesen Objekten, die sich aus vorausgesetzten Axiomen ergibt. Auch die Wahrscheinlichkeitstheorie wird daher heute axiomatisch aufgebaut, und zwar über die sog. Kolmogorow-Axiome [Kolmogorov 1933]. Unter einem Ereigniswird in diesen Axiomen einfach eine Menge von Elementarereignissen verstanden, die unterscheidbar sind, d. h. eine Identität haben. Eine Wahrscheinlichkeit ist dann eine Zahl, die einem Ereignis zugeordnet wird, sodass das System dieser Zahlen bestimmten Bedingungen genügt, die in den Axiomen festgelegt sind. Zunächst definieren wir jedoch die grundlegenden Begriffe Ereignisalgebra und σ-Algebra.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 24. Zerlegungen

Zusammenfassung

Ziel dieses Kapitels ist die Zusammenführung des Konzeptes der bedingten Unabhängigkeit und der Separation in Graphen. Beide wurden als dreistellige Relationen (· ᅭ · | ·) auf entweder Attributen oder Knoten dargestellt und es scheint vielversprechend, die wahrscheinlichkeitstheoretischen Gegebenheiten einer Verteilung mit Hilfe eines Graphen zu beschreiben, um dann lediglich anhand graphentheoretischer Eigenschaften (Separationen) auf (bedingte) Unabhängigkeiten zu schließen. Denn letztere sind es, welche eine Zerlegung und Evidenzpropagation erst ermöglichen.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 25. Evidenzpropagation

Zusammenfassung

Nachdem wir die effiziente Reprasentation von Experten- und Domanenwissen kennengelernt haben, wollen wir nun diese nutzen, um Schlussfolgerungen zu ziehen, wenn neue Erkenntnisse (Evidenz) zur Verfugung stehen. Das Volkswagen- Beispiel des letzten Kapitels aufgreifend konnte dies dem Aktualisieren der einzelnen Verbauraten aller Fahrzeugteile gleichkommen, wenn beispielsweise bekannt wird, dass der Kunde einen bestimmten Motortyp m ^* verlangt hat. Ziel wird es sein, die bekannt gewordene Evidenz durch das zugrunde liegendeNetz zu leiten (zu propagieren), um somit samtliche relevanten Attribute zu erreichen. Es lasst sich schon absehen, dass hierfur die Graphenstruktur eine wichtige Rolle spielen wird.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Kapitel 26. Lernen Graphischer Modelle

Zusammenfassung

Wir wollen nun die dritte Frage aus Kapitel 22 beantworten, nämlich,wie graphische Modelle aus Daten generiert werden können. Bisher war die Graphenstruktur vorgegeben, nun wollen wir diese mit verschiedenen Heuristiken aus Daten ableiten.

Rudolf Kruse, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, Matthias Steinbrecher

Backmatter

Titel: Computational Intelligence
verfasst von: Rudolf Kruse
Christian Borgelt
Frank Klawonn
Christian Moewes
Georg Ruß
Matthias Steinbrecher
Copyright-Jahr: 2011
Verlag: Vieweg+Teubner Verlag
Electronic ISBN: 978-3-8348-8299-8
Print ISBN: 978-3-8348-1275-9
DOI: https://doi.org/10.1007/978-3-8348-8299-8

Premium Partner