5.1. Neuronale Netze
Die Entwicklung von Modellen neuronaler Netze entstand aus dem Interesse an der
Funktionsweise und insbesondere an den Lernvorgängen in Nervensystemen, wie z.B. im
menschlichen oder tierischen Gehirn. Die Entwicklung künstlicher neuronaler Netze, d.h.
mathematischer Modelle von Nervennetzen, die sich maschinell implementieren
lassen, begann im Jahr 1943 mit dem Modell von Warren McCulloch und Walter
Pitts.3
Diese Arbeit regte auch andere Forscher an, sich mit dem Thema neuronaler Strukturen
zu beschäftigen. Seitdem haben sich sowohl die neurowissenschaftliche Forschung als
auch die informatische Modellierung vor allem in den letzten 15 Jahren beachtlich
weiterentwickelt. Die Entwicklung künstlicher neuronaler Netze als Lernmodell in der
Informatik hat sich allerdings weitgehend vom biologischen Vorbild gelöst, sie werden
eher als generische Verfahren des maschinellen Lernens und der Statistik betrachtet. Auf
die biologischen Grundlagen wird im folgenden nicht eingegangen, und auch die
Entwicklung musikspezifischer neurophysiologischer Modelle soll hier nicht im Detail
beschrieben werden. Da hier nur künstliche neuronale Netze behandelt werden,
ist mit dem Begriff neuronales Netz immer ein künstliches neuronales Netz
gemeint.
5.1.1. Der Aufbau neuronaler Netze
Die grundlegenden Einheiten eines neuronalen Netzes sind die Neuronen, Nervenzellen,
die die Schaltelemente eines Netzes bilden. Ein Neuron empfängt Eingaben über
Verbindungen von anderen Neuronen, und es sendet eine Ausgabe über Verbindungen zu
anderen Neuronen. Die Eingabe eines Neurons bestimmt seinen inneren Zustand, die
Aktivierung, die wiederum seine Ausgabe bestimmt. Das McCulloch/Pitts-Modell
beschreibt z.B. Neuronen mit binären Zuständen (aktiv/inaktiv), während
andere Modelle ein reelles Intervall für die Aktivierung verwenden. Übersteigt
die Summe der Eingaben eines Neurons einen Schwellenwert, dann wird das
Neuron aktiv, d.h. es sendet eine Ausgabe, die andere Neuronen anregt. Es
gibt neben anregenden (engl. excitatory) auch hemmende (engl. inhibitory)
Verbindungen, d.h. solche, die die Aktivierung hemmen. Die eingehenden Verbindungen
haben unterschiedliche Gewichte, die den Einfluß der jeweiligen Verbindung
repräsentieren.
Ein Neuron wird mathematisch durch eine Netzeingabefunktion, einen
Gewichtsvektor, eine Aktivierungsfunktion und den Schwellenwert charakterisiert.
Die Netzeingabefunktion ist typischerweise die Summe der gewichteten Eingaben, als
Aktivierungsfunktionen werden lineare Funktionen, Schwellenwertfunktionen oder deren
stetige Approximationen verwendet. Der Schwellenwert kann auch
