Nachdem die Struktur und die Aufgabe des Gehirns erkannt wurden, versuchte man, sein Verarbeitungsprinzip zu formalisieren. Man stellte sich vor, die Arbeitsweise von Nervenzellen zu simulieren und dabei auch die Verarbeitungsleistung des Gehirns simulieren zu können.
Dies war jedoch ein Trugschluss. Es konnten Modelle über die Arbeitsweise einzelner und einem Netz von Nervenzellen erstellt werden, die auch gut funktionieren. Die Simulation des gesamten Gehirns liegt jedoch noch in weiter Ferne.
In den 1940er-Jahren wurden erste Anstrengungen unternommen, die Arbeitsweise von Nervenzellen zu modellieren. In diesem Zusammenhang schlugen die Mathematiker Warren McCulloch und Walter Pitts 1943 vor, eine Nervenzelle als ein logisches Schwellenwertelement zu betrachten, das zwei Zustände hat, nämlich die binären Zustände eins und null (Nervenzellen werde ich im Folgenden auch als Elemente bezeichnen).
Wie bei einer Nervenzelle gibt es mehrere Eingangsleitungen (xi, das i soll angeben, dass beispielsweise bei drei Eingangsleitungen x dreimal vorkommt: x1, x2 und x3) und eine Ausgangsleitung (y). Über die Eingangsleitungen werden Impulse in Form von Einsen und Nullen übertragen. Das Schwellenwertelement addiert die Impulse und gibt selbst einen Impuls (1) weiter, wenn diese Summe einen Schwellenwert s überschreitet. Das bedeutet, dass die Ausgangsleitung sich zunächst im Zustand null befindet und, nach dem Überschreiten des Schwellenwerts, in den Zustand eins übergeht. Die erwähnten Eingangsleitungen können sowohl erregende (1) als auch hemmende (–1) Wirkung haben. Dies ist die zugehörige mathematische Formel, die ich danach sofort erläutere:
Das y steht für den Ausgabewert des Elements.
(der griechische Buchstabe Theta) soll Folgendes berechnen: Wenn das Ergebnis in der Klammer größer oder gleich null ist, ist das Ergebnis der gesamten Berechnung 1, sonst null.
zeigt an, dass eine Summe gebildet werden soll, nämlich von wi * xi.
wi ist dabei die Synapsen-Stärke (+1 oder –1).
xi sind die Eingabeleitungen (1 oder 0).
s ist der Schwellenwert des Elements.
Das i steht dafür, dass es mehrere Eingabeleitungen zum Element gibt. Wäre i = 3, gäbe es x1, x2 und x3 sowie w1, w2 und w3.
Grafisch können Sie sich das, wie in Abbildung 2.1 gezeigt, veranschaulichen.
Abb. 2.1: Ein Nervenzellen-Element
Mit der oben genannten Formel werden zunächst die Eingangssignale und die Synapsen-Gewichte multipliziert und danach summiert. Davon wird der Schwellenwert s subtrahiert. Der Körper des Elements steht für Theta. Er gibt nach y eine 1 weiter, wenn die Summe größer oder gleich null ist und eine Null, wenn die Summe kleiner als null ist.
Aus mehreren Elementen kann man beispielsweise das folgende Modell eines Netzwerks entwickeln (siehe Abbildung 2.2).
Wir erkennen an dieser Darstellung sehr schön das in Kapitel 1 behandelte Modell einer Nervenzelle.
McCulloch und Pitts konnten zeigen, dass man mit solchen »Nervenzellen« sämtliche logischen Funktionen nachbauen kann. Insbesondere sind ein Und-Gatter, ein Oder-Gatter sowie ein Inverter möglich, die die Grundlage der anderen logischen Funktionen sind. Der Beitrag beider Mathematiker findet sich noch heute in den Modellen der Neuronalen Netze.
Abb. 2.2: Netzwerk von Elementen (E = Eingabe und A = Ausgabe)
Wir betrachten nun drei Modelle für ein Und- sowie Oder-Gatter und einen Inverter. Solche logischen Elemente verarbeiten Wahrheitswerte, nämlich die Werte wahr und falsch. Die nachfolgende Tabelle 2.1 zeigt, wie diese Elemente Wahrheitswerte verarbeiten.
Eingang 1 | Eingang 2 | Ausgang |
|---|
Tabelle 2.1: Verarbeitung des Und-Gatters
Wenn ein Und-Gatter zwei Wahrheitswerte verarbeitet, dann liegt an seinem Ausgang der Wahrheitswert wahr nur an, wenn an beiden Eingängen der Wahrheitswert wahr anliegt.
Eingang 1 | Eingang 2 | Ausgang |
|---|
Tabelle 2.2: Verarbeitung des Oder-Gatters
Ein Oder-Gatter gibt den Wahrheitswert wahr aus, wenn an einem der beiden Eingänge oder an beiden der Wahrheitswert wahr anliegt.
Tabelle 2.3: Verarbeitung des Inverters
Der Inverter dreht den am Eingang anliegenden Wahrheitswert um.
Nun betrachte ich, wie die dargestellten, logischen Gatter mit Elementen nach McCulloch und Pitts abgebildet werden können.
Das Element in Abbildung 2.3 hat zwei Eingänge, die Gewichte befinden sich auf 1 und der Schwellenwert ist auf 2 eingestellt. Das Element leitet also eine 1 nur weiter, wenn beide Eingangsleitungen eine 1 führen.
Abb. 2.3: Das logische Und-Gatter
Das Element in Abbildung 2.4 hat zwei Eingänge, die Gewichte befinden sich auf 1 und der Schwellenwert ist auf 1 eingestellt. Das Element leitet also eine 1 weiter, wenn x1 oder x2 oder beide eine 1 führen.
Abb. 2.4: Das logische Oder-Gatter
Das Element (Inverter) aus Abbildung 2.5 ist schon ein wenig schwieriger zu verstehen. Es hat nur einen Eingang. Wenn dieser eine 1 führt, soll es eine Null ausgeben, und wenn der Eingang eine Null führt, soll es eine 1 ausgeben; das Signal also immer umdrehen. Dies wird erreicht, indem das Gewicht auf –1 gesetzt wird und der Schwellenwert auf 0. Lassen Sie uns sehen, was passiert.
Abb. 2.5: Das logische Nicht-Gatter (Inverter)
Liegt eine 1 an, so ergibt die Multiplikation mit dem Gewicht –1. Da die Schwelle 0 ist, bleibt die –1 bestehen. Da das Ergebnis aber kleiner 0 ist, gibt der Körper des Elements (denken Sie an Theta in der Formel 1) eine Null weiter. Liegt eine Null an, bleibt das Ergebnis nach der Multiplikation mit –1 Null. Nachdem die Schwelle abgezogen wurde, bleibt die Null bestehen. Theta macht nun aus der Null eine Eins, die als Ergebnis weitergegeben wird. Das Ergebnis ist damit insgesamt also richtig.
Der Ansatz von McCulloch und Pitts hat jedoch auch Schwächen. Es konnte nicht gezeigt werden, wie das Lernen zustande kommt, und solche Netze sind nicht fehlertolerant. Sie funktionieren nur, wenn alle Komponenten richtig arbeiten.
