Signaltheorie der Intelligenz

5. Das dyadische Produkt und seine intelligenzstiftende Fähigkeit

1. Einführung zum dyadischen Produkt

Ein dyadisches Produkt aus zwei Vektoren, auch Außenprodukt genannt, lässt sich durch eine neuronale Schaltung veranschaulichen, bei der ein Inputvektor auf ein einzelnes Zwischenneuron projiziert und dieses Zwischenneuron seinen Output auf mehrere Outputneuronen verteilt.

Die zugehörige neuronale Schaltung verwendet zwei Grundeigenschaften von Neuronen:

• Neuronen können über mit ihren Dendriten die Axone von mehreren Inputneuronen kontaktieren, wobei sie an den Kontaktstellen Synapsen bilden. Jeder dieser Inputsynapsen kann eine synaptische Stärke zugewiesen werden, die durch eine Zahl dargestellt werden kann. Diese synaptischen Stärken werden in der KI auch als Gewichte der Verknüpfung bezeichnet.
• Ein Neuron kann über ein verzweigtes Axon mehrere Outputneuronen kontaktieren und diese erregen, wenn es selbst erregt ist. Auch hier übertragen Synapsen die Erregung, und auch ihnen kann eine synaptische Stärke, also jeweils ein Gewicht, zugeordnet werden.

Die Gewichte der Inputschicht können als Gewichtsvektor w dargestellt werden:

Die Gewichte der Outputschicht v können ebenfalls als Gewichtsvektor dargestellt werden:

.

Bezeichnet man mit h die Erregung des Zwischenneurons, so lässt sich diese als Skalarprodukt des Inputvektors x mit dem Input-Gewichtsvektor w darstellen:

Der Output h des Zwischenneurons wird nun auf die m Outputneuronen aufgeteilt, wobei die Output-Gewichte von v wirksam werden:

            …

Dieser Zusammenhang zwischen dem Inputvektor x und dem Outputvektor y lässt sich auch als dyadisches Produkt dieser Vektoren darstellen.

Ein einzelnes Zwischenneuron (Hidden Unit) erhält einen Inputvektor   und erzeugt daraus einen Skalar

wobei  der Gewichtsvektor der Eingänge ist.

Dieser Skalar wird dann auf einen Outputvektor   projiziert, typischerweise linear über einen zweiten Gewichtsvektor :

Damit ist die gesamte Abbildung  eine lineare Abbildung, die sich als Matrix A schreiben lässt.

.

Für das dyadische Produkt (äußeres Produkt) wird ein eigenes Symbol, das Tensorprodukt-Symbol   verwendet, um es klar vom Skalarprodukt zu unterscheiden:

Damit lässt sich die Matrix A, welche die lineare Abbildung zwischen dem Inputvektor und dem Outputvektor beschreibt, auch als dyadisches Produkt der zwei beteiligten Gewichtsvektoren schreiben:

2. Beispiel zum dyadischen Produkt

Wir verdeutlichen die Zusammenhänge zum dyadischen Produkt an einem konkreten Beispiel.

• Inputvektor

• Input-Gewichtsvektor (zum Zwischenneuron)

• Output-Gewichtsvektor (vom Zwischenneuron zum Outputraum, ebenfalls 4‑dimensional gewählt)

• Schritt 1: Skalar im Zwischenneuron

• Schritt 2: Outputvektor über

Das ist die Sicht „Zwischenneuron + Outputgewichte“.

• Schritt 3: Dyadisches Produkt als Gesamtmatrix

Die Gesamtmatrix ist

Ausmultipliziert:

Jetzt wenden wir  direkt auf  an:

Komponentenweise:

• Erste Komponente:

• Zweite Komponente:

• Dritte Komponente:

• Vierte Komponente:

Also

genau wie oben über die Zwischenneuron-Sicht.

3. Warum ein dyadisches Produkt immer Rang 1 hat

Wir betrachten eine Matrix der Form

wobei und Vektoren sind.

Alle Zeilen sind Vielfache von

Schreiben wir . Dann ist

Das bedeutet:

• Die erste Zeile ist
• Die zweite Zeile ist
• usw.

Jede Zeile ist also ein Skalarvielfaches derselben Zeile .

Alle Zeilen liegen im selben eindimensionalen Unterraum. Damit ist der Zeilenrang = 1 (sofern und ).

Alle Spalten sind Vielfache von

Schreiben wir  . Dann ist

Das bedeutet:

• Die erste Spalte ist 
• Die zweite Spalte ist 
• usw.

Jede Spalte ist also ein Skalarvielfaches derselben Spalte .

Alle Spalten liegen im selben eindimensionalen Unterraum. Damit ist der Spaltenrang = 1.

Zeilenrang = Spaltenrang = 1 Rang(A) = 1

Da für jede Matrix gilt:

folgt unmittelbar:

Ein dyadisches Produkt  besitzt immer Rang 1, weil alle Zeilen Vielfache von und alle Spalten Vielfache von  sind. Damit spannen sowohl die Zeilen als auch die Spalten jeweils nur einen eindimensionalen Unterraum auf.

4. Geometrische Bedeutung eines dyadischen Produkts

Für

gilt für jeden Inputvektor :

Damit ist sofort klar:

• Der Outputvektor ist immer ein Skalarvielfaches von .
• Die Richtung des Outputvektors ist daher für alle Inputs identisch.
• Lediglich der Skalierungsfaktor hängt vom Input ab.

Das heißt:

Geometrisch bildet ein dyadisches Produkt  jeden Inputvektor auf einen Outputvektor ab, der stets in derselben Richtung wie liegt. Nur die Länge des Outputvektors variiert in Abhängigkeit vom Input.

Damit ist der Bildraum eindimensional, und die Matrix hat Rang 1.

Die intelligenzstiftende Fähigkeit von dyadischen Produkten

Die neuronale Schaltung eines Zwischenneurons, das Input von mehreren Neuronen empfängt und selbst mehrere Neuronen mit Output versorgt, ist eine der elementarsten und zugleich wirkungsvollsten Strukturen im Nervensystem. Ihre besondere Bedeutung ergibt sich aus einer bemerkenswerten Fähigkeit: Sie kann unvollständigen oder verrauschten Input vervollständigen, Muster ergänzen und im Output Elementarsignale erzeugen, die im Input gar nicht explizit vorhanden waren.

Mathematisch entspricht diese Schaltung einem dyadischen Produkt. Dieses erzeugt eine lineare Abbildung vom Rang 1, die den Input auf eine charakteristische Richtung im Outputraum projiziert. Genau diese Eigenschaft macht dyadische Produkte zu grundlegenden Bausteinen biologischer und künstlicher Intelligenz.

Wir diskutieren diese Eigenschaft an drei konkreten Beispielen.

Beispiel 1 — Referenzfall: Vollständiger Input

Wir wählen einfache, gut nachvollziehbare Zahlen.

Inputvektor

Gewichtsvektor (synaptische Stärken)

Skalarprodukt

Divergenzgewichte (Outputrichtung)

Referenzoutput

Das ist unser vollständiger, idealer Output.

Beispiel

Wir löschen die zweite Komponente im Inputvektor x:

Gestörter Input

Neues Skalarprodukt

Neuer Output

Also:

Entscheidend:

Der Output ist identisch im Muster, nur global abgeschwächt.

Das Interneuron ergänzt die fehlende Komponente vollständig.

Beispiel

Wir nehmen einen verrauschten Input:

Verrauschter Input

Neues Skalarprodukt

Neuer Output

Also:

Entscheidend:

Der Output ist nicht verrauscht, sondern nur verstärkt.

Das dyadische Produkt unterdrückt Rauschen und stabilisiert das Muster.

Was diese Beispiele beweisen

Diese drei Beispiele zeigen:

1. Musterstabilität

Das Muster des Outputs bleibt immer identisch, egal ob Input fehlt oder verrauscht ist.

2. Rekonstruktion

Fehlende Inputkomponenten werden vollständig ergänzt.

3. Rauschunterdrückung

Verrauschte Inputs führen zu sauberem Output.

4. Skalierungsinvarianz

Alle Störungen wirken nur als globaler Korrekturfaktor:

5. Intelligenzstiftende Eigenschaft

Das dyadische Produkt erzeugt Output, der im Input nicht vorhanden ist.

Lehrsatz über die Rekonstruktionsfähigkeit des dyadischen Produkts

Sei ein Gewichtsvektor und ein Divergenzvektor. Für jeden Inputvektor definiert das dyadische Produkt

einen Outputvektor, dessen Muster ausschließlich durch bestimmt wird.

Fehlen im Input einzelne Komponenten oder ist der Input verrauscht, so gilt für jeden gestörten Input :

mit einem Skalierungsfaktor

.

Damit bleibt das Muster des Outputs vollständig erhalten; fehlende oder verrauschte Inputkomponenten führen lediglich zu einer globalen Skalierung. Das dyadische Produkt ist damit eine der wenigen linearen Operationen, die unvollständige oder verrauschte Muster erkennen und fehlende Komponenten rekonstruieren können.

Warum das dyadische Produkt so selten ist

Es gibt nur sehr wenige mathematische Operationen, die:

• fehlende Information ergänzen,
• verrauschte Muster stabil erkennen,
• Output erzeugen, der im Input nicht enthalten ist,
• und das alles linear tun.

Das dyadische Produkt ist eine dieser extrem raren Operationen.

Diese intelligenzstiftende Eigenschaft dyadischer Produkte kann jedoch völlig verlorengehen.

Monografie von Dr. rer. nat. Andreas Heinrich Malczan

Monografie von Dr. rer. nat. Andreas Heinrich Malczan