für das Human Brain Projekt der Europäischen Union
Monografie von Dr. rer. nat. Andreas Heinrich Malczan
Intelligenz setzt Wissen voraus. Ohne Wissen kann kein System – biologisch oder künstlich – Muster erkennen, Entscheidungen treffen oder Vorhersagen generieren. Wissen entsteht durch Lernen, also durch dauerhafte Veränderungen der synaptischen Stärken in einem neuronalen Netzwerk.
In biologischen Netzen erfolgt Lernen durch die Interaktion des Organismus mit seiner Umwelt. Erfahrungen verändern synaptische Stärken, verstärken nützliche Verknüpfungen und schwächen weniger hilfreiche ab. So entsteht ein wachsendes, strukturiertes Wissensnetz, das Wahrnehmung, Verhalten und Denken ermöglicht.
Künstliche neuronale Netze erwerben Wissen auf andere Weise: Sie werden mit großen Mengen bereits vorhandener Daten „gefüttert“. Mathematische Optimierungsalgorithmen verändern die Gewichte so, dass das Netz ein gewünschtes Outputverhalten zeigt. Obwohl die Mechanismen unterschiedlich sind, beruhen beide Systeme auf demselben Grundprinzip:
Wissen entsteht durch die Anpassung synaptischer Stärken.
IIm Folgenden betrachten wir vier grundlegende Lernmechanismen, die sowohl in biologischen als auch in künstlichen neuronalen Netzen eine zentrale Rolle spielen.
Donald Hebb formulierte 1949 das Prinzip, das heute als Hebb’sche Lernregel bekannt ist: >„Neurons that fire together, wire together.“
Wenn zwei Neuronen gleichzeitig aktiv sind, wird die Verbindung zwischen ihnen stärker. Das Netzwerk lernt dadurch, häufig gemeinsam auftretende Muster zu verstärken. Hebb-Lernen ist die Grundlage für:
Das komplementäre Anti-Hebb-Lernen schwächt Verbindungen, wenn die Aktivität zweier Neuronen systematisch entgegengesetzt ist. Dadurch werden störende oder redundante Korrelationen unterdrückt. Beide Mechanismen zusammen ermöglichen es biologischen Netzen, relevante Muster zu verstärken und irrelevante zu eliminieren.
In künstlichen neuronalen Netzen erfolgt Lernen meist durch Gradientenverfahren. Dabei wird eine Fehlerfunktion definiert, die misst, wie weit das aktuelle Verhalten des Netzes vom gewünschten Verhalten abweicht. Die Gewichte werden dann so angepasst, dass der Fehler minimiert wird.
Das bekannteste Verfahren ist das Backpropagation-Verfahren, bei dem der Fehler rückwärts durch das Netz propagiert wird. Die Gewichte werden proportional zum Gradienten der Fehlerfunktion verändert.
Gradientenverfahren sind:
Sie bilden das Rückgrat moderner KI-Systeme, unterscheiden sich jedoch in ihrer biologischen Plausibilität deutlich von natürlichen Lernmechanismen.
Biologische neuronale Netze bestehen aus vielen Neuronen, die mit vielen anderen verknüpft sind. Ohne zusätzliche Mechanismen würden mehrere Neuronen dieselben Komplexsignale erlernen und damit wertvolle Ressourcen verschwenden. Das Nervensystem muss daher sicherstellen, dass sich Neuronen spezialisieren, anstatt redundante Repräsentationen auszubilden.
In künstlichen neuronalen Netzen wird dieses Problem als Brechung der Symmetrie bezeichnet: Wenn alle Neuronen identische Eingänge und identische Anfangsgewichte besitzen, würden sie ohne zusätzliche Maßnahmen dieselben Funktionen lernen. KI-Systeme lösen dies durch zufällige Initialisierung oder explizite Regularisierung.
Biologische Netze nutzen einen anderen, eleganteren Mechanismus: neuronale Konkurrenz durch laterale Hemmung.
Dieser Konkurrenzmechanismus erzwingt eine funktionale Differenzierung der Neuronen und verhindert redundantes Lernen. Ohne laterale Hemmung könnte in natürlichen Netzen kein Symmetriebruch stattfinden – alle Neuronen würden dieselben Muster kodieren, und komplexe Repräsentationen könnten sich nicht herausbilden.
Laterale Hemmung ist daher ein zentraler Mechanismus für:
Sie bildet die biologische Grundlage für Lernregeln, die statistische Strukturen aus dem Input extrahieren.
Oja’s Regel ist eine biologisch plausible Weiterentwicklung der Hebb’schen Lernregel. Sie verstärkt Korrelationen, verhindert aber gleichzeitig, dass die Gewichte unbegrenzt wachsen. Dadurch entsteht eine stabile, normalisierte Repräsentation der wichtigsten Merkmalsrichtungen im Input.
Sanger’s Regel geht einen entscheidenden Schritt weiter: Sie kombiniert Hebb-Lernen mit lateraler Hemmung und erzeugt dadurch ein Netzwerk, in dem mehrere Neuronen verschiedene, orthogonale Hauptkomponenten lernen.
Der entscheidende Punkt ist: Sanger’s Regel funktioniert nur, weil laterale Konkurrenz den Symmetriebruch erzwingt.
Damit bildet Sanger’s Regel eine biologisch plausible Form der Principal Component Analysis (PCA), die vollständig lokal und ohne globale Optimierung auskommt.
Sie zeigt, wie biologische Netze:
Monografie von Dr. rer. nat. Andreas Heinrich Malczan