17.01.2025, 15:15 Uhr

Universität Wien
Besprechungsraum 4.34
Währinger Str. 29
1090 Wien

Titel: Numerical Methods for the Injectivity of ReLU-Layers

Kurzfassung:
Injektivität ist eine erstrebenswerte Eigenschaft für neuronale Netzwerkschichten, da
sie Invertierbarkeit sicherstellt, was das neuronale Netz interpretierbarer macht, weil
sie es ermöglicht, den Entscheidungsprozess nachzuvollziehen. ReLU-Schichten sind
weit verbreitete Bausteine neuronaler Netzwerke und verwenden die die ReLU-Funktion
als Aktivierungsfunktion. Die ReLU-Funktion ist als ReLU(s) = max(0, s) definiert,
wobei sie komponentenweise auf die lineare Funktion Wx ³ É angewendet wird und
W ± Rm×n die Gewichtsmatrix, É ± Rm der Bias-Vektor und x ± Rn der Datenpunkt
ist. Bis heute ist die praktische Verifikation der Injektivität von ReLU-Schichten nicht
vollständig gelöst. In einer kürzlich erschienenen Arbeit haben meine Betreuer [HBE23]
eine frametheoretische Bedingung zur Sicherstellung der Injektivität von ReLU-Schichten
auf o"enen oder konvexen Mengen eingeführt. Die Bedingung ist eine obere Schranke É"
für den Bias-Vektor É, sodass die zugehörige ReLU-Schicht injektiv ist. Allerdings ist
die exakte Berechnung der vorgeschlagenen oberen Schranke É" in hohen Dimensionen
rechnerisch nicht durchführbar. Das erste Ziel dieser Arbeit ist es, einen probabilistischen
Algorithmus bereitzustellen, der die obere Schranke É" approximiert. Die Idee basiert auf
einem Monte-Carlo-Sampling-Ansatz und der Sicherstellung der punktweisen Injektivität
für jede gezogene Stichprobe. Als nächster Schritt zur Verbesserung des Algorithmus
werden wir datengesteuertes Sampling anstelle von uniformen Sampling durchführen.
Wir schlagen zwei Ansätze zur Implementierung vor: 1) Erweiterung der Trainingsdaten
durch Hinzufügen von Gaußschem Rauschen und Verwendung der erweiterten Train-
ingsdaten als Zufallsstichproben für das Monte-Carlo-Sampling und 2) Verwendung von
Kerndichteschätzung. Das ultimative Ziel ist, dass die geschätzte obere Schranke eine
höhere Wahrscheinlichkeit hat, Injektivität für Stichproben sicherzustellen, die nahe (in
der euklidischen Distanz) an Stichproben in den Trainingsdaten liegen. Das zweite Ziel
dieser Arbeit ist es, den eingeführten Algorithmus zur approximativen numerischen Veri-
fikation der Injektivität von ReLU-Schichten zu verwenden um das Injektivitätsverhalten
einer ReLU-Schicht während des Trainings eines neuronalen Netzwerks in verschiedenen
Szenarien untersuchen. Im letzten Schritt erzwingen wir die Injektivität während des
gesamten Trainingsprozesses und bewerten anschließend die Auswirkungen auf Leistung
und Robustheit.
v