09.07.2025, 15:00 Uhr

Universität Wien
Besprechungsraum 4.34
Währinger Str. 29
1090 Wien

Titel: Pairwise Evaluation of Explanation Methods for Black-Box
Models on Tabular Data

Kurzfassung:

Fortschritte in der Leistung von Black-Box-Modellen haben das Interesse an einem tieferen Verständnis
ihrer internen Mechanismen gesteigert, insbesondere da diese Modelle in kritischen Bereichen
außergewöhnliche Vorhersagefähigkeiten demonstrieren. Obwohl zahlreiche Erklärungsverfahren
existieren, wurde deren kombinierte Wirkung bisher nicht systematisch untersucht, was eine Wissenslücke
hinsichtlich der potenziellen Vorteile der Integration mehrerer Techniken schafft. Diese
Arbeit schließt diese Lücke durch eine systematische Evaluierung etablierter Erklärungsverfahren
– darunter SHAP, LIME und Partial Dependence Plots – sowie drei neuartige Ansätze, wobei ein
besonderer Schwerpunkt auf Modellen liegt, die tabellarische Daten verarbeiten.
Die Arbeit kombiniert eine Analyse anhand synthetischer Daten mit einer realen Nutzerstudie,
um zu untersuchen, ob verschiedene Erklärmethoden in Bezug auf das subjektive und objektive
Verständnis variieren und ob ihre Kombination das Gesamtverständnis des Modells verbessert. Die
Nutzerstudie mit 129 Teilnehmern wurde so konzipiert, dass sie das Verständnis der Erklärmethode
sowie des zugrunde liegenden Modells sowohl quantitativ als auch qualitativ bewertet. Die Annahmen
für die Evaluierung synthetischer Daten wurden speziell entwickelt, um die Eigenschaften
der zugrunde liegenden Daten zu testen, die jedes Erklärungsverfahren aufdecken soll.
Die Evaluierung mit synthetischen Daten bestätigte zentrale Annahmen der neuartigen Ansätze.
An verschiedenen Breakpoints im Trainingsprozess wurden die SHAP-Werte in einen Embedding-
Raum mittels UMAP (Uniform Manifold Approximation and Projection) projiziert – einer nichtlinearen
Dimensionsreduktionsmethode zur Visualisierung hochdimensionaler Daten. Eine zunehmende
Modellkomplexität korrelierte mit stärkeren Verschiebungen in den Embedding-Positionen an diesen
Breakpoints, und es bildeten sich Cluster, die Unterschiede zwischen den Subgruppen hervorhoben.
Frequent Pattern Mining ergab, dass Merkmale mit starken Interaktionse!ekten tendenziell hohe
Lift-Werte aufweisen – ein Maß dafür, wie viel häufiger zwei Merkmale gemeinsam auftreten als
zufällig erwartet – und dass Feature Context Embeddings, die Vektorrepräsentationen der Merkmale
basierend auf dem Kontext ihrer Verwendung erzeugen, verwandte Merkmale e!ektiv gruppierten.
Die Ergebnisse der Evaluierung mit synthetischen Daten zeigen, dass die neuartigen
Erklärungsansätze in der Lage sind, Eigenschaften der zugrunde liegenden Daten zu erfassen und
somit eine Grundlage f¨ur ihre Anwendbarkeit in realen Szenarien zu schaffen.
Die Ergebnisse der Nutzerstudie zeigen, dass die Erweiterung bestehender Erklärungsverfahren
– insbesondere durch den Einsatz von UMAP zur Verbesserung von SHAP, um die Lernmuster
des Modells besser sichtbar zu machen – statistisch signifikante Verbesserungen im subjektiven
Verständnis und in der Interpretation der Merkmalswichtigkeit bewirkt. Die Ergebnisse deuten
darauf hin, dass die auf UMAP basierende SHAP-Erweiterung subjektiv gut verstanden wurde,
wohingegen das objektive Verständnis niedriger ausfiel als bei PDP und SHAP, was vermutlich
auf unterschiedliche Abstraktionstiefen zurückzuführen ist. Die Bildung hatte einen signifikanten
Einfluss auf beide Verständnistypen, wobei ein höherer Bildungsgrad mit einem besseren subjektiven
Verständnis korrelierte, jedoch nicht mit einer verbesserten objektiven Leistung. Das durch
die Kombination zweier Erklärungen entstandene Modellverständnis konnte zuverlässig durch die
Summe ihrer Einzelbeiträge vorhergesagt werden, und die Ergebnisse deuten auf einen möglichen
abnehmenden E!ekt bei der Integration unterschiedlicher Ansätze hin, obwohl dieser E!ekt auf
dem 5%-Niveau statistisch nicht signifikant war. Insgesamt zeigen die Ergebnisse der Nutzerstudie,
dass die Kombination von zwei Erklärungsverfahren das Gesamtverständnis des Modells
verbessert.