22.01.2025, 11:00 Uhr

Universität Wien
Besprechungsraum 4.34
Währinger Str. 29
1090 Wien

Titel: De-lighting color textures of 3D models

Kurzfassung:
Die Nachfrage nach hochwertigen 3D-Modellen ist in verschiedenen Bereichen, einschließlich
der Videospielentwicklung, Filmproduktion, Erhaltung des kulturellen Erbes und
Dokumentation von realen Objekten, erheblich gestiegen. Die Erfassung von 3D-Modellen
durch Methoden wie Laserscanning oder Photogrammetrie führt jedoch oft dazu, dass
Beleuchtungseffekte in die Farbtextur des 3D-Modells eingebettet werden, was Herausforderungen
für dynamische Beleuchtungsszenarien und eine anpassbare Modellnutzung
darstellt. Diese Arbeit befasst sich mit der Aufgabe der Entfernung von Lichteffekten in
Farbtexturen von 3D-Modellen, wobei der Fokus auf der Entfernung von Schatten, Glanzlichtern
und Verfärbung durch Licht aus Farbtexturen liegt. Zwei Hauptansätze wurden
entwickelt und evaluiert: eine bildbasierte Methode unter Verwendung einer Conditional
Generative Adversarial Network (CGAN) Architektur und eine pixelbasierte Methode, die
ein einfacheres lineares neuronales Netzwerk einsetzt, das Texturen pixelweise verarbeitet.
Experimente wurden durchgeführt, um die optimale Konfiguration und Eingabedaten
für jeden Ansatz zu ermitteln. Zusätzlich wurde die Nutzung verschiedener Farbräume
evaluiert, um die am besten geeignete Repräsentation der Farbdaten in der Farbtextur
des digitalisierten 3D-Modells sowie zusätzlich generierte ergänzende Eingabefarbtexturen
zu identifizieren. Es wurde festgestellt, dass der Oklab-Farbraum die besten Ergebnisse
liefert, was die Bedeutung der Auswahl eines geeigneten Farbraums für hochwertige
Lichtbereinigungsergebnisse unterstreicht. Für den bildbasierten CGAN-Ansatz erzielte
die Nutzung aller verfügbaren ergänzenden Texturen, einschließlich lightmap, light color
map, ambient occlusion map und UV texture area map, die besten Ergebnisse. Der
pixelbasierte Ansatz zeigte die besten Ergebnisse unter ausschließlicher Verwendung der
light color map als zusätzliche Eingabe. Im Vergleich der beiden Ansätze wies die pixelbasierte
Methode mehrere Vorteile auf, darunter ein geringerer Bedarf an Trainingsdaten,
eine flexible Handhabung verschiedener Eingabetexturauflösungen und visuell bessere
Ergebnisse mit mehr erhaltenen Details. Während das bildbasierte Modell hinsichtlich
der verarbeiteten Texturauflösung weniger flexibel ist, ermöglicht seine Verarbeitung
der gesamten Textur in einem Schritt die Analyse des globalen Kontexts der Textur,
um beispielsweise das allgemeine Farbbild der Textur einzubeziehen. Diese Erkenntnisse
verdeutlichen die Kompromisse zwischen der ganzheitlichen Bildverarbeitung mit globalem
Kontextverständnis und lokaler Detailerhaltung durch Verarbeitung auf Pixelebene bei
der Aufgabe der Entfernung von Lichteffekten.
Zudem wurde ein Prozess zur Schätzung der Lichtverhältnisse entwickelt, um eine
manuell bereitgestellte Anfangsschätzung der Lichtumgebung automatisch zu verfeinern
und die Nachbildung von Licht in Blender zur Generierung ergänzender Eingabetexturen
zu verbessern. Verschiedene Optimierungsmethoden wurden evaluiert, um eine geeignete
Lösung für die komplexe Aufgabe der Lichtschätzung zu finden. Dieser Prozess ist
besonders herausfordernd, wenn die Farbtextur des digitalisierten 3D-Modells als einzige
Quelle für Beleuchtungsinformationen dient. Die Komplexität ergibt sich aus der
Notwendigkeit, mehrere Beleuchtungsparameter wie Lichtrichtung, Intensität und Farbe
aus einem einzelnen Bild abzuleiten, das die kombinierten Effekte dieser Faktoren enthält.
Zusätzlich beinhalten reale Beleuchtungsbedingungen oft mehrere Lichtquellen
und komplexe Wechselwirkungen mit der Umgebung, was den Schätzungsprozess weiter
erschwert.
Obwohl die vorgeschlagenen Methoden Beleuchtungseffekte und Schatten in einer
kontrollierten Testumgebung erfolgreich aus Farbtexturen entfernen, bleiben einige Einschränkungen
bei der Anwendung der Techniken auf reale 3D-Scans bestehen. Dazu gehören
Ungenauigkeiten in der erfassten 3D-Geometrie und Herausforderungen bei der Schätzung
komplexer realer Beleuchtungsumgebungen. Zukünftige Forschungsansätze könnten sich
auf die Optimierung der Geometrieerfassung sowie die Erforschung fortschrittlicher Methoden
zur Schätzung und Simulation komplexer Beleuchtungsszenarien konzentrieren. Ziel
dabei wäre es, die vorgeschlagenen Ansätze robuster zu gestalten und ihre Anwendbarkeit
auf beliebige reale Scans zu erweitern.