[Back]

K. Zsolnai:
"Photorealistic Material Learningand Synthesis";
Supervisor, Reviewer: M. Wimmer, T. Möller, D. Nowrouzezahrai; Visual Computing and Human-Centered Technology, 2019.

Light transport simulations are the industry-standard way of creating convincing photo-realistic imagery and are widely used in creating animation movies, computer animations, medical and architectural visualizations among many other notable applications. These techniques simulate how millions of rays of light interact with a virtual scene, where the realism of the final output depends greatly on the quality of the used materials and the geometry of the objects within this scene. In this thesis, we endeavor to address two key issues pertaining to photorealistic material synthesis: first, creating convincing photorealistic materials requires years of expertise in this field and requires a non-trivial amount of trial and error from the side of the artist. We propose two learning-based methods that enables novice users to easily and quickly synthesize photorealistic materials by learning their preferences and recommending arbitrarily many new material models that are in line with their artistic vision. We also augmented these systems with a neural renderer that performs accurate light-transport simulation for these materials orders of magnitude quicker than the photorealistic rendering engines commonly used for these tasks. As a result, novice users are now able to perform mass-scale material synthesis, and even expert users experience a significant improvement in modeling times when many material models are sought.
Second, simulating subsurface light transport leads to convincing translucent material visualizations, however, most published techniques either take several hours to compute an image, or make simplifying assumptions regarding the underlying physical laws of volumetric scattering. We propose a set of real-time methods to remedy this issue by decomposing well-known 2D convolution filters into a set of separable 1D convolutions while retaining a high degree of visual accuracy. These methods execute within a few milliseconds and can be inserted into state-of-the-art rendering systems as a simple post-processing step without introducing intrusive changes into the rendering pipeline.

Die Simulation von Licht ist der Industriestandard, um überzeugende fotorealistische Bilder zu erzeugen und wird häufig bei der Erstellung von Animationsfilmen, Computera-nimationen, in Architektur-/ Medizinvisualisierung und vielen weiteren nennenswerten Anwendungen eingesetzt. Da diese Techniken die Interaktionen zwischen Millionen von Lichtstrahlen in virtuellen Szenen simulieren ist das Endergebniss sehr stark von der Qualität der benutzten Materialien und Objektgeometrien in der Szene abhängig. In dieser Dissertation behandeln wir zwei Kernprobleme bezüglich der photorealistischen Materialsynthese.
Erstens, das Erstellen von überzeugenden photorealistischen Materialien. Das Erlernen dieser Fähigkeit erfordert jahrelange Erfahrung eines geschulten Künstlers und selbst dann ist ein nicht trivialer Zeitaufwand pro Material seitens des Künstlers gefüllt mit Ausprobieren und Nachbessern. Wir schlagen zwei lernbasierte Methoden vor, welche es unerfahrenen Nutzern ermöglichen, einfach und schnell photorealistische Materialien zu synthetisieren indem die Präferenzen der Nutzer erlernt werden und anhand derer beliebig viele neue Materialmodelle vorgeschlagen werden welche mit der artistischen Vision des Nutzers in Einklang sind. Wir haben dieses System außerdem mit einem neuronalen Renderer erweitert der die akkurate Lichtsimulation um Größenordnungen schneller berechnen kann als herkömmliche Renderer die üblicherweise für diese Art von Aufgabe verwendet werden. Infolge dessen sind unerfahrene sowie erfahrene Benutzer nun in der Lage sehr schnell eine massive Anzahl an Materialien zu synthetisieren, welches für beide eine signifikante Beschleunigung im Lern- und Arbeitsprozess darstellt.
Zweitens, die Simulation von Lichtstreuung unterhalb der Oberfläche eines Materials (subsurface scattering). Solche eine Simulation ermöglicht die realitätsnahe Darstellung bestimmter lichtdurchlässiger Materialien, jedoch haben die meisten publizierten Metho-den einen sehr hohen Rechenaufwand und benötigen mehrere Stunden zur Berechnung eines Bildes oder benutzen sehr vereinfachte Annahmen über die Streuung des Lichtes innerhalb des Materials. Wir schlagen eine Reihe von Echtzeitmethoden vor die dieses Problem lösen indem bekannte 2D Faltungsfilter in einzelne 1D Filter zerlegt werden wobei ein hohen Grad an visueller Genauigkeit erhalten bleibt. Diese Methoden haben Laufzeiten von wenigen Millisekunden und können in gängige Renderingsysteme als einfacher Nachbearbeitungsschritt ohne tiefgreifende Änderungen integriert werden.

https://publik.tuwien.ac.at/files/publik_284631.pdf