[Zurück]

L. Gersthofer:
"Spatio-Temporal Filtering for Real-Time Path Tracing in Virtual Reality";
Betreuer/in(nen): H. Kaufmann, P. Kán; Institute of Visual Computing & Human-Centered Technology, 2020; Abschlussprüfung: 04/2020.

Die Einführung von NVIDIAs Turing Architektur kombiniert mit der Erweiterung der
Grafikschnittstelle DirectX erlaubte erstmals den Einsatz von Echtzeit-Strahlenverfolgung
in grafischen Echtzeit-Anwendungen. Gleichzeitig gibt es Grafikentwicklern die Möglichkeit
globale Effekte wie Schatten oder Reflexionen physikalisch korrekt und trotzdem
dynamisch zu berechnen. Die Integration in populäre Game-Engines wie Unreal Engine1
und Unity2 stellt diese neuen Funktionen einer großen Menge an Spiele- und Grafikentwicklern
zur Verfügung.
Das Eintauchen in die virtuelle Realität (VR) mit Hilfe von geeigneten Systemen erfreute
sich nicht nur großer Beliebtheit in der Entertainment Branche, sondern fand auch
mehr und mehr Einsatz in medizinischen sowie Lehr- und Trainingsanwendungen. Auf
besonderen Wert sollte hier nicht nur auf die geometrische Komplexität der virtuellen
Szene, sondern auch auf deren physikalisch plausible Beleuchtung gelegt werden. Daher
eignet sich der Einsatz der Echtzeit-Strahlenverfolgung in VR besonders um qualitativ
hochwertige Beleuchtungsmodelle umsetzen zu können, die auch auf dynamische Änderungen
der Beleuchtungssituation reagieren können. Allerdings muss dabei beachtet
werden, dass der Einsatz dieser neuen und noch limitierten Technologie zu zusätzlichem
Berechnungsaufwand führt, der in VR Applikationen bereits höher ist als bei Desktop
Anwendungen.
Diese Arbeit beschäftigt sich mit der Integration der Lichtransportmethode Pathtracing
in einem hybriden Ansatz. Dabei soll zunächst der erste Strahl jedes Pixels rasterisiert
werden und anschließend eine geringe Anzahl an indirekten Strahlen verfolgt werden. Das
daraus resultierende Bild enthält einen hohen Grad an Bildrauschen, das durch zeitliche
Akkumulation und Filterung von benachbarten Pixel bereinigt werden soll. Zusätzlich
wird eine Änderung in der Ermittlung von Varianz angedacht, die zur gänzlichen Bereinigung
von Bildrauschen notwendig ist. Schließlich wird ein neues System zur Reduzierung
der Anzahl an verfolgten Strahlen vorgeschlagen um das notwendige Zeitbugdet pro Bild
einhalten zu können.

Ray tracing has raised its importance for real-time rendering since the presentation of
NVIDIAs Turing architecture and Microsofts extension DirectX Raytracing (DXR). It
allows for computing physically correct renderings dynamically for various global lighting
effects such as shadows or reflection for example. Integration into major game engines
such as Unreal Engine3 and Unity4 made these features quickly accessible to a wide range
of game developers and graphics programmers.
At the same time, consumer-level virtual reality (VR) systems gained more attention
not just in the entertainment industry but also for medical, educational and training
purposes. Perception of virtual scenes depends not only on geometric complexity but
also heavily on physically plausible lighting. Hence, the combination of aforementioned
real-time ray tracing with VR to produce visually more plausible lighting scenarios and
increase immersion seems natural. Unfortunately, rendering for VR systems requires
more computational power than ordinary graphics applications for desktop systems and
real-time ray tracing is still limited in its extent.
This thesis investigates if the light transport method - path tracing - is suitable to be used
in a virtual reality setup in order to produce higher quality dynamic lighting. Therefore,
a hybrid rendering pipeline is proposed combining path tracing with a low number of
samples per pixel and spatio-temporal filtering of the noisy path tracer output. The
pipeline comprises rasterization of first hits, tracing of a low amount of indirect rays per
pixel, temporal accumulation of path tracing samples and, finally, de-noising of the highly
noisy path traced image. In addition, this thesis introduces a novel masking system
which provides a trade-off between the number of traced rays and the visual quality of
dynamic objects. Furthermore, an improvement to the variance estimation of the chosen
de-noising approach is proposed.
A prototype shows that path tracing together with de-noising can achieve interactive
frame rates suitable for VR applications. Resulting quality is comparable to reference
renderings. The proposed masking system allows for further tuning of performance
without introducing noticeable artifacts, making this approach viable for a large range of
hardware setups.

https://publik.tuwien.ac.at/files/publik_292090.pdf