[Back]

H. Hofer:
"Real-Time Visualization Pipeline for Dynamic Point Cloud Data";
Supervisor: M. Gelautz; Institut für Softwaretechnik und interaktive Systeme, 2018; final examination: 2018-10-03.

Current developments in sensor and computer vision technologies are pushing the boundaries of extended reality (XR) applications. Digital customizable avatars, mimicking human emotions and gestures, are soon to be replaced by true 3D capturings of humans in mixed reality environments. Recording action filled scenes to recreate and place them in virtual or remote environments promises more lifelike and immerse experiences, extending the possibilities of virtual reality (VR), augmented reality (AR) and mixed reality (MR) applications. Photogrammetry and depth ranging sensors are already capable of bringing rigid real-world objects to the virtual world, with astoundingly realistic results. In addition, with modern depth sensors entering the smartphone industry, the next steps for mobile 3D capturing and online reconstruction have already been taken.
However, dynamic content with rapid changes in structure and topology is challenging to reconstruct, particularly for usage in real-time. This thesis presents a novel visualization pipeline, which facilitates the real-time reconstruction of dynamic point clouds in a widely used, flexible and powerful framework. We contribute a novel modular processing and rendering pipeline for the Unity3D game engine, a popular multi-platform engine for XR applications and mobile games. The implementation is capable of reconstructing photo-realistic 3D objects from dynamic depth sensor streams. Furthermore, the modular architecture allows for scalability and easy expandability. The quality of this novel visualization pipeline is determined through optical comparisons with classical visualization techniques, which show that those techniques are not easily distinguishable from the
results of our work. Moreover, the exact execution time of the algorithms is measured for different point clouds to proof their real-time ability.

Aktuelle Entwicklungen in Sensor und Computer Vision Technologien erweitern die Grenzen des Machbaren im Bereich von Extended Reality (XR) Anwendungen. Individualisierbare digitale Avatare, die menschliche Emotionen und Gesten nachahmen, werden bald durch echte 3D Aufnahmen unserer selbst in der virtuellen Welt ersetzt. Digitale 3D Rekonstruktionen von echten Umgebungen und lebendigen Objekten erlauben realitätsnahe und immersive Erlebnisse. Solche Aufnahmen können die virtuelle Welt um lebensechte Inhalte erweitern und so die Möglichkeiten für Virtual Reality (VR), Augmented Reality (AR) und Mixed Reality (MR) Anwendungen vergrößern. Photogrammetrie und Tiefensensoren sind bereits in der Lage starre Körper detailgetreu, mit erstaunlich lebensechten Resultaten, zu digitalisieren. Moderne Tiefensensoren haben bereits Einzug in den Smartphone-Markt erhalten und legen somit den ersten Stein für mobile Applikationen mit Echtzeit-3D-Rekonstruktions-Funktionalität. Allerdings ist das Rekonstruieren von sich schnell ändernden Szenen mit flexibler Topologie immer noch eine große Herausforderung, besonders in Echtzeitsystemen. Diese Diplomarbeit präsentiert eine neue Visualisierungs-Pipeline zur Oberflächenrekonstruktion von dynamischen Punktwolken, integriert in ein weitverbreitetes und flexibles Framework. Das modulare System erlaubt das flexible Verarbeiten und Darstellen von Punktwolken in der Unity3D Spiel-Engine, eine gängige plattformunabhängige Engine für XR Applikationen und mobile Spiele. Die Implementierung ermöglicht das Darstellen von fotorealistischen dynamischen Objekten direkt aus den Live-Daten von Tiefenkameras. Zusätzlich fördert die modulare Architektur die Skalier- und Erweiterbarkeit für verschiedenste Anwendungsfälle mit Punktwolkendaten. Die Qualität dieser neuen Visualisierungs-Pipeline wird durch den optischen Vergleich mit klassischen Visualisierungstechniken bestimmt. Dadurch kann gezeigt werden, dass sich diese kaum von den Ergebnissen der vorliegenden Arbeit unterscheiden. Zugleich wird die exakte Durchlaufzeit der verwendeten Algorithmen für verschiedene Punktwolken gemessen, um die Echtzeit-Lauffähigkeit zu belegen.

https://publik.tuwien.ac.at/files/publik_272811.pdf

Project Head Margrit Gelautz:
Innovativer Produktions-Workflow für präzise 3D-Szenenrekonstruktion