[Zurück]


Diplom- und Master-Arbeiten (eigene und betreute):

M. Kröter:
"Streaming and Exploration of Dynamically Changing Dense Surface Reconstructions in Immersive Virtual Reality";
Betreuer/in(nen): H. Kaufmann, A. Mossel; Institut für Softwaretechnik und Interaktive Systeme, 2016; Abschlussprüfung: 29.04.2016.



Kurzfassung deutsch:
Günstige Tiefenbildkameras wie die Microsoft Kinect ermöglichen es die Struktur der
Umwelt zu erfassen. Mit Hilfe von 3D Rekonstruktionsverfahren kann ein detailliertes
3D-Modell in Echtzeit aus den Kameradaten berechnet werden. Autonome Roboter
können diese Techniken anwenden, um eine Karte der Szene zu erstellen, während sie
diese erforschen. Dies ermöglicht es dem Roboter, sich selbst in unbekannten Umgebungen
zu orten und zu navigieren. Das rekonstruierte Modell kann zudem auch für andere
Parteien interessant sein, um sich ein Bild dieser Umgebung zu machen. Besonders weit
entfernte oder gefährliche Bereiche können durch Roboter gescannt werden, während
entfernte Beobachter in der Lage sind, sicher einen Überblick über die Szene zu bekommen.
Um diese Fernerkundung zu erlauben, während die Szene noch gescannt wird, müssen
die rekonstruierten Daten inkrementell über ein drahtloses Netzwerk gesendet werden.
Da derzeit keine Lösungen mit inkrementeller Netzwerkübertragung vorhanden sind,
wird das existierende Rekonstruktionsframework InfiniTAM erweitert, um genau dies
für große, dynamische Modelle zu unterstützen. Die Visualisierung und Exploration des
Modells wird mit Hilfe der Unreal Engine 4 durchgeführt, einer State-of-the-Art 3DEngine.
Zu diesem Zweck wird eine Darstellnung des Modells als Dreiecksnetz bevorzugt,
während dichte Rekonstruktionsverfahren meist mit einer volumetrischen Darstellung
arbeiten. In aktuellen Ansätzen wird das Dreiecksnetz in einem Nachbearbeitungsschritt
extrahiert. Dies ist jedoch nicht anwendbar, wenn die Szene noch während dem Scannen
betrachtet und erforscht werden soll. Das verwendete Rekonstruktionframework ist daher
so angepasst, dass ein aktuelles Dreiecksnetz in Echtzeit erhalten wird. Das rekonstruierte
Dreiecksnetz wird schließlich in einem Virtual Reality Setup mittels Head-Mounted
Display und einem omnidirektionalen Laufband erforscht. Der Einsatz von Virtual Reality
Hardware ermöglicht es, auf natürliche Art und Weise zu navigieren. Das entwickelte
System ist in Bezug auf die Speicheranforderungen und Datenübertragunsraten evaluert.
Zudem ist der Erwerb des Raumverständnisses im Rahmen einer Nutzerstudie analysiert.

Kurzfassung englisch:
Low cost commodity depth cameras like the Microsoft Kinect allow to sense the structure
of the environment. With the aid of dense surface reconstruction methods, a detailed 3D
model can be computed in real-time from the acquired camera data. Autonomous robots
can apply this techniques in order to build a map of the scene while they are exploring
it. This allows the robot to locate itself and to navigate in unknown environments.
Besides that, the reconstructed model can be interesting for different parties, who want
to explore these environments as well. Especially, distant or dangerous areas can be
scanned by robots while remote observers are able to safely get an overview of the scene.
In order to support remote exploration while the scene is still scanned, the reconstructed
information has to be streamed incrementally over wireless network. Since currently no
solution exists with this feature, the existing reconstruction framework InfiniTAM is
extended to support the transmission of a large scale, dynamically changing model. The
visualization and exploration of the model is performed with the aid of Unreal Engine 4,
a state-of-the-art 3d engine. For this purpose, a triangular mesh representation is favored,
while dense reconstruction methods mostly operate on a volumetric representation.
In current approaches, the mesh is extracted in a post-processing step, which is not
applicable when the scene should be explored while being scanned and updated. The
used reconstruction framework is therefore adapted to maintain an up-to-date mesh in
real-time. The reconstructed mesh finally is explored in a virtual reality setup using a
head-mounted display and an omnidirectional treadmill. The usage of virtual reality
hardware enhances the ease of use and makes it possible to navigate in a natural way.
The developed system is evaluated in terms of memory requirements and data rates as
well as within a user study, that analyzes the effect of the incremental streaming and the
virtual reality exploration on spatial knowledge acquisition.

Schlagworte:
Virtual Reality, 3D Surface Reconstruction, Streaming, Exploration, Immersive


Elektronische Version der Publikation:
http://publik.tuwien.ac.at/files/publik_254648.pdf


Erstellt aus der Publikationsdatenbank der Technischen Universität Wien.