[Back]

C. Kapeller:
"Evaluation of a 3D Reconstruction System Comprising Multiple Stereo Cameras";
Supervisor: M. Gelautz; Fakultät für Informatik der Technischen Universität Wien, 2018; final examination: 2018-12-19.

Recent advances in the fields of media production and mixed/virtual reality have generated an increasing demand for high-quality 3D models obtained from real scenes. A variety of 3D reconstruction methods including stereo vision techniques can be employed to compute the scene depth. Generally, the accuracy of stereo matching algorithms can be evaluated using well-established benchmarks with publicly available test data and reference solutions. As opposed to standard imaging configurations, the quality assessment of data delivered by customized 3D reconstruction systems may require the development of novel or adapted evaluation strategies tailored to the specific set-up. This work is concerned with evaluating the quality and accuracy of 3D models acquired with a 3D reconstruction system consisting of three stereo cameras. To this end, three different evaluation strategies are proposed and implemented. First, the 3D model accuracy is determined by acquiring reconstructions of geometrically simple validation objects (sphere, cuboid) that were specifically created for this purpose. Corresponding ideal 3D objects are fitted into the reconstructed point clouds and are compared to their real measurements. Second, an image-based novel view evaluation determines the accuracy of multiple reconstruction approaches on intermediate point clouds and final 3D mesh models. Finally, a pair comparison-based user study determines the subjective quality of different depth reconstruction approaches on acquired textured 3D mesh models. We demonstrate the three evaluation approaches on a set of self-recorded data. In this context, we also observe that the performance of the examined approaches varies only slightly in the novel view evaluation, while the user study results show clear preferences, which confirms the necessity to combine both quantitative and qualitative evaluation.

Jüngste Fortschritte in den Bereichen Medienproduktion und Mixed/Virtual-Reality erzeugen zunehmenden Bedarf nach qualitativ hochwertigen 3D Modellen realer Szenen. Mehrere 3D Rekonstruktionsmethoden inklusive Stereo Vision können zur Berechnung von Bildtiefe angewendet werden. Generell kann die Genauigkeit von Stereo Matching Algorithmen mit etablierten Benchmarks und öffentlich zugänglichen Referenzlösungen ermittelt werden. Im Gegensatz zu üblichen Bildsensorkonfigurationen, bedarf die Evaluierung von Daten aus 3D Rekonstruktionssystemen mit einem speziellen Aufbau der Entwicklung neuer oder adaptierter, auf das jeweilige System zugeschnittener, Bewertungsstrategien. Diese Arbeit befasst sich mit der Bewertung von Qualität und Genauigkeit von 3D Modellen, die mit einem 3D Rekonstruktionssystem bestehend aus drei Stereokameras erzeugt wurden. Dazu werden drei verschiedene Evaluierungsmethoden vorgeschlagen und umgesetzt. Zunächst wird die Genauigkeit von 3D Modellen mittels geometrisch einfacher, speziell zu diesem Zweck erstellter, Körper (Kugel, Quader) ermittelt. Entsprechende ideale 3D Objekte werden in rekonstruierte Punktwolken eingepasst und mit den echten Maßen verglichen. Weiters bestimmt eine bildbasierte Novel View Evaluierung die Genauigkeit verschiedener Rekonstruktionsmethoden bei Punktwolken und finalen 3D Netzmodellen. Zuletzt ermittelt eine paarvergleichsbasierende Studie die subjektive Qualität verschiedener Rekonstruktionsverfahren anhand selbst erstellter texturierter 3D Netzmodelle. Wir demonstrieren die drei Evaluierungsverfahren anhand selbst erstellter Daten. In diesem Kontext beobachten wir, dass sich die Genauigkeit der betrachteten Methoden in der Novel-View Evaluierung nur leicht voneinander unterscheidet, die Resultate der Benutzerstudie jedoch eindeutige Präferenzen zeigen. Dies bestätigt die Notwendigkeit quantitative mit qualitativen Evaluierungsmethoden zu verbinden.

https://publik.tuwien.ac.at/files/publik_274526.pdf