[Back]

T. Schausberger:
"Temporally Coherent Cost Volume Filtering-based Depth Propagation in Videos";
Supervisor: M. Gelautz, N. Brosch; Institut für Softwaretechnik und interaktive Systeme, 2015; final examination: 2015-04-14.

The growing availability of three-dimensional (3D) displays in the commercial sector and related trends in this field increase the demand for 3D content. Therefore, the development of tools for the generation of 3D content is of academic and commercial interest. This thesis proposes a semi-automatic 2D-to-3D depth propagation algorithm, which requires only little user-effort and delivers good quality results. To perform the propagation, the user only needs to assign depth by annotating scribbles on the first and last frame. The proposed algorithm builds upon a cost volume filtering-based video object segmentation algorithm and propagates the user-assigned depth values to all frames of the video. Our work focuses on several quality attributes including temporal consistency, edge-sharpness mismatches and depth changes over time. The proposed algorithm achieves improved temporal consistency by enhanced temporal filtering. Moreover, the algorithm accounts for the depth change of an object moving throughout the video by the incorporation of the depth order of the video. Evaluations show that the proposed algorithm requires minimal user interaction and generates spatio-temporally coherent depth maps with a perceptually consistent depth change for objects that change their depth in time. Moreover, a quantitative and visual comparison of the proposed algorithm to a related 2D-to-3D conversion algorithm is performed. It is shown that high-quality results can be achieved by using a robust optical flow estimation and a comfortable scribble annotation by the user.

Die wachsende Verfügbarkeit von 3D-Bildschirmen im kommerziellen Bereich und damit verbundene Trends steigern die Nachfrage nach 3D-Inhalten. Daher ist die Entwicklung von Technologien zur Generierung von 3D-Inhalten von akademischem und kommerziellem Interesse. Im Zuge dieser Diplomarbeit wird ein semi-automatischer 2D-zu-3D Tiefenpropagierungsalgorithmus vorgestellt, welcher nur wenig Benutzeraufwand benötigt und Ergebnisse von guter Qualität liefert. Um die Propagierung durchzuführen, müssen BenutzerInnen lediglich grobe Tiefeninformationen auf dem ersten und letzten Bild des Videos angeben. Der vorgestellte Algorithmus baut auf einem Objektsegmentierungsalgorithmus für Videos auf, welcher mit Kostenfilterung arbeitet, und propagiert automatisch die von den BenutzerInnen angegebene Tiefe auf das gesamte Video. Diese Diplomarbeit fokussiert dabei besonders auf einige Qualitätsmerkmale wie zeitliche Kohärenz, unscharfe Tiefenkanten und zeitliche Tiefenänderungen. Der vorgestellte Algorithmus erzielt durch eine erweiterte zeitliche Filterung verbesserte Ergebnisse bezüglich der zeitlichen Kohärenz. Außerdem wird die zeitliche Tiefenänderung von Objekten, die sich im Laufe des Videos in der Tiefe bewegen, durch die Miteinbeziehung der Tiefenordnung der Objekte im Video ermöglicht. Evaluierungen zeigen, dass der vorgestellte Algorithmus mit minimalem Benutzeraufwand zeitlich-kohärente Tiefenkarten mit wahrnehmungskonsistenten Tiefenänderungen erzeugt. Zusätzlich wird der vorgestellte Algorithmus mit einem ähnlichen 2D-zu-3D Konvertierungsalgorithmus verglichen. Es wird gezeigt, dass hohe Qualität durch die Verwendung von robust geschätzten Optical Flow Vektoren und komfortable Tiefenannotierung durch BenutzerInnen erzielt werden kann.

http://publik.tuwien.ac.at/files/publik_238314.pdf