[Back]

M. Ivancsics:
"Effiziente Tiefenpropagierung in Videos mit GPU-Unterstützung";
Supervisor: M. Gelautz, N. Brosch; Institut für Softwaretechnik und interaktive Systeme, 2014; final examination: 2014-01-17.

The commercial availability of stereoscopic displays increases the demand for 3D content. Therefore, fast and robust tools for the generation of such content are of academic and commercial interest. An avenue to generating 3D content is to convert existing 2D content to 3D using specialized software. In this regard, the effort for annotation by conversion specialists and overall computation time are two crucial factors. To this end, this thesis presents an optimized semi-automatic algorithm for efficient 2D-to-3D video conversion that is based on an existing conversion algorithm. In the existing algorithm, the specialist provides sparse depth information. This depth is then propagated to the specified video clip, using segmentation and filtering techniques. The primary goal of this thesis is to reduce the computation time of the existing 2D-to-3D conversion algorithm, while maintaining the quality of its results. To achieve this goal, the most computationally expensive parts of the algorithm are re-implemented on the GPU, where they are processed in parallel. The optimization of the existing conversion algorithm also includes the optimization of the segmentation and filtering stages. The limited capacity of the GPU´s onboard memory places limits on the parallel execution of large data sets like videos. This thesis solves this problem by splitting long videos into smaller sequences and processing them sequentially while incorporating methods for handling borders between the sequences. The evaluation shows that the proposed, optimized 2D-to-3D conversion algorithm is capable of generating high-quality results, while significantly reducing execution time compared to the original, un-optimized algorithm. Additional comparisons show that the proposed optimized conversion algorithm significantly outperformed two related conversion algorithms, in terms of both quality and execution time.

Die zunehmende Beliebtheit von 3D-Technologien und die kommerzielle Verfügbarkeit von stereoskopischen Bildschirmen geht mit einem wachsenden Bedarf an passenden 3D-Inhalten einher. Die effiziente Generierung solcher Inhalte stellt somit ein aktuelles Problem dar. Eine Lösung dieses Problems ist die Konvertierung von bestehenden 2D-Inhalten zu 3D. Der damit verbundene Arbeitsaufwand von BenutzerInnen und die für die Konvertierung benötigte Zeit sind dabei zwei wichtige Faktoren. Diese Diplomarbeit präsentiert einen optimierten, semi-automatischen Algorithmus zur effizienten 2D-zu-3D-Konvertierung von Videos, der auf einem bereits vorhandenen Konvertierungs-Algorithmus beruht. Im existierenden Konvertierungs-Algorithmus stellen BenutzerInnen im Vorfeld grobe Tiefeninformationen zur Verfügung. Diese Tiefeninformationen werden im Anschluss automatisch mithilfe von Segmentierungs- und Filterungs-Techniken auf das gesamte Video propagiert. Das primäre Ziel dieser Diplomarbeit liegt in der Reduktion der Laufzeit des existierenden Konvertierungs-Algorithmus, bei gleichzeitiger Beibehaltung der Qualität der Ergebnisse. Das wurde durch die Verlagerung von besonders rechenintensiven Teilen des Algorithmus auf die Grafikkarte erreicht, wo eine parallele Abarbeitung stattfindet. Das beinhaltet auch die Optimierung der zu Grunde liegenden Segmentierungs- und Filterungs-Techniken. Die limitierte Kapazität des Grafikkartenspeichers erschwert die parallele Bearbeitung von großen Datenmengen wie Videos. In dieser Diplomarbeit wird ein Lösungsvorschlag für dieses Problem präsentiert, welcher darauf basiert, längere Videos in Subsequenzen aufzuteilen und nacheinander auf der Grafikkarte zu verarbeiten. Evaluierungen zeigen, dass die vorgestellte Optimierung des grundlegenden Konvertierungs-Algorithmus in der Lage ist, Ergebnisse in unverändert hoher Qualität zu generieren. Im Vergleich zur nicht-optimierten Version des Algorithmus wird die dafür benötigte Laufzeit deutlich reduziert. Ein Vergleich mit zwei verwandten Algorithmen zeigt, dass diese von der optimierten Implementierung dieser Diplomarbeit sowohl in Bezug auf die Qualität der Ergebnisse, als auch in Bezug auf die Laufzeit, deutlich übertroffen werden.

http://publik.tuwien.ac.at/files/publik_222938.pdf