[Back]

J. Pucher:
"Erstellung eines Standarddatensatzes für die Evaluierung von Alpha Matting Algorithmen und Aufbereitung der Resultate für die Lehre";
Supervisor: M. Gelautz, C. Rhemann; 188-2, 2010.

"Image Matting" is the process of separating a foreground object from a background in digital images. In order to quantitatively compare the results of matting algorithms, a benchmark test, which is based on a dataset of reference solutions (ground truth), is required. Such a benchmark should rely ideally on a large number of test images. However, unoptimized research implementations of novel matting algorithms oftentimes are not capable of processing such large datasets in reasonable time. Thus, a major challenge when designing a web-based benchmark test is the selection of a suitable image set of manageable size.

The goal of this diploma thesis is to select a representative subset from a recently introduced ground truth dataset of 61 images that can then be used for the comparison of matting algorithms. The challenge is to select a small subset of images that maintain, as far as possible, the properties of the full set. This was achieved as follows. First the im-ages were categorized according to the boundary characteristics of the foreground objects. Afterwards, for each image, alpha mattes were computed using various matting algorithms. The error rates of those mattes were determined by the pixel-wise comparison of the resulting alpha matte with the reference solution. Finally, the images with the high-est error rates from every category were selected for the compact dataset, since they represent the largest degree of difficulty for the matting algorithms. The calculations experimentally confirm that the selected subset has indeed similar properties as the full set.

A further aim of the diploma thesis was to prepare the results of this work for didactic usage. For that purpose, an online course for an E-Learning platform was created with modern communicative devices. The online course is organized into modules that allow the self-organization of learning processes. In the first major module, the participants are introduced into image matting and important matting methods are presented. The second major module aims to interactively present the results of this work. For instance, a user interface was implemented that allows the users to rank different matting results according to their visual quality. In the future, the results of such a ranking could be used to evaluate to which extent error measures for image matting correlate to the visual quality.

Das Forschungsgebiet Image Matting befasst sich mit der Trennung von Vorder- und Hintergründen in digitalen Bildern. Um die Resultate von Matting-Algorithmen quantitativ vergleichen zu können, ist ein Benchmark-Test, basierend auf einem Bilddatensatz mit korrespondierenden Referenzlösungen (Ground Truth), nötig. Ein umfangreicher Benchmark-Test sollte idealerweise auf einer großen Anzahl von Testbildern basieren. Allerdings sind unoptimierte Forschungsimplementierungen von neu entwickelten Matting-Algorithmen oftmals nicht in der Lage, solch große Datenmengen in kurzer Zeit zu bewältigen. Daher ist eine der wesentlichen Herausforderungen bei der Erstellung eines Web-basierten Benchmark-Tests die Wahl einer geeigneten Bilddatenbank von handhabbarer Größe.

Das Ziel dieser Magisterarbeit ist es nun, aus einem kürzlich vorgestellten "Ground Truth" Datensatz, welcher aus 61 Bildern besteht, repräsentative Bilder auszuwählen, die für den Vergleich von Matting-Algorithmen verwendet werden können. Die Schwierigkeit besteht darin, eine Teilmenge auszuwählen und dabei die Variation und Charakteristika des gesamten Datensatzes beizubehalten. Dies wurde wie folgt erreicht: Zuerst wurden die Bilder nach den Eigenschaften der Objektkanten kategorisiert und anschließend Matting-Resultate mit unterschiedlichen Algorithmen berechnet. Durch den pixelweisen Vergleich der resultierenden Alpha Matte mit einer Referenzlösung wurde die Fehlerrate ermittelt. Nachfolgend wurden aus jeder Kategorie die Bilder mit der höchsten Fehlerrate für den kompakten Datensatz ausgewählt, da diese den größten Schwierigkeitsgrad für die Matting-Algorithmen darstellen. Die Resultate der Berechnungen belegen, dass der kompakte Datensatz ähnliche Eigenschaften wie der vollständige besitzt.

Ein weiteres Ziel der Arbeit ist es, die gewonnenen Erkenntnisse für didaktische Anwendungen aufzubereiten. Deshalb wurde im Rahmen dieser Magisterarbeit ein Online-Kurs für eine E-Learning Plattform unter Zuhilfenahme moderner Lerntheorien erstellt. Der Online-Kurs ist modular aufgebaut, wodurch der Lernprozess positiv unterstützt wird. Im ersten Hauptmodul wird der Lernende in das Forschungsgebiet Image Matting eingeführt, und es werden verschiedene Matting-Methoden erläutert. Das zweite Hauptmodul zielt darauf ab, die Resultate dieser Arbeit interaktiv zu vermitteln. So wurde zum Beispiel eine Benutzerschnittstelle implementiert, welche es dem Lernenden ermöglicht, verschiedene Matting-Resultate aufgrund ihrer visuellen Qualität zu bewerten. Die Bewertungen der Lernenden könnten zukünftig dazu verwendet werden, die Korrelation von verschiedenen Fehlermaßen zur visuellen Qualität zu ermitteln.