[Back]

C. Rhemann:
"Interactive Image Matting";
Supervisor, Reviewer: M. Gelautz, C. Rother; 188/2, 2010.

Image matting aims to extract a foreground object from a single natural image by recovering the
partial transparency and corresponding color of the foreground object at each pixel in the image.
The resulting transparency map is thereby denoted as alpha matte. The matting problem is severely
ill-posed, and in this thesis we focus on matting approaches that utilize user interaction to make the
problem tractable.
There are three fundamental challenges in interactive image matting research that are addressed
in this thesis: (i) Providing a fast and intuitive user interface; (ii) finding a good cost function for
matting; and (iii) providing a benchmark that allows a quantitative comparison of matting results.
In most previous approaches the user interacts with the algorithm by drawing an accurate trimap,
which is a partition of the image into foreground, background and unknown regions. An accurate
trimap is very tedious to create manually, hence we follow recent work and aim to automatically
generate a trimap from very little user input. The novelty of our approach lies in a new cost function
that describes the goodness of a trimap solution. Our cost function considers several image cues
and incorporates four different types of priors that are used to regularize the result. We show that
our method is fast and produces accurate results.
Given a trimap, the thesis then addresses the problem of extracting an alpha matte from a single
photograph. We improve on previous image matting approaches by assuming that the majority of
partial transparencies are induced by the imaging process. Hence we exploit a model where alpha
is the convolution of a binary segmentation with the camera´s point spread function. Based on this
model, we propose new matting algorithms that generate high-quality results even for images where
our assumption is not met completely.
Finally, we introduce a new benchmark test for image matting that enables a quantitative comparison
of matting results. Our contributions are (i) a challenging, high-quality ground truth test
set that builds the basis of our evaluation; (ii) a dynamic online benchmark system that allows other
researchers to interactively analyze recent matting work and to complement the evaluation with new results; and (iii) perceptually motivated error metrics for image matting. We use this benchmark to
confirm that our proposed matting algorithms outperform the current state-of-the-art.

Das Ziel von Image Matting ist es, ein Vordergrundobjekt aus einem Bild herauszul¨osen. Dabei
m¨ussen der Transparenzwert und die Farbe des Vordergrundobjektes an jedem Pixel im Bild bestimmt
werden. Die resultierende Transparenzkarte wird auch als Alpha Matte bezeichnet. Das
Matting-Problem ist mathematisch unterbestimmt, weshalb die meisten Algorithmen auf Benutzerinteraktion
angewiesen sind, um das Problem einzuschr¨anken.
Es gibt drei große Herausforderungen im Bereich Matting: (i) Die Entwicklung einer einfach
und schnell zu bedienenden Benutzerschnittstelle; (ii) die Modellierung einer geeigneten Kostenfunktion,
welche die G¨ute einer Alpha Matte beschreibt, und (iii) die Erstellung eines Benchmark-
Tests, der einen quantitativen Vergleich von Matting-Algorithmen erm¨oglicht. In dieser Arbeit werden
neue Ans¨atze in allen drei Bereichen pr¨asentiert.
In den meisten vorangegangenen Arbeiten interagiert der Benutzer mit dem Algorithmus, indem
er eine sogenannte Trimap zeichnet. Die Trimap ist eine Unterteilung des Bildes in Vordergrund,
Hintergrund und einen unbekannten Bereich. Das h¨andische Erstellen einer genauen Trimap ist jedoch
sehr zeitintensiv. Daher folgen wir j¨ungsten Forschungsarbeiten und berechnen eine exakte
Trimap anhand weniger Benutzereingaben. Die Neuheit in unserem Ansatz ist eine verbesserte Kostenfunktion,
welche die G¨ute einer Trimap beschreibt. Unsere vorgeschlagene Kostenfunktion basiert
auf Bildmerkmalen und a-priori Wissen ¨uber den Bildgebungsprozess, wodurch es erm¨oglicht
wird, pr¨azise Resultate mit wenig Benutzeraufwand zu erzeugen.
Der zweite Teil dieser Arbeit besch¨aftigt sich mit dem Extrahieren einer Alpha Matte unter Zuhilfenahme
einer vom Benutzer spezifizierten Trimap. Unser Ansatz basiert auf der Annahme, dass
die Transparenzen des Vordergrundobjektes vor allem durch den Bildgebungsprozess entstanden
sind. Aufgrund dieser Annahme verwenden wir ein Modell, welches die Alpha Matte als Faltung
einer bin¨aren Segmentierung mit der Punktspreizfunktion der Kamera beschreibt. Basierend auf
diesem Modell werden in dieser Arbeit Matting-Algorithmen vorgestellt, welche qualitativ hochwertige
Resultate erzeugen k¨onnen, selbst wenn unsere Annahme nicht zur G¨anze erf¨ullt wird. Im letzten Teil dieser Arbeit entwickeln wir einen Benchmark-Test f¨ur Image Matting, der einen
quantitativen Vergleich der Algorithmen erm¨oglicht. Der von uns entwickelte Benchmark umfasst
(i) einen Testdatensatz mit qualitativ hochwertigen Referenzl¨osungen; (ii) ein dynamisches Online
Benchmark System, welches f¨ur Forscher zug¨anglich ist, um bestehende Algorithmen zu analysieren
und die Evaluierung mit neuen Resultaten zu erg¨anzen; und (iii) Fehlermetriken f¨ur Image
Matting, welche auf der menschlichen Wahrnehmung basieren. Die Resultate des Benchmark-Tests
best¨atigen die ausgezeichnete Leistung unserer Matting-Algorithmen im Vergleich zum State of the
Art.

alpha matting