[Back]

A. Hasslacher:
"Eine Untersuchung zur Wichtigkeit von Farbe in Stereo-Matching";
Supervisor: M. Gelautz, C. Rhemann, M. Bleyer; Fakultät für Informatik der Technischen Universität Wien, 2012.

The aim of stereo-algorithms is to find corresponding points in two horizontally displaced images. The displacement between these corresponding pixels is called disparity. The disparities vary over the image according to the scene depth, which makes it possible to infer depth maps.
When using color images as input for stereo algorithms one would expect higher quality results than when using gray-scale images. However, previous experimental studies found that the use of color images together with brightness-invariant stereo correspondence measures can even have a negative influence on the results. However, these experiments were conducted on a dataset that comprises of images that where captured with the same camera under similar lighting conditions. This raises the question whether these findings can be directly applied to images obtained with different cameras and illumination conditions.
Therefore, the aim of this master thesis is to verify the insights of previous works through a new dataset that comprises of images recorded with multiple different cameras. To this end, we first captured stereo image pairs with a variety of different cameras. For the captured stereo pairs we computed reference solutions, in the form of disparity maps, by using a structured light technique.
Afterwards, the captured stereo image pairs were used to compute disparity maps with a state-of-the-art stereo matching algorithm. The disparity maps were computed in different color spaces and a variety of correspondence measures were used. Finally, these disparity maps were compared with the reference solutions to obtain error rates.
The analysis of the error rates confirms the major insights of previous works: using color in radiometric undistorted image regions only has a minor positive influence on the results. In contrast, radiometric insensitive correspondence measurements can improve the result in these regions. Furthermore, this work confirms that radiometric insensitive correspondence measurements applied on gray-scale images provide better results than if applied on color images.

Ziel von Stereo-Algorithmen ist es, korrespondierende Punkte in zwei, auf der horizontalen Ebene verschobenen Bildern zu finden. Dabei wird die Verschiebung von korrespondierenden Pixeln als Disparität bezeichnet. Die Disparitäten geben Rückschluss auf die Entfernung der Bildpunkte zum Kamerasensor, wodurch sich Tiefenkarten erstellen lassen.
Obwohl die Verwendung von Farbbildern als Eingabe für Stereo-Algorithmen eine höhere Qualität der Resultate als bei Grauwertbildern erwarten lässt, wurde in vergangenen Arbeiten gezeigt, dass Farbbilder bei Verwendung von helligkeits-invarianten Stereo-Korrespondenzmaßen sogar einen negativen Einfluss auf die Resultate haben können. Jedoch wurden diese Experimente auf Bildern durchgeführt, welche unter ähnlichen Laborbedingungen und mit derselben Kamera aufgenommen wurden. Daher stellt sich die Frage, ob diese Erkenntnisse auch für andere Datensätze Gültigkeit haben.
Das Ziel dieser Diplomarbeit ist es, die Einsichten vergangener Arbeiten auf einem neuen Datensatz und mit unterschiedlichen Kameras zu verifizieren. Dazu wurden in dieser Arbeit Stereobildpaare mit unterschiedlichen Kameras aufgenommen und Referenzlösungen in Form von Disparitätskarten unter Einsatz von strukturiertem Licht erzeugt.
Anschließend wurden die aufgenommenen Stereobildpaare verwendet, um Disparitätskarten mit einem etablierten Stereo-Algorithmus zu berechnen. Zur Berechnung der Disparitätskarten wurden verschiedene Farbräume sowie Korrespondenzmaße verwendet. Die berechneten Disparitätskarten wurden dann mit den Referenzlösungen verglichen und die daraus erhaltenen Fehlerraten ausgewertet.
Die Auswertungen bestätigen die Einsichten vergangener Arbeiten: Zum einen hat Farbe in radiometrisch unverzerrten Bildregionen wenig positiven Einfluss auf die Resultate. Im Gegensatz dazu können radiometrisch insensitive Korrespondenzmaße auch in diesen Regionen das Resultat verbessern. Zum anderen wurde in dieser Arbeit bestätigt, dass radiometrisch insensitive Korrespondenzmaße auf Grauwertbildern bessere Ergebnisse liefern als auf Farbbildern.

Stereo Matching

http://publik.tuwien.ac.at/files/PubDat_209375.pdf