[Zurück]


Bücher und Buch-Herausgaben:

C. Öhreneder:
"A Similarity Measure for Global Image Matching Based on the Forward Modeling Principle";
in Buchreihe "Geowissenschaftliche Mitteilungen, Heft 51", Buchreihen-Herausgeber: K. Kraus; herausgegeben von: Studienrichtung Vermessungswesen, Technische Universität Wien; Geowissenschaftliche Mitteilungen, Wien, 1999, ISSN: 1811-8380, 123 S.



Kurzfassung deutsch:
Für die Rekonstruktion von Objektoberflächen aus zwei oder mehreren digitalen Photographien sucht man Punkte in den Bildern, die dem selben Oberflächenpunkt entsprechen. Dieser Prozeß wird Bildzuordnung genannt. Ein Bild, das auch ein virtuelles Bild sein kann, wie z.B. das Orthophoto oder ein Zyklopen-Bild, dient als Referenzbereich. La13t man virtuelle Bilder zu, dann kann man unterschiedliche Konstellationen, wie die Bild-zu-Bild Zuordnung oder die Oberflächenrekonstruktion durch Orthophoto-zu-Bild Zuordnung, gemeinsam behandeln. Der Referenzbereich dient der Parametrisierung der Objektoberfläche, abstrakt gesprochen des geometrischen Zusammenhangs. Entscheidend bezüglich der Wahl des Referenzbereiches ist dabei, inwieweit eine vollständige Parametrisierung erzielt wird. Bei der globalen Bildzuordnung wird nach Abbildungen des ganzen Referenzbereichs in die Bildbereiche gesucht. Im Gegensatz dazu ermitteln lokale Methoden nur Punkt-zu-Punkt Zuordnungen. Die Abbildungen werden durch skalare Zuordnungsfunktionen, wie etwa durch Parallaxen oder Hohen, parametrisiert, um geometrische Bedingungen in das Modell zu integrieren. Der Referenzbereich ist der Definitionsbereich der geometrischen und radiometrischen Eigenschaften des Modells.
Das vorgeschlagene Verfahren ist intensitätsbasiert und stützt sich auf das Prinzip der Energieminimierung. Der Energieterm umfa13t Beitrage der einzelnen Bilder und einen Regularisierungsterm. Die Bilder werden als kontinuierliche Funktionen behandelt. Die Energieminimierung führt auf ein Variationsproblem. Der Energiebeitrag eines Bildes wird als Ähnlichkeitsmaß bezeichnet, weil er die Übereinstimmung von Modell und Bild im Bezug auf die Intensitatswerte angibt. Die Formulierung basiert auf dem Prinzip der Vorwärtsmodellierung, das heißt auf einem Modell, das die Abhängigkeit der Bilddaten von den Modellparametern beschreibt. Gegenüber anderen Ansätzen ergeben sich folgende Vorteile: Bereiche eines Bildes tragen zum Ähnlichkeitsmaß entsprechend ihrer Größe im Bildbereich und nicht entsprechend ihrer Ausdehnung im Referenzbereich bei. Das Ähnlichkeitsmaß ist invariant im Bezug auf die Wahl des Referenzbereichs. Bei der Mehrbildzuordnung dominieren jene Bilder die Rekonstruktion, die einen bestimmten Teil der Oberfläche mit bester geometrischer Auflösung darstellen. Verdeckungen lassen sich auf natürliche Weise berücksichtigen, wobei keine Unstetigkeiten des Energiemaßes auftreten. Gilt für die Konturlinien eine Regularitätsbedingung, so bleibt auch die Differenzierbarkeit erhalten. Für die Analyse der Problemstruktur ist die Modellierung mit Hilfe kontinuierlicher Funktionen vorteilhaft. Die Diskretisierung mit Hilfe von finiten Elementen ist rechnerisch sehr aufwendig. Die Approximation mit Hilfe von finiten Summen und Differenzen kann mit einem Gitter oder mit einem Paar dualer Gitter erfolgen.
Das Ähnlichkeitsmaß allein bestimmt die Lösung nur ungenügend, weil beliebig unregelmaßige Lösungen nicht ausgeschlossen werden. Der Regularisierungsterm hilft glatte Lösungen zu finden, indem diese nur einen kleinen Beitrag zur Gesamtenergie liefern. Eine andere Möglichkeit besteht darin, die Lösung auf einen Teilraum von glatten Funktionen einzuschränken. Für die Optimierung wird das Gauß-Newton-Jacobi Verfahren vorgeschlagen, das dem Gauß-Newton Verfahren eng verwandt ist. Es ähnelt einem innerhalb der Bildzuordnung verbreiteten Relaxationsverfahren, weist aber bessere Konvergenzeigenschaften auf. Bildpyramiden werden verwendet, um den Konvergenzradius zu vergrößern.
Die Methode wird in einem Meßsystem für die Gesichtschirurgie eingesetzt. Es wird eine Bild-zu-Bild Zuordnung durchgeführt. Die Rekonstruktion eines Gesichtes aus zwei Bildern benötigt 3 bis 7 min. auf einem Standard-PC. Dabei wird die Zuordnungsfunktion aus bilinearen Elementen zusammengesetzt. 65 x 65 Knoten in einem Gebiet von 513 x 513 Pixel werden simultan berechnet.

Kurzfassung englisch:
For the purpose of surface reconstruction from two or more digital photographs, it is necessary to determine points in the images that portray the same surface point. The process that seeks to retrieve the correspondences is called image matching. For the calculation, one image, which may be a virtual image like the orthophoto or the cyclopean image, serves as reference domain. Admitting virtual images, it is possible to consider various constellations, such as image-to-image matching and surface reconstruction by orthophoto-to-image matching, in a common framework. The reference domain serves for the parameterization of the surface, abstractly of the geometric connection. An important aspect is, whether it leaves parts of the geometric connection unmodeled. Global image matching seeks to calculate maps from the reference domain to the image domains. In contrast, local methods consider point-topoint correspondences only. Parameterizations of the maps by scalar matching functions, e.g. disparity or height, are used to enforce geometric constraints. The reference domain serves as support for geometric and radiometric properties of the surface model.
The proposed method is intensity-based. It follows the energy minimization paradigm. The energy comprises image energy terms, one for each processed image, and a deformation energy term, which accounts for the a priori probability of the matching function. In the course of modeling, the images are treated as continuous rather than sampled functions. The energy terms are integrals and the minimization problem is a variational problem. The image energy of a single image, also called similarity measure, indicates the conformance of the image with the model in terms of intensity values. The formulation follows the principle of forward modeling. This means that the similarity measure is based on a model that describes the dependency of the image data on the parameters of the model of the surface. The resulting similarity measure exhibits the following advantages with respect to related approaches: Regions of an image contribute to the similarity measure according to their size in image space and not according to their extent in the model. The similarity measure is invariant with respect to the choice of reference domain. For multi-image matching, the images that portray a particular surface area best, that is with best spatial resolution, dominate the reconstruction process. The similarity measure supports the modeling in the presence of occlusions and ensures continuity in that case. If for the contour lines a regularity assumption holds, it is also differentiable. Treating the images as continuous functions is important in order to reveal the structure of the problem. Employing Finite-Elements methods for the discretization leads to a high computational effort. Approximation by finite sums and finite differences is possible in two variants: using a single grid only or using a pair of dual grids.
The similarity measure is not sufficient to determine a reasonable matching function, as it does not preclude arbitrary irregular solutions. The regularization term or deformation energy is used to penalize non-smooth matching functions. Another means is to restrict the solution to a subspace of smooth functions. For the optimization, a method, called the Gauss-Newton-Jacobi method, is proposed, which is closely related to the Gauss-Newton method. It resembles a relaxation scheme that is popular in the course of image matching, but it exhibits better convergence properties. A coarse-to-fine scheme is employed to enlarge the region of convergence.
An image-to-image matching constellation is successfully used for a measurement system for facial surgery. The reconstruction of the shape of a human face from two images takes 3 to 7 min. on a standard PC. For this application, the matching function is composed of bilinear basis elements. 65 x 65 node values covering a region of 513 x 513 pixels are determined simultaneously.


Elektronische Version der Publikation:
http://publik.tuwien.ac.at/files/PubDat_228873.pdf


Erstellt aus der Publikationsdatenbank der Technischen Universität Wien.