[Back]

D. Markovic:
"Image Stylization from Stereo Views of Natural Scenes";
Supervisor, Reviewer: M. Gelautz, F. Breitenecker; Institut für Softwaretechnik und Interaktive Systeme, 2007; oral examination: 2007-03-20.

As media technologies have developed over time, generating novel methods of creating, presenting and interacting with visual information, artists began experimenting with new concepts and possibilities by producing artworks which moved conventional borders of art expression. New media technologies have introduced new opportunities for artistic creation and have brought the computer created design and artwork to a wide spread instrument of visual communication.
These recent trends in artistic production and presentation of visual material consequently stimulated the development of novel techniques in the field of computer graphics. Particularly, the (semi-)automatic creation of output that resembles conventional art forms, such as various styles of drawings or paintings produced by hand, has attracted a lot of attention in the computer graphics community. To generate results with a handcrafted-like appearance, a number of systems use a 3D modeled scene and thus benefit from full control over the scene structure. On the other hand, using images of natural scenes in order to compute their stylized representation is a very challenging task. The process of extracting information that is useful for the subsequent stylization from the real input scene can be quite complex and demanding, mostly because of the presence of noise and other artifacts. In spite of this, natural scenes offer a variety of ready-made shapes, objects and textures, which sets them to a powerful and very attractive alternative to 3D modeled scenes for simulating the traditional and exploring new art forms.
The focus of this thesis is the stylization of images from real scenes captured using a stereo camera set-up. An essential feature of the depiction process is a novel silhouette extraction approach that we introduce here. This so-called Edge Combination algorithm utilizes stereo-derived disparity maps in order to find silhouettes, which delineate the dominant structure of the scene. Our research results demonstrate that silhouettes extracted using the Edge Combination algorithm are suitable and convenient for image depiction and stylization in various simulations of the traditional artwork, such as sketching and drawing. We also illustrate the benefit of utilizing disparity maps to orient strokes to facilitate the "depth" perception in drawn-like image representations. Finally, we show that silhouettes extracted by the Edge Combination algorithm can serve for motion delineation in imitation of comics produced by hand and also to portray the impression of change in a moving object´s speed.

Ausgelöst durch die kontinuierliche Weiterentwicklung von Medientechnologien in Richtung neuer Methoden zur Generierung und Präsentation visueller Information, einschließlich zugehöriger Möglichkeiten zur Interaktion, haben Künstler begonnen, mit neuen Konzepten und Möglichkeiten zu experimentieren. Dabei wurden Kunstwerke geschaffen, welche die konventionellen Grenzen des künstlerischen Ausdrucks verschieben. Moderne Medientechnologien haben damit neuartige Möglichkeiten zur Generierung künstlerischen Inhalts eröffnet und computergenerierte Kunstwerke und Darstellungen zu einem weit verbreiteten Instrument der visuellen Kommunikation gemacht.

Diese gegenwärtigen Trends in der künstlerischen Erzeugung und Präsentation visueller Inhalte stimulierten zugehörige Entwicklungen in der Computergrafik. Ein besonderes Augenmerk liegt dabei auf der möglichst automatischen Erzeugung von Bildern, die traditionellen Kunstwerken wie händischen Zeichnungen und Malereien nachempfunden sind. Um solche Ergebnisse zu generieren, verwenden derzeitige Systeme üblicherweise ein vorhandenes 3D-Modell der Szene, welches dem Bearbeiter vollständige Kontrolle über die Szenenstruktur ermöglicht. Im Gegensatz dazu stellt die Verwendung von echten Bildaufnahmen natürlicher Szenen für die nachfolgende Stilisierung eine große Herausforderung dar, insbesondere auch wegen Störfaktoren wie Bildrauschen und anderer Artefakte. Natürliche Szenen bieten jedoch ein breites Spektrum an vorhandenen Formen, Objekten und Texturen, was sie zu einer mächtigen und äußerst attraktiven Alternative zur traditionellen 3D-Modellierung als Ausgangspunkt für die Simulation traditioneller und die Entwicklung neuer Kunstformen macht.

Der Fokus dieser Arbeit liegt auf der Stilisierung von Bildern realer Szenen, welche mit einem Stereo-Kamera-Setup aufgenommen wurden. Eine wesentliche Neuheit unseres Darstellungsprozesses ist ein Ansatz zur Silhouettenextraktion, den wir in dieser Arbeit beschreiben. Der so genannte Edge-Combination-Algorithmus verwendet dabei Disparitätskarten, welche durch Stereoauswertung berechnet wurden, um Silhouetten zu finden. Die extrahierten Silhouetten stellen die dominante Struktur der Szene dar. Unsere Forschungsergebnisse zeigen, dass mittels des Edge-Combination-Algorithmus berechnete Silhouetten gut geeignet sind, um eine Bilddarstellung und Stilisierung zu erzeugen, welche verschiedene traditionelle Kunstformen wie künstlerische Skizzen und Gemälde simulieren. Des Weiteren demonstrieren wir, wie Disparitätskarten dazu verwendet werden können, um Striche zu orientieren, was die Tiefenwahrnehmung in Bildrepräsentationen, welche an verschiedene Zeichen- und Malstile angelehnt sind, unterstützt. Schließlich zeigen wir, dass Silhouetten, welche durch den Edge-Combination-Algorithmus extrahiert wurden, dazu dienen können, eine Bewegungsdarstellung im Stile handgezeichneter Comics zu erzeugen, wobei dem Betrachter auch ein Eindruck von der Geschwindigkeitsänderung eines sich bewegenden Objektes vermittelt wird.

Non-photorealistic rendering, image-based rendering, image stylization, stereo, Edge Combination, real scene, sketches, comics

http://publik.tuwien.ac.at/files/pub-inf_4997.pdf