[Back]

D. Mitrovic, M. Zeppelzauer:
"Syntactic and Semantic Concepts in Audio-Visual Media";
Supervisor, Reviewer: C. Breiteneder, H. Kosch; Institute of Software Technology and Interactive Systems, 2011; oral examination: 2011-11-25.

In recent years tremendous amounts of audio-visual media have become
available to the public and increased the demand for efficient access and retrieval
methods. The research community working in content-based media
retrieval has mainly focused on specific media types, such as sports videos,
news broadcasts, and commercials. A widely neglected media type is historic
film provided by film archives and museums. In the context of historic
film, film scientists and archivists have research questions and requirements
that are novel for content-based retrieval.
In this thesis, we investigate novel requirements for content-based retrieval
of archive film stated by film experts. From the abstract requirements
of film experts we first derive specific lower- and higher-level, syntactic
and semantic concepts to be retrieved automatically. Next, we develop
techniques for the automatic retrieval of these concepts from archive film.
The investigated films are challenging for retrieval due to their sophisticated
editing and their low material quality which results in numerous artifacts.
The contribution of this thesis are novel techniques and investigations for
the retrieval of syntactic and semantic concepts in archive film. We develop
detectors for lower-level concepts such as black frames and intertitles
and perform comprehensive investigations of shot boundary detection in
archive film material. We further analyze higher-level concepts: We propose
methods for the extraction of semantically coherent scenes and synchronous
audio-visual montage sequences and investigate the retrieval of
motion composition and visual composition.
The developed techniques are successfully applied to archive and contemporary
films and enable efficient access to the film material. Additionally
the methods assist film experts in their investigations and enable them to
gain novel insights into the films.

In den vergangenen Jahren wurden große Mengen audiovisueller Medien
¨offentlich zug¨anglich gemacht. Die so entstandenen Mediensammlungen haben
die Nachfrage nach neuen effizienten Methoden f¨ur das Informationretrieval
erh¨oht. Forschung, die sich mit Informationretrieval in diesen Mediensammlungen
besch¨aftigt, hat sich ¨uberwiegend auf Sport- und Nachrichtenbeitr
¨age sowie Werbefilme konzentriert. Ein bisher weitgehend vernachl
¨assigter Medientyp sind Filme aus Filmarchiven und Filmmuseen. Archivare
und Filmwissenschaftler bearbeiten Forschungsfragen und stellen
Anforderungen, die im Kontext des Informationretrievals neu sind.
In dieser Dissertation untersuchen wir Anforderungen der Filmexperten an
das inhaltsbasierte Informationretrieval von Archivfilmen. Aus den abstrakten
Anforderungen der Filmexperten leiten wir syntaktische und semantische
Konzepte unterschiedlicher Komplexit¨at ab, welche automatisch aus
den Filmen extrahiert werden sollen. Die untersuchten Filme stellen durch
ihre komplexe Montage und durch ihren schlechten Materialzustand die automatische
Analyse vor neue Herausforderungen.
Der wissenschaftliche Beitrag dieser Arbeit umfasst Untersuchungen und
Analysetechniken f¨ur die Extraktion von syntaktischen und semantischen
Konzepten aus Archivfilmen. Wir entwickeln Detektoren f¨ur Konzepte niedriger
Komplexit¨at, wie zum Beispiel Schwarzkader und Zwischentitel und
untersuchen die Erkennung von Einstellungsgrenzen. Dar¨uber hinaus besch
¨aftigen wir uns mit Konzepten h¨oherer Komplexit¨at: Wir stellen Methoden
f¨ur die Erkennung von Filmszenen sowie Sequenzen mit synchroner
audiovisueller Montage vor. Weiters untersuchen wir die automatisch Analyse
von Bewegungskomposition und Bildkomposition.
Die pr¨asentierten Methoden wurden erfolgreich auf Archiv- und zeitgen¨ossische
Filme angewendet. Die Methoden erm¨oglichen einen effizienten Zugriff
auf das Material und unterst¨utzen Filmexperten bei ihren Untersuchungen.
Weiters zeigt sich, dass die Methoden den Filmexperten zum Teil
neue, das Filmmaterial betreffende, Einsichten erm¨oglichen.

automatic film analysis, content-based visual retrieval, multimodal retrieval, archive film analysis

http://publik.tuwien.ac.at/files/PubDat_200765.pdf