[Zurück]

C. Fuchs:
"Videosegmentierung durch Analyse audiovisueller Merkmale";
Betreuer/in(nen): H. Eidenberger; Softwaretechnik und Interaktive Systeme, 2013.

Die Segmentierung und Klassifikation von Videos ist aufgrund der steigenden Anzahl von digitalen
Videos manuell nicht mehr zu beherrschen. Es werden Algorithmen benötigt, die in der
Lage sind aus dem Videomaterial relevante Informationen zu extrahieren, welche für aussagekräftige
Beschreibungen geeignet sind.
In der vorliegenden Diplomarbeit wird ein System zur Klassifikation von Videos durch Analyse
audiovisueller Merkmale vorgestellt. Ein solches Vorhaben stellt auf beliebigem Videomaterial
ein komplexes Problem dar, da diese Merkmale in der Lage sein sollen, die semantische
Bedeutung von Bildern und Audiosignalen aus Videos zu erfassen. Aus diesem Grund wird in
dieser Arbeit der Anwendungsbereich der Videoklassifikation auf Szenen der Muppet Show beschränkt.
Zunächst werden grundlegende Ansätze und Methoden zur Videoanalyse in einer umfassenden
Literaturstudie erklärt. Nach einem kurzen Überblick über die Entstehung der Muppet
Show, zeigt eine Analyse des Videomaterials die charakteristischen Eigenschaften auf. Basierend
auf den gewonnenen Erkenntnissen werden aussagekräftige audiovisuelle Merkmale und
geeignete Klassifikationsmodelle vorgestellt, die für die Entwicklung eines Prototyps herangezogen
worden sind. Zuletzt wird die Qualität der Klassifikationsresultate mit Hilfe verschiedener
Evaluierungstests ausgewertet. Dabei wird aufgezeigt, dass sowohl visuelle Merkmale, wie
die Verteilung von Farbe, als auch die Segmentierung des Audiosignals in Musik, Sprache und
Umgebungsgeräusche in der Lage sind, die semantische Bedeutung von Videoszenen aus der
Muppet Show zu erfassen.

Due to the increasing amount of digital videos the segmentation and classification of videos is
manually no longer feasible. Hence there is a need for algorithms, which are able to filter out
relevant information from the video material by using suitable and significant descriptions.
This diploma thesis presents a system for classification of videos through analyses of audiovisual
features. This is a complex problem on arbitrary video material because the features
should be able to gather the semantic meaning of pictures and audio signals from the videos.
Therefore, this thesis is limited on the scope of the video classification using scenes of one particular
type of video, the Muppet Show. First, the fundamental approaches and methods for
video analysis are explained in a detailed research. After a short overview over the development
of the Muppet Show, a subsequently analysis of video material shows the characteristic
attributes. Based on the gained knowledge significant audiovisual features and suitable classification
models are presented, which are employed for the development of the prototype. Finally
the quality of the classification results are evaluated using different tests. The intention is to
show that visual features such as the distribution of colours as well as the segmentation of audio
signals in speech, music and environmental sounds are able to capture the semantic meaning of
video scenes of the Muppet Show.