[Back]

I. Barakonyi:
"Ubiquitous Animated Agents for Augmented Reality";
Supervisor, Reviewer: D. Schmalstieg, A. Butz; Institut für Softwaretechnik und Interaktive Systeme 188/2, 2006; oral examination: 2006-10-31.

A growing spectrum of Ubiquitous Computing (UbiComp) applications suggests that interaction with computers should be as natural and effortless as using pen, paper and language when writing. Unlike current computer environments that require a considerable amount of adaptation from users for smooth interaction, future digital interfaces are envisioned to act unobtrusively and intelligently in our environment. This dissertation describes a novel user interface approach combining Augmented Reality (AR), UbiComp and Autonomous Animated Agents into a single coherent human-computer interface paradigm that makes steps toward this vision.

A significant challenge for the UbiComp community is to create efficient, natural and user-friendly interfaces since there are no standards and best practices to follow yet. Typical UbiComp scenarios include numerous mobile users roaming a large area while interacting with various stationary and mobile devices. Since the location and behavior of users and devices change rather frequently, an enormous amount of events describing changes gets generated in the environment. Processing such large data sets can be greatly overwhelming for humans, therefore an interface to a UbiComp system is expected to possess certain autonomy in order to filter and interpret relevant events and react proactively without constant user guidance and explicit instructions. By relieving users from dealing with low-level details and allowing computers to make decisions by themselves, these interfaces appear to be "smart".

This thesis presents software solutions that employ reactive, autonomous and social digital assistants in UbiComp environments. These systems rely on software agent technology tailored to the needs of AR applications, where system behavior is visualized by virtual animated characters appearing on top of the real world. We discuss how autonomous animated agents can be employed to mediate communication between humans and computers in AR environments while exploiting real world attributes as input and output communication channels. The agents maintain a model of the real world by analyzing data coming from the sensors that measure physical properties such as pose, velocity, sound or light, and autonomously react to changes in the environment in accordance with the users´ perception. Autonomous, emergent behavior is a novel feature in UbiComp, while awareness of real world attributes is yet unexploited by autonomous agents.

This dissertation explores the requirements for context-aware animated agents concerning visualization, appearance, and behavior as well as associated technologies, application areas, and implementation details. Several application scenarios illustrate design and implementation concepts.

Ubiquitous Computing (UbiComp, ubiquitäre Computertechnik) zielt darauf
ab, daß die Interaktion mit Computers so natürlich und mühelos sein soll wie
das Schreiben mit einem Stift auf Papier. Im Gegensatz zu derzeitigen Computersystemen,
die dem Benutzer Anpassung abverlangen, agieren zuk¨unftige
digitale Benutzerschnittstellen unauffällig und intelligent im Hintergrund.
Diese Dissertation beschreibt eine neue Art von Benutzerschnittstellen, die
die Vorteile von Augmented Reality (AR, erweiterte Realität), UbiComp
und autonomen animierten Agenten vereinigt, um eine verbesserte Mensch-
Maschine Interaktion realisieren zu können.
Eine signifikante Herausforderung dabei ist die Erschaffung effizienter,
nat¨urlicher und benutzerfreundlicher Schnittstellen für UbiComp-Systeme,
f¨ur die es derzeit keine etablierten Gestaltungsrichtlinien gibt. In typischen
UbiComp-Szenarien werden mehrere mobile Benutzer bedient, die sich in
einem weitl¨aufigen Bereich frei bewegen und dabei mit verschiedenen station
¨aren und mobilen Ger¨ate interagieren. Da der Standort und das Verhalten
der Benutzern sich laufend ¨andert, wird eine enorme Menge von Statusinformation
¨uber den aktuellen Systemstand generiert, die nicht mehr
mit manuellen Methoden verwertbar ist. Deshalb wird von zuk¨unftigen
UbiComp-Systemen erwartet, daß sie autonom und ohne aktive menschliche
Hilfe arbeiten.
Diese Dissertation pr¨asentiert eine Softwarel¨osung f¨ur die Implementierung
von autonomen und sozialen computergenerierten Assistenten f¨ur UbiComp-
Umgebungen. Das vorgestellte System benutzt eine Kombination von Methoden
aus den Bereichen Software-Agenten und Augmented Reality, um virtuelle
animierte Agenten darzustellen, die mit dem Benutzer sowohl in der virtuellen
als auch in der realen Welt interagieren. Die Agenten benutzen ein internes
Weltmodell, welches auf der Analyse von Sensordaten f¨ur Position,
Geschwindigkeit, Audio, Licht und andere Eigenschaften der realen Umgebung
beruht, und reagieren selbst¨andig auf die ¨Anderungen. Die Neuigkeit
des Ansatzes liegt im autonomen, selbst¨andigen Verhalten der Agenten, welche
die Attributen der realen Welt bislang noch nicht vollst¨andig ausgenutzt
haben.

http://publik.tuwien.ac.at/files/pub-inf_3757.pdf