[Back]

A. Djordjevic:
"Implementation of a semantic app on a mobile device";
Supervisor: G. Kappel, B. Preindl; Institut für Softwaretechnik und Interaktive Systeme, 2016; final examination: 2016-04-11.

Since the first release of the iPhone, mobile computing drew enormous software developers´
attention and a huge amount of mobile apps has been built, predominantly for IOS and Android
operating systems. Even though there are currently more than 1.5 million apps available for
each mentioned platform [28] [3], using semantic technologies on current mobile devices has
not faced significant appliance yet. The idea of this thesis is to combine semantic technologies
with the power of smart phones and to build an app which demonstrates this approach on food
related scenarios. The use of semantic web and knowledge processing technologies embodied
in a mobile app also addresses the challenges due to increasing demands for mobile applications
[33]. A semantic app is required to provide users the meaning of input data, which is in
our case a photo of items in a restaurant menu containing food, which builds the communication
between user and mobile app. The result of input data analysis is both graphical and textual,
language-specific and contextual.
The aim of this work is to prove that a semantic application is feasible on a mobile device.
Therefore, the task is to implement a functional prototype of an android app that allows the user
to take a photo whose textual content is translated from the original language into the language
of the user. This result is returned embedded in the original photo as a display output. The core
technologies for this purpose, Optical Character Recognition (OCR [1]) and Machine Translation
(MT [18]), are already available.

Ab dem 2007 eingeführten iPhone hat Mobile Computing bei Softwareentwicklern rasch an
Bedeutung gewonnen. Die Folge ist eine immer größer werdende Menge an mobilen Apps, vorwiegend
für iOS und Android Betriebsysteme. Obwohl es derzeit bereits mehr als 1,5 Millionen
Apps für jede der erwähnten Plattformen gibt [28] [3], hat sich derzeit die Verwendung von semantischen
Technologien auf den aktuellen mobilen Geräten noch nicht durchgesetzt. Gerade
der Einsatz von Semantic Web und Wissensverarbeitungstechnologien in einer mobilen App ermöglicht
es aber, sich den steigenden Anforderungen an mobile Anwendungen erfolgreich zu
stellen [33]. Die Idee der vorliegenden Arbeit ist es nun, semantische Technologien mit der Leistung
von Smartphones zu kombinieren und eine App zu entwickeln, die diesen Denkansatz auf
essensbasierte Szenarien umlegt. Eine semantische App hat die Aufgabe, eine Bedeutung der
eingegebenen Userdaten bereitzustellen. Im vorliegenden Fall ist das die Eingabe eines Fotos
von Speisen aus einer Speisekarte - die Ausgangskommunikation zwischen dem User und der
mobilen App. Die Ergebnisse der Eingabedatenanalyse sind dabei sowohl graphisch und textuell,
als auch sprachenspezifisch und kontextuell.
Das Ziel der Arbeit ist die Implementierung eines App-Prototypen für Android. Die App sollte
es ermöglichen, abfotografierten textuellen Inhalt aus der Originalsprache in die Sprache des
Benutzers umzuwandeln und dieses Ergebnis wiederum eingebettet im Ausgangsfoto anzuzeigen.
Hierfür stehen schon die Kerntechnologien, Optical Character Recognition (OCR [1]) und
Machine Translation (MT [18]), zur Verfügung.