[Back]

A. Banaouas:
"Automatisierung von Heuristikbasierte UsabilityInspektion mittels GUI-Event Sequenzierung";
Supervisor: T. Grechenig, S. Taber; 194-03, 2019.

The usability degree of a Graphical User Interface (GUI) might deteriorate after a design change, and detecting this quality loss quickly can be challenging. Automating heuristic-based usability
inspection even partially could reduce the efforts required for sustaining an appropriate level of usability. On the other hand, GUI testing is a field highly conversant with automation. The purpose of this study is to show that even though GUI testing and usability testing are two distinct fields, they might influence each other. It is theorized that the automation of heuristic evaluation can be greatly improved thanks to GUI event sequencing, a test automation technique. To that end, an existing heuristic set is selected and tailored to fit the context of Windows desktop
applications. The derived set is then analysed in accordance with the feasibility of its automation. The examined guidelines are classified into three categories: Those suitable for automation
with GUI event sequencing, those that can be verified automatically without sequencing events, and those appropriate for manual testing. Then, a sample of heuristics from the first category is evaluated in a GUI testing tool to validate the feasibility of their automation in practice. The results showed that 55% of the heuristics could be tested automatically with event sequencing, and that 75% of them could be automated in general. This indicates a potential to greatly decrease
the manual work of the usability evaluator. Moreover, a pattern was noted among guidelines from the first category. Their evaluation requires at least one user-system interaction and does not focus on attributes uncatchable by GUI testing tools such as the aesthetic value. These results imply that a heuristic set can be arranged in advance so it consists only of guidelines suitable for automation.

Der Nutzungsgrad einer grafischen Benutzeroberfläche (GUI) kann sich nach einer Designänderung verschlechtern, und das Erkennen dieses Qualitätsverlustes kann schwer sein. Die Automatisierung der auf heuristikbasierten Usability-Inspektion könnte sogar den Aufwand für die Aufrechterhaltung eines angemessenen Grad der Benutzerfreundlichkeit verringern. Andererseits ist das GUI Testen Bereich mit der Automatisierung vertraut. Das Ziel dieser Arbeit ist es zu zeigen, dass GUI und Usability Testen sich jedoch gegenseitig beeinflussen können. Es wird theoretisiert, dass die Automatisierung der heuristischen Evaluierung, dank der GUI Automatisierungstechnik GUI-Event Sequenzierung, erheblich verbessert werden kann. Zu diesem Zweck wird ein vorhandener Heuristik-Set ausgewählt und an den Kontext von Windows Desktopanwendungen angepasst. Der resultierende Set wird dann entsprechend der Durchführbarkeit seiner Automatisierung analysiert. Die untersuchten Richtlinien werden in drei Kategorien unterteilt: Die für die Automatisierung mit GUI-Event Sequenzierung geeignet sind, diejenigen, die ohne GUI-Event Sequenzierung automatisch überprüft werden können, und die,
die für manuelle Tests geeignet sind. Anschließend werden manche Heuristiken der ersten Kategorie in einem Testwerkzeug bewertet, um die Machbarkeit ihrer Automatisierung in der Praxis zu überprüfen. Die Ergebnisse zeigten, dass 55% der Heuristiken automatisch mit der GUI-Event-Sequenzierung getestet werden konnten und allgemein 75% davon automatisierbar sind. Dies deutet auf ein Potenzial hin, das die manuelle Arbeit des Usability-Evaluators erheblich reduziert werden kann. Darüber hinaus wurde ein Muster unter den Richtlinien der ersten Kategorie festgestellt. Ihre Bewertung erfordert mindestens eine Benutzer-System Interaktion und konzentriert sich nicht auf Attribute, die von Testwerkzeugen nicht erfasst werden können. Diese Ergebnisse implizieren, dass ein Heuristik-Set vorab angeordnet werden kann, so dass es nur aus Richtlinien besteht, die für die Automatisierung geeignet sind.