[Back]

M. Rajjo:
"Evaluation of an Information Visualization Technique for Large Overlapping Sets";
Supervisor: S. Miksch, B. Alsallakh; Institute of Software Technology and Interactive Systems, 2014; final examination: 2015-01-14.

Sets are an essential mathematical concept that allow to treat a collection of objects as a mathematical object on its own right. They are widely used in computer science to model a variety of problems, query results, and the results of algorithms. Several problems can be modeled by defining a number of sets over a collection of elements and analyze the relations between these sets. Set-typed data are used to represent the memberships of elements in the sets. The sets that are defined over the same elements potentially overlap. The overlaps between the respective sets contain various patterns that are worth to explore and analyze.
Visualizing overlaps between sets is a challenging problem due to the exponential growth of possible overlaps with the number of sets. Some techniques for visualizing overlapping sets focused on simplifying the representation of the overlaps between sets. Other techniques can be used for large and complex sets. Radial Sets is a new InfoVis technique to analyze set memberships for a large number of elements. It is used for visualizing large overlapping sets in a more scalable and flexible way than conventional methods such as Euler diagrams.
This work presents the results of an empirical evaluation of the Radial Sets technique to explore the usefulness the tasks it was designed. For the evaluation of this technique a quantitative study has been performed. The study was conducted by means of a controlled experiment where 32 participants had to solve tasks that are instances of seven pattern finding tasks. Three hypotheses have been created covering these pattern finding tasks. Each task was assigned to one of these hypotheses. Each user has to solve 60 questions which have been divided into two groups: training questions and evaluation questions. The aim was to evaluate how well Radial Sets are performing these tasks by measuring the compilation time and errors the users made when solving these questions. Therefore, the evaluation questions were the main part of the experiment.
The results of the training tasks were excluded from the evaluation results. Additionally, the experiment
included a qualitative feedback to elicit usability and understandability aspects based on users opinion. The evaluation results revealed that Radial Sets are effective at representing sets and how the elements belong to each set. The representation of overlaps as arcs was also intuitive but required detailed explanation about how the overlap sizes are computed, in particular, whether they depict the absolute number of elements, or the proportion of shared elements.

Mengen stellen ein grundlegendes mathematisches Konzept dar. dadurch ist es möglich, eine Menge von Objekten als ein individuelles mathematisches Objekt zu betrachten. Das Konzept wird häufig in der Computerwissenschaft verwendet, um verschiedene Probleme und Ergebnissen von Queries zu illustrieren. Ein Problem kann durch die Definition von mehreren Mengen über eine Sammlung von Elementen modelliert werden und die Beziehungen zwischen diesen
Mengen können dann analysieren werden. Außerdem wird die Mengendatenstruktur verwendet, um die Mitgliedschaften von Elementen in den Mengen darzustellen. Die Mengen, die über die gleichen Elemente definiert sind, können
sich potentiell überlappen. Die Überschneidungen zwischen den jeweiligen Mengen sind es
wert, untersucht und analysiert zu werden.
Die Visualisierung der Überschneidungen zwischen den Mengen ist ein herausforderndes Problem, da die Überscheidungen in Korrelation zur Anzahl der vorhandenen Mengen exponentiell zunehmen. Einige Techniken zur Visualisierung von überlappenden Mengen konzentrieren sich auf die Vereinfachung der Überschneidungen zwischen den Mengen. Für große und komplizierte Mengen wurden dahingehend andere Methoden entwickelt. Radial Sets ist eine visuelle Technik,
um die Mengen-Mitgliedschaft für eine große Anzahl von Elementen zu analysieren. Diese Methode ermöglicht eine übersichtlichere und flexiblere Visualisierung der Überschneidungen, als man sie mit klassischen Methoden wie Euler Diagramme erzielen kann.
Diese Arbeit präsentiert die Ergebnisse einer empirischen Evaluation für Radial Sets Technik, um die Verwendbarkeit der beschriebenen Aufgaben zu erläutern. Für die Evaluation wurde eine quantitative Studie angewendet. Sie wurde von einem Experiment mit 32 Probanden geführt, die Aufgaben lösen sollten, die Instanzen von sieben Aufgaben sind. Hierzu wurden drei Hypothesen aufgestellt, die den Ablauf geregelt haben. Jeder Proband musste 60 Fragen lösen, die in zwei Gruppen aufgeteilt wurden: Übungsfragen und Fragen zur Evaluation. Ziel des Ganzen war es, herauszufinden, wie gut das Tool die Aufgaben erledigt. Dies geschieht durch Messung der Zeit und Fehler von der Probanden, als sie die Aufgaben lösten. Dementsprechend waren die evaluierenden Fragen der Hauptteil des Experiments. Die Übungsfragen wurden dabei von den Evaluationsfragen herausgenommen. Die subjektive Fragestellung war primär als Rückmeldung der Nutzer über die Benutzerfreundlichkeit und den Entwurf bzw. Probleme derer gedacht.
Die Auswertungsergebnisse haben gezeigt, dass Radial-Sets darin besonders effektive sind, die Sets und die Zugehörigkeit der Elemente zu den Sets zu repräsentieren. Die Darstellung der Überschneidungen als Bögen war auch intuitiv. Eine detaillierte Erklärung ist darüber nötig, wie die Überlappungsgrößen berechnet wurden, insbesondere, ob sie die absolute Anzahl der Elemente oder der Anteil der gemeinsamen Elemente wiedergeben.

information visualization; set visualization; user study; evaluation

http://publik.tuwien.ac.at/files/PubDat_235154.pdf

Project Head Silvia Miksch:
CVAST: Centre for Visual Analytics Science and Technology (Laura Bassi Centre of Expertise)