[Back]

R. Lopez:
"Entwurf und Entwicklung einer Testautomatisierungsplattform zur Kombination von Model-Based Testing und Behaviour-Driven Testing";
Supervisor: T. Grechenig, M. Bernhart; 183-1, 2016.

Automated testing is an essential part of todays engineering projects. Rising complexity and growing size ask for more efficient instruments to assure quality. The automation of regression tests is in high demand but cannot be taken lightly. Especially in fast-moving agile projects, one needs a systematic approach to be successful in the long run. One promising approach is Model Based Testing (MBT). Although it is being actively researched and used for about 15 years, MBT gained adoption in only a few sectors, like automotive engineering and robotics. In contrast to this, the notion of Behavior Driven Development (BDD) is rather young. In part because of its business-oriented principles it is widely used in enterprise application development. This thesis explores and compares multiple concepts and tools of model-based testing. The most promising ones were tested in an industrial case study in the area of financial software development. Finally a novel testing strategy, complementing existing quality assurance measures and combining the strengts of MBT and Behavior Driven Testing (BDT), is proposed. Results have shown that there are only a handful of MBT tools on the market, which are actively developed and used. One of them is Graphwalker, which is being developed as an open source project. Through its clear designated purpose and flexibility while using, it was a perfect fit for the case study project. The tool enables decoupling of logical and technical layers of the test cases, which promises substantial savings when it comes to maintenance. Furthermore a combination of model-based testing and behavior-driven testing is proposed. Used in the presented architecture, this hybrid approach ensures optimal coverage of branch logic and manually defined acceptance criteria.

Automatisierte Softwaretests sind aus der heutigen Softwareentwicklung nicht mehr wegzudenken. Die steigenden Umfaenge und Komplexitaetsniveaus moderner Software verlangen nach immer effizienteren Mitteln, um Qualitaet sicherzustellen. Schon lange streben Softwareprojekte nach der Automatisierung von regressiven Tests, die manuell ausgefuehrt hohe Zeitaufwandskosten verursachen. Gerade in agil gefuehrten Softwareprojekten kann ein Testautomatisierungsvorhaben durch die schnellen Iterationen zunichte gemacht werden. Um mit automatisierten Tests auf lange Sicht erfolgreich zu sein, bedarf es einer systematischen Herangehensweise. Ein vielversprechender Ansatz ist das modellbasierte Testen (Model Based Testing). Model Based Testing (MBT) wird seit mehr als 15 Jahren aktiv erforscht und betrieben. Ausser in wenigen Branchen, wie der Automobil- und Robotikindustrie, fand MBT nie breite Anwendung. Ganz im Gegensatz dazu ist das Behavior Driven Development (BDD) ein sehr junger Ansatz, der durch seine wertgewinnende Orientierung vor allem in der Applikationsprogrammierung zum Einsatz kommt. Diese Arbeit erforscht und vergleicht in einem ersten Schritt mehrere Konzepte und Werkzeuge des modellbasierten Tests. Dann wird, im Hinblick auf Verbesserungspotenzial in der Qualitaetssicherung, ein ausgewaehltes Fallbeispiel im Bereich der Finanzsoftware analysiert. Schlussendlich wird eine neuartige Teststrategie anhand dieses Fallbeispiels praesentiert, welche die Staerken von MBT und Behavior Driven Testing (BDT) vereint. Das Open-Source Werkzeug Graphwalker kann aufgrund seiner hohen Flexibilitaet sehr gut im Fallbeispiel eingesetzt werden. Graphwalker ermoeglicht den gezielten Einsatz als Schicht zwischen logischem und technischem Teil der Testfaelle. Die Testablaeufe koennen so von den zugrundeliegenden technischen Details entkoppelt werden. Damit kann eine der Hauptanforderungen realisiert werden: Die Minderung der Kosten für die ueblicherweise teure Wartung automatisierter Tests. Das Resultatskapitel stellt einen Ansatz vor, bei dem parallel BDT eingesetzt wird. Diese Kombination ermoeglicht eine optimale Abdeckung mit vollautomatischen Traversierungen durch Graphwalker und manuell definierten Akzeptanztests. Ueberdies wird, ausgehend von den strukturellen Aehnlichkeiten beider Ansaetze, eine allgemeine Vorgehensweise für den kombinierten Einsatz von MBT und BDT praesentiert, sodass Synergien optimal genuetzt werden koennen.