[Back]

S. Kandl:
"A Requirement-Based Systematic Test-Case Generation Method for Safety-Critical Embedded Systems";
Supervisor, Reviewer: P. Puschner, R. Kirner; 182, 2010; oral examination: 2010-11-17.

Safety-critical systems have to be tested exhaustively to ensure that they
do not exhibit erroneous behavior, because failures may have a serious impact.
In relevant standards requirements for the testing process are defined,
for instance, the required coverage metrics (like MC/DC) or traceability, that
means that the generated test cases have to map to the requirements originally
defined in the system specification. Many test-case generation methods
exist, but it is still a challenge to generate the test cases systematically (based
on the requirements) and to guarantee that the resulting test set achieves
full MC/DC on the system under test. The aim of this PhD thesis is to make
a significant contribution to solve this problem.
In this PhD thesis a testing framework is developed that provides a testcase
generation method that is able to generate the test cases based on the
requirements. The resulting test cases are traceable back to the system
requirements. With the generated test set we achieve maximum possible
MC/DC on the code of the system under test (SUT) for a safety-critical application
from the automotive domain. Furthermore, we evaluate the actual
error detection rate of the test set by defining three different error scenarios:
errors in the value domain, errors in the variable domain, and errors in the
operator domain. The results show that the error detection probability for
the value domain is quite sufficient, whereas the error detection rates for
the variable and operator domain are significantly less than expected. The
results are important for the discussion about whether MC/DC is a suitable
coverage metric for safety-critical systems.

Sicherheitskritische Systeme müssen ausreichend getestet werden, um
sicherzustellen, dass sie sich nicht fehlerhaft verhalten, da Fehler fatale
Auswirkungen haben können. In relevanten Standards sind Bedingungen
für den Testprozess definiert, zum Beispiel zu erfüllende Coverage-
Kriterien (wie z.B. MC/DC) oder Traceability, d.h., dass es möglich ist, die
generierten Testfälle auf die in der Spezifikation definierten Requirements
zurückzuführen. Es existieren zahlreiche Methoden, Testfälle zu erzeugen,
aber es ist immer noch eine Herausforderung, Testfälle so systematisch zu
generieren, dass sie einerseits auf den Requirements basieren und andererseits
mit der resultierenden Menge an Testfällen eine Abdeckung von 100%
MC/DC am zu testenden System erreicht wird. Das Ziel dieser Dissertation
ist es, einen signifikanten Beitrag zu diesem Problem zu leisten.
In dieser Arbeit wird ein Testframework mit einer Testfallgenerierungsmethode,
die die Testfälle auf Basis der Requirements generiert,
entwickelt. Die Testfälle haben direkten Bezug zu den in der Spezifikation
festgelegten Requirements. Mit den generierten Testfällen erreichen wir die
die maximal mögliche MC/DC Abdeckung auf dem Quellcode des zu testenden
Systems für eine sicherheitskritische Fallstudie aus dem Automobilbereich.
Zusätzlich evaluieren wir die tatsächliche Fehlererkennungsrate für drei
verschiedene Fehlerszenarien: Fehler in den Werten, in den Variablennamen
und in den Operatoren. Die Ergebnisse zeigen, dass die Fehlererkennungsrate
für Werte durchaus ausreichend ist, wohingegen die Fehlererkennungsraten
für Variablennamen bzw. Operatoren weit unter den erwarteten Werten
liegen. Diese Ergebnisse sind ein wichtiger Beitrag zur Diskussion, inwieweit
MC/DC eine geeignete Metrik für sicherheitskritische Systeme ist.

Safety-Critical Systems, Embedded Systems, Testing, Requirement-Based Testing, Coverage Metrics, MC/DC, Error Detection Rate