[Zurück]

D. Bauer:
"Some asymptotic theory for the estimation of linear systems using maximum likelihood methods or subspace algorithms";
Betreuer/in(nen), Begutachter/in(nen): M. Deistler; Institut für Ökonometrie, Operations Research und Systemtheorie, TU Wien, 1998.

Diese Dissertation befaßt sich mit der Schätzung von linearen, zeit-invarianten, endlich dimensionalen Zustandsraummodellen. Die Daten hierbei bestehen aus einer Anzahl von quantitativen Beobachtungen möglicherweise mehrerer Größen, wobei die Beobachtungen in zeitlich konstanten Abständen gemessen werden. Für diese Klasse von Daten stellen die linearen Zustandsraummodelle eine häufig verwendete Modellklasse dar, die sowohl in den Ingenieurwissenschaften als auch zum Beispiel in der Ökonometrie, der medizinischen Statistik und der Ökologie Anwendungen findet. Die Standardmethode zur Schätzung solcher Zustandsraummodelle stellt die Maximum-Likelihood (ML) Methode dar. Die asymptotischen Eigenschaften der ML Schätzer wurden erschöpfend erforscht: Sie sind konsistent und asymptotisch effizient für die gewöhnlichen Annahmen an den Prozeß. Für die Implementierung der ML Methode muß eine Parametrisierung aller Systeme gegebener Ordnung benutzt werden. Die topologischen Eigenschaften dieser Parametrisierung beeinflussen die Eigenschaften der Schätzer wesentlich. Der erste Teil dieser Dissertation beschäftigt sich mit der Analyse der topologischen Eigenschaften von sogenannten balanzierten Parametrisierungen. Für diese Art von Parametrisierungen wird eine Zerlegung der Menge aller Systeme der Ordnung n präsentiert, sodaß jedes Teilstück dieser Zerlegung stetig parametrisiert werden kann. Die topologischen Eigenschaften dieser Stücke sowie deren Abschlusses werden untersucht, und schlie"slich auch die Struktur der Parameterräume sowie deren Ränder. Abschließend werden die balanzierten Parametrisierungen mit den Echelon Parametrisierungen verglichen. Einige dieser Ergebnisse werden auf den Fall von 'strictly-minimum-phase' Systemen übertragen: In dieser Hinsicht sind vor allem die Parametrisierung, sowie die Eigenschaften der Abschlüsse der Teilstücke der Menge aller Systeme der Ordnung n zu nennen. In diesem Kapitel werden auch 'frequenz-gewichtet balanzierte' Systeme untersucht und deren Modellreduktions- Eigenschaften vorgestellt. Das Kapitel beenden einige bekannte Resultate bezüglich der asymptotischen Eigenschaften der ML Schätzer, sowie Hinweise zur tatsächlichen Implementierung der ML Prozedur. Der zweite Teil der Dissertation ist gleichzeitig der Haupteil der Arbeit. Kapitel 3 liefert eine überblicksmäßige Einführung in die sogenannten 'Subspace'-Algorithmen. Diese Algorithmen können grob in 3 Schritte untergliedert werden:

1. Schätzung eines hochdimensionalen Zustandes
2. Modellreduktion durch Komprimierung der Information im Zustandsvektor auf n Komponenten.
3. Schätzung der Systemmatrizen

Hierbei wird eine Reihe von Algorithmen besprochen, die allesamt in der Literatur unter 'Subspace'-Algorithmen geführt werden, allerdings relativ unterschiedliche Ansätze benutzen. Das Hauptaugenmerk hierbei liegt im Aufzeigen der Zusammenhänge und Unterschiede der einzelnen Prozeduren. Am Ende des Kapitels wird dann jene Klasse von Algorithmen beschrieben, welche im 4.Kapitel genau analysiert wird. Das 4. Kapitel präsentiert das Hauptresultat dieser Dissertation, asymptotische Normalverteilung der geschätzten Systemmatrizen. Dieses Resultat wird für eine Reihe von Situationen hergeleitet, wobei der Fall ohne exogene Inputs genauso behandelt wird wie der Fall der Berücksichtigung exogener Inputs. Auch jene Klasse von Algorithmen, welche die Struktur der den Zustandsraumsystemen zugrundeliegenden Rekursionen noch stärker für die Schätzung benutzt, wird behandelt. Kapitel 5 beschäftigt sich dann mit den Auswirkungen der Wahl von bestimmten Designvariablen, die der Benutzer im Algorithmus wählen muß. Dabei werden vor allem Ordnungsschätzprozeduren entwickelt, die sich aus den Ergebnissen von Kapitel 4 als naheliegend erweisen. Für alle neu entwickelten Ordnungsschätzer wird Konsistenz bewiesen. Anschlie"send werden die neuen Prozeduren mit den bereits vorhandenen in Simulationsstudien verglichen. Weiters wird die Wahl von Gewichtsmatrizen untersucht. So wird die Verteilung der Systemmatrizenschätzer hergeleitet in dem Fall, daß die Ordnung, die für die Schätzung benutzt wird niedriger ist als die wahre Ordnung des Systemes. Dieses Resultat beinhaltet auch ein Konsistenzresultat, wobei das für das Grenzsystem, gegen welches die Schätzer für Anzahl der Beobachtungen gegen unendlich konvergieren, explizite Formeln angegeben werden können. Berechnungen für eine Anzahl von Systemen zeigen den Effekt von unterschiedlichen Wahlen der Gewichtsmatrizen auf die asymptotische Varianz der Schätzer und den asymptotischen Approximationsfehler bei zu geringer Wahl der Ordnung des geschätzten Systemes. Schließlich werden Möglichkeiten aufgezeigt, um die Stabilität beziehungsweise die 'Minimum-phase' Eigenschaft des geschätzten Systemes zu garantieren. Kapitel 6 benutzt die Ergebnisse aus Kapitel 4, um die asymptotische Verteilung für einige andere 'Subspace' Algorithmen zu klären. Erneut bildet der Beweis der asymptotischen Normalverteilung das zentrale Resultat.

This thesis is concerned with the estimation of linear, time invariant, finite dimensional state space systems. The data is assumed to consist of quantitative measurements of possibly several variables, where the samples are chosen using a fixed sampling rate. For this class of data, state space systems are a commonly used model class, equally in engineering sciences as well as in other fields of science, such as e.g. econometrics, medical statistics or ecology. The standard methodology to estimate state space models at present consists in the maximum likelihood (ML) approach. The asymptotic properties of ML estimates have been studied extensively in the past: The estimates are known to be consistent and asymptotically normally distributed under the usual assumptions on the process. For the implimentation of the ML approach we have to use a parametrization of the set of all systems of order n. The topological properties of this parametrization influence the statistical properties of the estimates of the parameters and thus of the estimates of the system decisively. The first part of the thesis investigates the topological properties of so called balanced parametrizations. For this kind of parametrization a partitioning of the set of all systems of order n is presented, where each piece in this partitioning can be parametrized continuously. The topological properties of these pieces, as well as their boundaries are examined. Also the structure of the parameter spaces and their closures is investigated. A comparison of the balanced parametrizations to the echelon parametrizations is provided. Some of the result, which have been achieved for the balanced parametrizations are used to obtain similar results for the case of strictly minimum-phase systems: In particular the partitioning of the set of all strictly minimum-phase systems of order n into pieces, which allow for a continuous parametrization, is presented and the results corresponding to the structure of the closures of the pieces are transferred from the corresponding results for the balanced parametrizations. Finally frequency weighted balancing is presented and the model reduction properties of these realizations demonstrated. The chapter is concluded with a summary of known results corresponding to the asymptotic distribution of the ML estimates and some comments concerned with the actual implimentation of the ML approach. The second part of the thesis contains the main results. Chapter 3 provides a survey of subspace methods. Basically, subspace methods can be decomposed roughly into three main steps:

1. Estimation of a high dimensional state
2. Model reduction leading to an estimate of the $n$ dimensional state
3. Estimation of the system matrices

Here the emphasis is put on a comparison of several methods, which have all been termed 'subspace' methods, whereas they use quite different ideas. The discussion centers on the similarities and differences between the various proposed methods. The chapter is concluded with a presentation of the main algorithm investigated in this thesis. Chapter 4 then presentes the main result of the thesis, i.e. asymptotic normality of the estimates of the system matrices, in several situations, including the case of no observed inputs as well as the case of additional observed inputs. Also for the algorithms, which use more of the structure of the recursions defining the state space models for the estimation, similar results are obtained. Chapter 5 deals with the effects of user choices on the performance of the subspace algorithms. Especially the choice of the order is examined in more depth and the asymptotic theory developed in Chapter 4 is used to define two new order estimation procedures, which are shown to be consistent under the general assumptions of the thesis. These two new procedures are compared in simulation studies to the procedure proposed by Peternell (1995) and the order estimation procedure implemented in {\tt MATLAB}. Furthermore, the effect of the weighting matrices on the asymptotic accuracy is investigated. In particular the asymptotic distribution of the estimates of the system matrices in the case, where the order used for estimation is lower than the true order, is obtained. This result also contains a consistency result, where explicit expressions for the approximating lower order system are given. For a number of systems, these results are applied to show both, the asymptotic as well as the finite sample behaviour of algorithms using different weighting matrices. These simulations show the effects of the choice of the weighting matrices on the approximation in the case, where the estimation order is chosen too low as well as the asymptotic variance in the case, where the order is specified correctly. Finally we present possibilities in order to ensure, that the estimated system is stable or minimum-phase respectively. Chapter 6 concludes the discussion with showing some results on the asymptotic distribution for other commonly used subspace procedures, which are easily obtained using the tools provided in Chapter 4. Again the discussion is focussed on the asymptotic normality of the system matrix estimates.

http://publik.tuwien.ac.at/files/pub-tm_1.pdf