Doctor's Theses (authored and supervised):
D. Bauer:
"Some asymptotic theory for the estimation of linear systems using maximum likelihood methods or subspace algorithms";
Supervisor, Reviewer: M. Deistler;
Institut für Ökonometrie, Operations Research und Systemtheorie, TU Wien,
1998.
English abstract:
This thesis is concerned with the estimation of linear, time invariant, finite
dimensional state space systems. The data is assumed to consist of quantitative
measurements of possibly several variables, where the samples are chosen
using a fixed sampling rate. For this class of data, state space systems are
a commonly used model class, equally in engineering sciences as well as
in other fields of science, such as e.g. econometrics, medical statistics
or ecology.
The standard methodology to estimate state space models at present
consists in the maximum likelihood (ML) approach.
The asymptotic properties of ML estimates have been studied extensively in the
past: The estimates are known to be consistent
and asymptotically normally distributed under the usual assumptions on the
process. For the implimentation of the ML approach we have to use
a parametrization of the set of all systems of order n. The topological
properties of this parametrization influence the statistical properties
of the estimates of the parameters and thus of the estimates of the system decisively.
The first part of the thesis investigates the topological
properties of so called balanced parametrizations. For this kind of
parametrization a partitioning of the set of all systems of order n
is presented, where each piece in this partitioning can be
parametrized continuously. The topological properties of these pieces, as well
as their boundaries are examined. Also the structure of the
parameter spaces and their closures is investigated. A comparison of
the balanced parametrizations to the echelon parametrizations
is provided. Some of the result, which
have been achieved for the balanced parametrizations are used to
obtain similar results for the case of strictly minimum-phase systems:
In particular the partitioning of the set of all strictly minimum-phase
systems of order n into pieces, which allow for a continuous
parametrization, is presented and the results corresponding to the
structure of the closures of the pieces are transferred from the corresponding
results for the balanced parametrizations. Finally
frequency weighted balancing is presented and the model reduction
properties of these realizations demonstrated. The chapter is concluded
with a summary of known results corresponding to the asymptotic
distribution of the ML estimates and some comments concerned with
the actual implimentation of the ML approach.
The second part of the thesis contains the main results. Chapter 3 provides
a survey of subspace methods. Basically, subspace methods can be decomposed
roughly into three main steps:
- Estimation of a high dimensional state
- Model reduction leading to an estimate of the $n$ dimensional state
- Estimation of the system matrices
Here the emphasis is put on a comparison of
several methods, which have all been termed 'subspace' methods, whereas they
use quite different ideas. The discussion centers on the similarities
and differences between the various proposed methods. The chapter is
concluded with a presentation of the main algorithm investigated
in this thesis.
Chapter 4 then presentes the main result of the thesis, i.e. asymptotic
normality of the estimates of the system matrices, in several situations,
including the case of no observed inputs as well as the case
of additional observed inputs. Also for the algorithms, which
use more of the structure of the recursions defining the state space
models for the estimation, similar results are
obtained.
Chapter 5 deals with the effects of user choices on the performance of the
subspace algorithms. Especially the choice of the order is examined in more
depth and the asymptotic theory developed in Chapter 4 is used to
define two new order estimation procedures, which are shown to be consistent
under the general assumptions of the thesis. These two new procedures
are compared in simulation studies to the procedure proposed by Peternell (1995)
and the order estimation procedure implemented in {\tt MATLAB}.
Furthermore, the effect of the weighting matrices on the asymptotic accuracy
is investigated. In particular the asymptotic distribution of the
estimates of the system matrices in the case, where the order used for estimation
is lower than the true order, is obtained. This result also contains a
consistency result, where explicit expressions for the approximating
lower order system are given. For a number of systems, these results are applied
to show both, the asymptotic as well as the finite sample behaviour
of algorithms using different weighting matrices. These simulations
show the effects of the choice of the weighting matrices on the approximation
in the case, where the estimation order is chosen too low as well as the
asymptotic variance in the case, where the order is specified correctly.
Finally we present possibilities in order to ensure, that the estimated system is
stable or minimum-phase respectively.
Chapter 6 concludes the discussion with showing some results on the
asymptotic distribution for other commonly used subspace
procedures, which are easily obtained using the tools provided in Chapter 4.
Again the discussion is focussed on the asymptotic normality of the system matrix
estimates.
German abstract:
Diese Dissertation befaßt sich mit der Schätzung von linearen,
zeit-invarianten, endlich dimensionalen Zustandsraummodellen.
Die Daten hierbei bestehen aus einer Anzahl von quantitativen Beobachtungen
möglicherweise mehrerer Größen,
wobei die Beobachtungen in zeitlich konstanten Abständen gemessen werden.
Für diese Klasse von Daten stellen die linearen Zustandsraummodelle eine
häufig verwendete Modellklasse dar, die sowohl in den Ingenieurwissenschaften
als auch zum Beispiel in der Ökonometrie, der medizinischen Statistik und der Ökologie
Anwendungen findet.
Die Standardmethode zur Schätzung solcher Zustandsraummodelle stellt
die Maximum-Likelihood (ML) Methode dar.
Die asymptotischen Eigenschaften der ML Schätzer wurden
erschöpfend erforscht: Sie sind konsistent und
asymptotisch effizient für die gewöhnlichen Annahmen an den Prozeß.
Für die Implementierung der ML Methode muß eine Parametrisierung aller Systeme gegebener Ordnung benutzt werden. Die
topologischen Eigenschaften dieser Parametrisierung beeinflussen die
Eigenschaften der Schätzer wesentlich.
Der erste Teil dieser Dissertation beschäftigt sich mit der
Analyse der topologischen Eigenschaften von sogenannten balanzierten
Parametrisierungen. Für diese Art von Parametrisierungen wird eine Zerlegung
der Menge aller Systeme der Ordnung n präsentiert,
sodaß jedes Teilstück dieser Zerlegung stetig parametrisiert
werden kann. Die topologischen Eigenschaften dieser Stücke sowie deren
Abschlusses werden untersucht, und schlie"slich auch die Struktur
der Parameterräume sowie deren Ränder.
Abschließend werden die balanzierten Parametrisierungen mit den
Echelon Parametrisierungen verglichen.
Einige dieser Ergebnisse werden auf den Fall von
'strictly-minimum-phase' Systemen übertragen: In dieser Hinsicht sind vor allem
die Parametrisierung, sowie die Eigenschaften der Abschlüsse der Teilstücke
der Menge aller Systeme der Ordnung n zu nennen.
In diesem Kapitel werden auch
'frequenz-gewichtet balanzierte' Systeme untersucht
und deren Modellreduktions-
Eigenschaften vorgestellt. Das Kapitel beenden einige
bekannte Resultate bezüglich der asymptotischen Eigenschaften der
ML Schätzer, sowie Hinweise zur tatsächlichen Implementierung der
ML Prozedur.
Der zweite Teil der Dissertation ist gleichzeitig der Haupteil der
Arbeit. Kapitel 3 liefert eine überblicksmäßige Einführung
in die sogenannten 'Subspace'-Algorithmen. Diese Algorithmen können grob in 3
Schritte untergliedert werden:
- Schätzung eines hochdimensionalen
Zustandes
- Modellreduktion durch Komprimierung der Information im Zustandsvektor
auf n Komponenten.
- Schätzung der Systemmatrizen
Hierbei wird
eine Reihe von Algorithmen besprochen, die allesamt in der
Literatur unter 'Subspace'-Algorithmen geführt werden, allerdings
relativ unterschiedliche Ansätze benutzen.
Das Hauptaugenmerk hierbei liegt im Aufzeigen der Zusammenhänge und
Unterschiede der einzelnen Prozeduren. Am Ende des Kapitels wird dann
jene Klasse von Algorithmen beschrieben, welche im 4.Kapitel
genau analysiert wird.
Das 4. Kapitel präsentiert das Hauptresultat dieser Dissertation, asymptotische
Normalverteilung der geschätzten Systemmatrizen. Dieses Resultat
wird für eine
Reihe von Situationen hergeleitet, wobei der
Fall ohne exogene Inputs genauso behandelt wird wie der Fall der Berücksichtigung exogener
Inputs. Auch jene Klasse von Algorithmen, welche die Struktur der
den Zustandsraumsystemen zugrundeliegenden Rekursionen noch stärker
für die Schätzung benutzt, wird behandelt.
Kapitel 5 beschäftigt sich dann mit den Auswirkungen der Wahl von bestimmten
Designvariablen, die der Benutzer im Algorithmus wählen muß.
Dabei werden vor allem Ordnungsschätzprozeduren entwickelt,
die sich aus den Ergebnissen von Kapitel 4 als naheliegend erweisen.
Für alle neu entwickelten Ordnungsschätzer wird Konsistenz bewiesen.
Anschlie"send werden die neuen Prozeduren mit den bereits vorhandenen
in Simulationsstudien verglichen. Weiters wird die
Wahl von Gewichtsmatrizen untersucht. So wird die
Verteilung der Systemmatrizenschätzer hergeleitet in dem Fall, daß die
Ordnung, die für die Schätzung benutzt wird niedriger ist als die wahre Ordnung
des Systemes. Dieses Resultat beinhaltet auch ein Konsistenzresultat,
wobei das für das Grenzsystem, gegen welches die Schätzer für Anzahl der
Beobachtungen gegen unendlich konvergieren, explizite Formeln angegeben
werden können.
Berechnungen für eine Anzahl von Systemen zeigen den Effekt
von unterschiedlichen Wahlen der Gewichtsmatrizen auf die asymptotische Varianz
der Schätzer und den asymptotischen Approximationsfehler bei zu geringer Wahl der
Ordnung des geschätzten Systemes.
Schließlich werden Möglichkeiten aufgezeigt, um die
Stabilität beziehungsweise die 'Minimum-phase' Eigenschaft
des geschätzten
Systemes zu garantieren.
Kapitel 6 benutzt die Ergebnisse aus Kapitel 4, um die
asymptotische Verteilung für einige andere 'Subspace' Algorithmen
zu klären. Erneut bildet der Beweis der asymptotischen Normalverteilung das
zentrale Resultat.
Electronic version of the publication:
http://publik.tuwien.ac.at/files/pub-tm_1.pdf
Created from the Publication Database of the Vienna University of Technology.