[Back]

U. Radojicic, H. Oja, K. Nordhausen:
"Notion of Information and Independent Component Analysis";
Talk: Statistical Seminar, J. J. Strossmayer University of Osijek Department of Mathematics, Osijek, Croatia (invited); 2020-10-30.

In the engineering literature independent component analysis is often de-
scribed as a search for the uncorrelated linear combinations of the original vari-
ables that maximize non-Gaussianity. The estimation procedure then usually
has two steps. First, the vector of principal components is found and the compo-
nents are standardized to have zero means and unit variances, and second, the
vector is further rotated so that the new components maximize a selected mea-
sure of non-Gaussianity. It is then argued that the components obtained in this
way are made as independent as possible or that they display the components
with maximal information.
The information measures and measures of non-Gaussianity including third
and fourth cumulants are generally used as projection indices in the projection
pursuit approach for the independent component analysis. We here discuss and
clarify the somewhat vague connections between non-Gaussianity, independence
and notions of information in the context of the independent component analysis
by discussing partial orderings and various measures of information for contin-
uous univariate random variables with special roles of Gaussian and uniform
distributions.

In der Fachliteratur wird häufig eine unabhängige Komponentenanalyse durchgeführt
geschrieben als Suche nach den unkorrelierten linearen Kombinationen der ursprünglichen Variablen
Fähigkeiten, die die Nicht-Gauß-Beziehung maximieren. Das Schätzverfahren dann dann meist
hat zwei Schritte. Zunächst wird der Vektor der Hauptkomponenten und die Zusammensetzung gefunden
Die Komponenten sind standardisiert, um Mittelwerte und Einheitsabweichungen von Null zu haben, und zweitens die
Der Vektor wird weiter gedreht, so dass die neuen Komponenten eine ausgewählte Messung maximieren.
sicher der Nicht-Gaußschen. Es wird dann argumentiert, dass die Komponenten darin erhalten werden
Weg werden so unabhängig wie möglich gemacht oder dass sie die Komponenten anzeigen
mit maximaler Information.
Die Informationsmaße und Maße der Nicht-Gaußschen einschließlich des Dritten
und vierte Kumulanten werden im Allgemeinen als Projektionsindizes in der Projektion verwendet
Verfolgungsansatz für die unabhängige Komponentenanalyse. Wir diskutieren hier und
Klären Sie die etwas vagen Zusammenhänge zwischen Nicht-Gauß-Beziehung und Unabhängigkeit
und Vorstellungen von Informationen im Rahmen der unabhängigen Komponentenanalyse
durch Erörterung von Teilbestellungen und verschiedenen Informationsmaßnahmen für die Fortsetzung
Univariate Zufallsvariablen mit speziellen Rollen von Gauß und Uniform
Verteilungen.

statistics, information theory, ICA, mathematics