Geometria dell'informazione

La geometria dell'informazione è un campo interdisciplinare incentrato sullo studio della teoria delle probabilità, della statistica inferenziale e della teoria dell'informazione attraverso gli strumenti della geometria differenziale.

Uno strumento base è la varietà statistica, che è un tipo di varietà riemanniana i cui punti corrispondono a distribuzioni di probabilità e su cui vale il teorema di Chentsov.

Negli anni '80 è cresciuta grazie al lavoro di Shun'ichi-Amari. Il suo libro Methods of information Geometry si può considerare il testo di riferimento corrente, a cui si aggiunge un articolo seminale, A Foundation of Information Geometry (1983). Il libro contiene una vasta esposizione dei risultati raggiunti (fino all'anno 2000) in altre discipline grazie agli strumenti della geometria dell'informazione.

Introduzione

Il principio fondamentale della geometria dell'informazione consiste nella possibilità di trattare attraverso la geometria differenziale molte importanti strutture della teoria della probabilità, della teoria dell'informazione e della statistica. Ciò è possibile analizzando gli spazi di distribuzioni di probabilità come delle varietà differenziabili riemanniane munite di una famiglia di connessioni affine distinte dalla connessione canonica affine. Le connessioni e-affini e m-affini danno una interpretazione geometrica dell'aspettazione e della massimizzazione, come nell'algoritmo di aspettazione-massimizzazione.

Ad esempio:

• La matrice dell'informazione di Fisher è una metrica riemanniana.
• La divergenza di Kullback-Leibler è una delle famiglie di divergenze legate alla connessioni duali affini.
• Una famiglia esponenziale è una sottovarietà piatta sotto una connessione e-affine.
• La stima di massima verosimiglianza può essere ottenuta attraverso una proiezione su un modello statistico prescelto usando una connessione m-affine.
• L'esistenza e l'unicità della stima di massima verosimiglianza sulle famiglie esponenziali è conseguenza della affinità duale tra le connessioni e-affini e m-affini.
• L'algoritmo em ("em" sta per e-proiezione e m-proiezione)

Bibliografia

• (EN) Shun-Ichi Amari, A foundation of information geometry, 1983, DOI:10.1002/ecja.4400660602.
• (EN) Shun-Ichi Amari e Hiroshi Nagoka, Methods of information Geometry, DOI:10.1090/mmono/191.