Modelling complex systems in the severely undersampled regime: a Bayesian model selection approach

L'inferenza di modelli di spin è uno strumento diffuso nell'approccio statistico ai sistemi complessi. Tipicamente ci si limita a modelli con interazioni a uno e due corpi: per il principio di massima entropia, ciò equivale ad assumere che magnetizzazioni e correlazioni a coppie costituiscano le variabili rilevanti (statistiche sufficienti) del sistema. L'assunzione non è giustificabile nel caso generale sulla base di argomenti puramente statistici; il problema della selezione tra modelli con interazioni di ordine arbitrario è però alto-dimensionale. Esso può essere affrontato tramite una particolare euristica Bayesiana che permette di ottenere le variabili rilevanti direttamente dal campione; la selezione avviene nella classe delle misture, e i risultati vengono proiettati sulla rappresentazione di spin. Il risultato è l'ottenimento delle statistiche sufficienti senza alcuna assunzione a priori. Il numero di tali statistiche è modulato da quello di differenti frequenze empiriche nel campione; in regime di sottocampionamento, esso è molto minore della dimensione del modello completo. Ciò rende il problema di inferenza dei parametri tipicamente basso-dimensionale. Il principale scopo di questo lavoro è quello di investigare esplicitamente come l'informazione sia organizzata nella mappa tra misture e modelli di spin. La comprensione dettagliata di tale mappa suggerisce nuovi approcci per la regolarizzazione; inoltre i risultati gettano luce sulla natura delle statistiche sufficienti, che risultano essere funzioni degli stati solo tramite le frequenze empiriche di questi. Mostriamo come da un approccio integralmente Bayesiano emerga sotto opportune condizioni un termine regolarizzatore "L2"; verifichiamo numericamente se tali condizioni sono tipicamente soddisfatte. Presentiamo infine alcune osservazioni qualitative circa l'emersione di loop stuctures nella mappa da misture a spin; queste aprono scenari interessanti per la ricerca futura.