il teorema ergodico e le Monte Carlo Markov Chains

Le catene di Markov devono il loro nome al matematico russo Andrej Andreevič Markov, il quale introdusse questa classe di processi stocastici a tempo discreto nei primi anni del 1900. Lo scopo originario dello studioso era mostrare che alcuni risultati di convergenza validi per successioni di variabili aleatorie indipendenti identicamente distribuite, quali la legge dei grandi numeri, potevano essere estesi a processi che ammettono una piccola dipendenza dal passato. Negli anni successivi queste catene si sono dimostrate utilissime in più settori e vantano svariate applicazioni in fisica, biologia, ingegneria elettronica e altri campi. La proprietà caratterizzante le catene di Markov è una sorta di perdita di memoria: lo stato attuale della catena è la massima informazione che possiamo avere per determinare lo stato successivo, mentre gli stati precedenti non influiscono. Il primo capitolo si sofferma sulle catene di Markov discrete. L'interesse principale è per le catene omogenee e irriducibili, che saranno classificate come ricorrenti positive, ricorrenti nulle o transitorie. Si definisce inoltre la distribuzione stazionaria e se ne dimostrano esistenza e unicità per catene ricorrenti positive. Il capitolo si conclude col teorema ergodico, il quale ci fornisce un importante risultato di convergenza per le catene omogenee, irriducibili, ricorrenti positive. Il secondo capitolo inizia trattando brevemente il metodo Monte Carlo classico, fornendone un esempio con il metodo di acceptance-rejection. Dopo aver introdotto i concetti di periodicità e reversibilità di una catena di Markov, si presenta il metodo Monte Carlo Markov Chains per catene a valori in uno spazio finito e se ne fornisce un esempio: l'algoritmo di Metropolis-Hastings. L'elaborato si conclude con degli esempi di applicazione dell'algoritmo.