Processi stocastici discreti, catene di Markov e alcuni esempi classici

Le catene di Markov sono un particolare tipo di processo stocastico discreto dove la transizione allo stato successivo dipende esclusivamente dallo stato attuale, per questo motivo possono essere chiamate processo stocastico senza memoria. Questi processi portano il nome del matematico russo Andrej Andreevič Markov (Rjazan, 14 Giugno 1856 - San Pietroburgo, 20 Luglio 1922), e trovano applicazione in tanti campi: ad esempio in informatica o in statistica. In questa tesi si presentano in maniera sintetica i processi stocastici discreti in generale e, una volta fatte alcune ipotesi, li si utilizza per risolvere il 'problema della rovina del giocatore'; tale risoluzione richiederà l'uso delle equazioni alle differenze di cui sono riportati i risultati principali nel primo capitolo. In seguito si catalogano le catene di Markov finite come un particolare processo stocastico e sono presentati una serie di risultati generali. Nella parte finale del terzo capitolo si classificheranno le catene di Markov regolari per le quali si dimostra il Teorema di Markov che garantisce la convergenza della catena verso una distribuzione invariante. Questo risultato è di rilevanza notevole perché permette di stabilire con quale probabilità ci si troverà in ciascuno degli stati dopo un certo tempo. Nell'ultimo capitolo si presenta un ulteriore esempio di applicazione delle catene di Markov discutendo il 'paradosso dell'ispezione'; in questo caso le catene di Markov saranno utilizzate per determinare la legge di una variabile aleatoria che rappresenta la vita di un oggetto.