Le catene di Markov a tempo discreto rappresentano un modello matematico fondamentale per descrivere sistemi che evolvono nel tempo, dove la probabilità di transizione da uno stato all'altro dipende esclusivamente dallo stato attuale, non dalla sequenza di eventi precedenti. Questo concetto è particolarmente utile in vari campi, come la statistica, la teoria dei giochi, l'informatica e l'economia, poiché fornisce un quadro rigoroso per analizzare fenomeni stocastici.

Una catena di Markov è definita da un insieme di stati e da una matrice di transizione che descrive le probabilità di passare da uno stato all'altro. Per formalizzare, consideriamo un insieme di stati S = {s1, s2, ..., sn}. La matrice di transizione P è una matrice quadrata di dimensione n x n, dove l'elemento P(i, j) rappresenta la probabilità di passare dallo stato si allo stato sj in un singolo passo. Le probabilità di transizione devono soddisfare la condizione che la somma delle probabilità di uscita da uno stato sia pari a 1, ovvero:

P(i, j) ≥ 0 per ogni i, j e ∑ P(i, j) = 1 per ogni i.

Le catene di Markov possono essere classificate in base a diverse proprietà. Una delle più importanti è la proprietà di Markov, che afferma che la distribuzione futura degli stati dipende solo dallo stato attuale e non dalla storia passata. Questo si traduce nel fatto che, se conosciamo lo stato attuale, possiamo prevedere le probabilità future senza dover considerare come siamo arrivati in quello stato.

Un'altra classificazione importante è quella basata sulla classificabilità degli stati. Gli stati possono essere ricorrenti o transitori. Uno stato è ricorrente se, una volta raggiunto, c'è una probabilità 1 di tornarci. Al contrario, uno stato è transitorio se esiste una probabilità inferiore a 1 di ritornarci dopo averlo lasciato. Inoltre, una catena di Markov è considerata ergodica se è possibile raggiungere qualsiasi stato da qualsiasi altro stato in un numero finito di passi, e in questo caso, la distribuzione stazionaria esiste e la catena converge verso di essa.

Le catene di Markov a tempo discreto trovano applicazione in molti ambiti. In statistica, possono essere utilizzate per modellare processi di decisione sequenziali, come il problema del venditore viaggiatore (TSP) o nelle analisi di sequenze temporali. Inoltre, in economia, le catene di Markov possono essere utilizzate per modellare il comportamento dei consumatori, dove gli stati rappresentano le diverse scelte di acquisto e le transizioni rappresentano la probabilità di passare da una scelta all'altra.

Un esempio classico di catena di Markov è il gioco del parco giochi, dove un giocatore può trovarsi in uno di diversi stati (ad esempio, diverse attrazioni) e la probabilità di muoversi da un'attrazione all'altra dipende solo dall'attrazione attuale. Supponiamo che ci siano tre attrazioni: A, B e C. La matrice di transizione potrebbe essere definita come segue:

P = | 0.5 0.3 0.2 |
| 0.2 0.5 0.3 |
| 0.3 0.4 0.3 |

Qui, la riga corrisponde all'attrazione attuale e la colonna all'attrazione successiva. Ad esempio, se il giocatore è attualmente all'attrazione A, ha una probabilità del 50% di rimanere ad A, del 30% di passare a B e del 20% di passare a C. Questo esempio illustra come le catene di Markov possano modellare transizioni semplici tra stati discreti.

Un altro esempio di applicazione delle catene di Markov è nella teoria delle code, particolarmente utile nelle analisi dei sistemi di servizio come le linee di attesa. In questo contesto, gli stati possono rappresentare il numero di clienti in attesa e la matrice di transizione può descrivere le probabilità di arrivo e di servizio. Per esempio, in un sistema di coda, se un cliente arriva con una certa probabilità mentre un cliente viene servito con un'altra probabilità, possiamo utilizzare una catena di Markov per prevedere il numero atteso di clienti nel sistema.

Le formule fondamentali per lavorare con le catene di Markov includono la formula di Chapman-Kolmogorov, che descrive le probabilità di transizione in più passi. Se P(n) è la matrice di transizione dopo n passi, allora possiamo esprimere P(n) come:

P(n) = P(1) * P(n-1).

Inoltre, la distribuzione stazionaria π di una catena di Markov può essere trovata risolvendo il sistema di equazioni:

πP = π,

soggetta alla condizione che la somma delle probabilità della distribuzione stazionaria sia 1, ovvero:

∑ π(i) = 1.

La distribuzione stazionaria rappresenta la probabilità di trovarsi in uno stato specifico dopo un numero infinito di passi, fornendo informazioni vitali sul comportamento a lungo termine della catena.

Le catene di Markov sono state sviluppate in gran parte grazie ai contributi di matematici e statistici, tra cui Andrey Markov, che nel 1906 introdusse il concetto di catene di Markov. Le sue idee sono state ampliate nel corso del XX secolo da diversi scienziati, tra cui Claude Shannon, che ha applicato il concetto di entropia alle catene di Markov, e John von Neumann, che ha esplorato le applicazioni delle catene nel contesto della teoria dei giochi. Altri contributi significativi sono giunti da studiosi come David Blackwell e Richard Bellman, che hanno esplorato i collegamenti tra le catene di Markov e la programmazione dinamica.

In sintesi, le catene di Markov a tempo discreto forniscono un potente strumento matematico per analizzare e modellare sistemi stocastici, dalle semplici transizioni tra stati ai complessi processi decisionali. Con applicazioni che spaziano dalla statistica all'economia, dalla teoria delle code ai giochi, il loro utilizzo continua a crescere, dimostrando la versatilità e l'importanza di questo concetto nella ricerca e nell'analisi dei dati.