8. Legge Grandi Numeri e Teorema Limite Centrale

Teoria dei Fenomeni Aleatori
AA 2012/13
La Legge dei Grandi Numeri
Considerata una serie di n prove ripetute con p pari alla probabilità di
successo in una singola prova, il rapporto tra il numero di successi K
ed il numero di prove n tende a p quando n tende ad infinito:
⎧K
⎫
P ⎨ − p ≥ ε⎬ → 0
⎩ n
⎭
per
n→∞
con ε una (qualsiasi) quantità positiva.
452
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Esempio: dati simulati
0.18
Stima della probabilità che esca "6" nel lancio di un dado regolare
Frequenza relativa
0.175
0.17
0.165
0.16
0.155
0.15
0
1000
2000
3000
4000
5000
100*n
6000
7000
8000
9000
10000
453
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Dado NON truccato: Variabilità Uniforme
1666.66
Per un dado non truccato il numero di occorrenze atteso per ogni faccia, su
N prove, è costante e pari a N / 6 ⇔ 1666.66 se N = 10000.
p (" Sei" )
f N (" Sei" ) =
1666
= 0.1666
10000
454
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
La Legge dei Grandi Numeri (segue)
Dimostrazione:
Si basa sulla disuguaglianza di Chebyshev: P { X − η X ≥ ε} ≤
Var [ X ]
ε2
K
con X = (frequenza relativa).
n
La v.a. K è una Binomiale di valore atteso np e varianza npq , quindi:
⎧
P⎨
⎩
pq
η X = p Var [ X ] =
n
⎫ p⋅q
K
− p ≥ ε⎬ ≤
⎯⎯⎯
→0
n →∞
2
n
⎭ n⋅ε
⎧K
⎫
lim P ⎨ − p ≥ ε ⎬ = 0
n →∞
⎩ n
⎭
455
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Legge dei Grandi Numeri e Frequenza Relativa
o La legge dei grandi numeri costituisce un’espressione al limite
dell’assunzione “euristica” alla base dell'interpretazione della
frequenza relativa:
K
→p
n
K
o La variabile aleatoria
“converge in probabilità” al numero p :
n
⎡K
⎤
lim P ⎢ − p ≥ ε ⎥ = 0
n →∞
⎣ n
⎦
per ogni numero positivo ε e per ogni p ≠ 0 .
456
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Introduzione al Teorema del Limite Centrale
La somma Y2 = X 1 + X 2
di due v.a. indipendenti
X1
e
X2,
identicamente distribuite con legge Exp {λ}, ha densità:
fY2 ( y ) = λ 2 y exp ( −λy ) U ( y )
Se si considera la somma Y3 = X 1 + X 2 + X 3 di tre v.a. esponenziali
indipendenti ed identiche, si ottiene per la densità di Y3 = Y2 + X 3 :
y2
fY3 ( y ) = λ
exp ( −λy ) U ( y )
2
Iterando il procedimento si ottiene per la densità della somma:
Yn = X 1 + X 2 + X 3 + ... + X n = Yn −1 + X n
3
λn
fYn ( y ) =
y n −1 exp ( −λy )U ( y )
( n − 1) !
(legge “Gamma”)
457
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Esempio: n = 2 , E[Xi] = 3
0.14
Gamma n = 2
Normale
Densità di Probabilità
0.12
0.1
0.08
0.06
0.04
0.02
0
0
10
20
30
40
50
60
70
y
80
90
100 110 120 130 140 150
1
fYn ( y ) = λ y exp ( −λy )U ( y ) , n = 2, λ = , η = 6 , σ 2 = 18
3
2
458
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Esempio: n = 4 , E[Xi] = 3
0.08
Gamma n = 4
Normale
Densità di Probabilità
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0
0
10
20
30
40
50
60
70
y
80
90
100 110 120 130 140 150
λ4 3
1
fYn ( y ) =
y exp ( −λy ) U ( y ) , n = 4, λ = , η = 12, σ 2 = 36
3
6
459
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Esempio: n = 6 , E[Xi] = 3
0.06
Gamma n = 6
Normale
Densità di Probabilità
0.05
0.04
0.03
0.02
0.01
0
0
10
20
30
40
50
60
70
y
80
90
100 110 120 130 140 150
λ6 5
1
fYn ( y ) =
y exp ( −λy )U ( y ) , n = 6 , λ = , η = 18, σ 2 = 54
3
120
460
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Esempio: n = 10 , E[Xi] = 3
0.05
Gamma n = 10
Normale
Densità di Probabilità
0.04
0.03
0.02
0.01
0
0
10
20
30
40
50
60
70
y
80
90
100 110 120 130 140 150
λ10 9
1
fYn ( y ) =
y exp ( −λy ) U ( y ) , n = 10, λ = , η = 30, σ 2 = 90
3
9!
461
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Esempio: n = 20 , E[Xi] = 3
0.035
Gamma n = 20
Normale
Densità di Probabilità
0.03
0.025
0.02
0.015
0.01
0.005
0
0
10
20
30
40
50
60
70
y
80
90
100 110 120 130 140 150
λ 20 19
1
fYn ( y ) =
y exp ( −λy ) U ( y ) , n = 20, λ = , η = 60, σ 2 = 180
3
19!
462
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Esempio: n = 30 , E[Xi] = 3
0.025
Gamma n = 30
Normale
Densità di Probabilità
0.02
0.015
0.01
0.005
0
0
10
20
30
40
50
60
70
y
80
90
100 110 120 130 140 150
λ 30 29
1
fYn ( y ) =
y exp ( −λy ) U ( y ) , n = 30, λ = , η = 90, σ 2 = 270
3
29!
463
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Esempio: n = 100 , E[Xi] = 3
0.014
Gamma n = 100
Normale
Densità di Probabilità
0.012
0.01
0.008
0.006
0.004
0.002
0
200
225
250
275
300
y
325
350
375
400
425
λ100 99
1
fYn ( y ) =
y exp ( −λy )U ( y ) , n = 100, λ = , η = 300, σ 2 = 900
3
99!
464
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Somma di 2 uniformi indipendenti tra (0,10)
0.1
Somma
Normale
0.09
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0
0
2
4
6
8
10
12
14
16
18
20
465
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Somma di 5 uniformi indipendenti tra (0,10)
0.07
Somma
Normale
0.06
0.05
0.04
0.03
0.02
0.01
0
0
5
10
15
20
25
30
35
40
45
50
466
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Somma di 20 uniformi indipendenti tra (0,10)
0.035
Somma
Normale
0.03
0.025
0.02
0.015
0.01
0.005
0
0
20
40
60
80
100
120
140
160
180
200
467
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Teorema del Limite Centrale
Il Teorema del Limite Centrale (TLC) mostra che, sotto opportune
condizioni, molti fenomeni aleatori tendono al modello gaussiano.
Teorema:
Date n variabili aleatorie indipendenti ed identicamente distribuite X i
con i = 1,2,...,n (di valor atteso μ e deviazione standard σ ), la loro
somma (di valore atteso
n ⋅μ
e deviazione standard
σ n)
normalizzata (rispetto al valore atteso ed alla deviazione standard):
∑ X − nμ
n
i
Yn =
1= 1
σ n
è una v.a. la cui distribuzione FYn ( y ) tende ad una normale standard.
468
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Teorema del Limite Centrale (segue)
In forma coincisa, data la sequenza di v.a. i.i.d. { X i } con:
μ = E [ Xi ]
σ = Var [ X i ]
e
∑ X − nμ
n
i
la v.a. Yn :
Yn =
1= 1
σ n
1
=
n
∑
n
i =1
⎛ Xi − μ ⎞
⎜ σ ⎟
⎝
⎠
per il TLC “Converge in Distribuzione” a N ( 0,1) .
Cioè:
lim F
n →∞
Yn
( y) =
∫
y
−∞
⎛ t2 ⎞
1
exp ⎜ − ⎟ dt
2π
⎝ 2⎠
469
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Teorema del Limite Centrale (segue)
Nel caso particolare in cui: X i ∼ B ( p ) sono v.a. Bernoulliane:
μ = E [ Xi ] = p
σ = Var [ X i ] =
e
pq
allora:
∑ X − np
n
i
Yn =
1= 1
npq
K − np
=
npq
dove K (pari al numero di successi su n prove) è una v.a. Binomiale
(valore atteso np e deviazione standard
npq ) la cui funzione di
distribuzione tende alla gaussiana standard per n che va ad
infinito.
470
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Legge dei Grandi Numeri e TLC
• La legge dei grandi numeri indica semplicemente il limite al quale
⎛K⎞
tende il rapporto ⎜ ⎟ quando il numero di prove tende ad infinito.
⎝n⎠
• Il TLC fornisce informazioni sulla distribuzione di probabilità del
numero di successi K .
471
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Approssimazione del Modello Binomiale
Teorema di De Moivre - Laplace
La probabilità di k successi in n prove ripetute, con p probabilità di
successo in una singola, è data “approssimativamente” dalla formula:
2
⎡
( k − np ) ⎤
1
P { X = k} =
exp ⎢ −
⎥
2npq ⎥⎦
2 π npq
⎢⎣
per
• npq
1
• np − npq ≤ k ≤ np + npq
472
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Approssimazione del Modello Binomiale (segue)
M odello B inom iale: n = 10 ,p = 0:5
0.25
0.2
P (X = k)
0.15
0.1
0.05
0
0
1
2
3
4
5
k
6
7
8
9
10
473
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Approssimazione del Modello Binomiale (segue)
n = 20, p = 0.5
0.18
Gaussiana
Bin(n = 20, p = 0.5)
Densità - Massa di Probabilità
0.16
0.14
0.12
0.1
0.08
0.06
0.04
0.02
0
0
2
4
6
8
10
X=k
12
14
16
18
20
Confronto tra le densità di probabilità binomiale e gaussiana
474
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Approssimazione del Modello Binomiale (segue)
n = 100, p = 0.07
0.16
Bin(n = 100, p 0.07)
Gaussiana
Densità - Massa di Probabilità
0.14
0.12
0.1
0.08
0.06
0.04
0.02
0
0
2
4
6
8
X=k
10
12
14
16
Confronto tra le densità di probabilità binomiale e gaussiana
475
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Approssimazione del Modello Binomiale (segue)
o Modello binomiale e legge di Poisson
Teorema di Poisson
Data la legge binomiale di parametri ( n, p ) , quando:
n >> 1
p << 1
e risulta
np = costante
il modello binomiale può essere approssimato da un modello di
Poisson con valore atteso λ = np .
Cioè:
⎛ n ⎞ k n−k
⎜k ⎟ p q
⎝ ⎠
⎯⎯
→
λk
exp ( −λ )
k!
k = 0, 1, 2,...
476
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Approssimazione del Modello Binomiale (segue)
Dimostrazione:
⎛ n ⎞ n ( n − 1) ⋅ ... ⋅ ( n − k + 1)
⎜k⎟ =
k!
⎝ ⎠
q
n−k
q = (1 − p )
n
⎛n⎞
pn ( k ) = ⎜ ⎟ p k q n − k
⎝k⎠
e − np
n
nk
k!
per n >> k
per p << 1
k
pn
(
)
n k − np
λ
=
p e = e − np
e−λ
k!
k!
k!
k
k
477
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Approssimazione del Modello Binomiale (segue)
0.2
Poisson(λ = 4)
Bin(n = 100, p = 0.04)
0.18
Massa di probabilità
0.16
0.14
0.12
0.1
0.08
0.06
0.04
0.02
0
0
1
2
3
4
5
X=k
6
7
8
9
10
Confronto tra le densità di probabilità binomiale e poissoniana
478
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Approssimazione del Modello di Poisson
Per λ >> 1 Poisson ( λ ) ∼ N λ , λ
(
)
0.25
Poisson(λ = 4)
Gaussiana
Massa - Densità di probabilità
0.2
0.15
0.1
0.05
0
0
1
2
3
4
5
x=k
6
7
8
9
10
479
Docenti: Gaspare Galati – Gabriele Pavan
Teoria dei Fenomeni Aleatori
AA 2012/13
Legami tra le Variabili Aleatorie Fondamentali
Bernoulliana Ber(p)
Somma
(ripetizione n volte)
n → ∞ , p → 0, np → λ
Binomiale Bin(n,p)
n = ∑ ni
i
⎧n >> 1
⎪
⎨np >> 1
⎪k dell'ordine di np
⎩
μ = np , σ = np ( 1 − p )
Poisson P(λ)
Somma
λ = ∑ λi
i
Normale N(μ , σ)
λ →∞
Somma
μ = ∑ μi , σ 2 = ∑ σ i2
i
i
Normale N(μ , σ)
μ =λ , σ = λ
480
Docenti: Gaspare Galati – Gabriele Pavan