Modelli di indipendenza condizionata per tabelle di contingenza

Varietà algebriche
Modelli con singolarità
Modelli di indipendenza condizionata per
tabelle di contingenza,
singolarità e restrizioni di contesto
Antonio Forcina∗ , Roberto Colombi∗ ∗
∗
Dipartimento di Economia, Finanza e Statistica, Universitá di Perugia
∗∗
Laboratorio di Statistica, Università di Bergamo
L’algoritmo LM
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Riassunto
I modelli di indipendenza condizionata costituiscono uno dei modi più
basilari per definire la struttura di distribuzioni di probabilità discreta
associate a tabelle di contingenza.
Un singolo vincolo di indipendenza può coinvolgere solo un
sottoinsieme di variabili, cioè essere definito dentro una distribuzione
marginale . Per questo, combinando un insieme di tali vincoli, si
possono generare modelli, diciamo cosi, patologici .
Il succo del seminario è che questi modelli possono essere riparati,
limitandone in parte la portata, cioè restringendo l’insieme delle
configurazioni delle variabili condizionanti per cui una certa
indipendenza è valida
Varietà algebriche
Modelli con singolarità
Outline
Varietà algebriche
Singolarità e risultati asintotici
Modelli con singolarità
L’algoritmo LM
La parametrizzazione mista
Implicazioni
Convergenza
L’algoritmo LM
Varietà algebriche
Modelli con singolarità
Outline
Varietà algebriche
Singolarità e risultati asintotici
Modelli con singolarità
L’algoritmo LM
La parametrizzazione mista
Implicazioni
Convergenza
L’algoritmo LM
Varietà algebriche
Modelli con singolarità
Outline
Varietà algebriche
Singolarità e risultati asintotici
Modelli con singolarità
L’algoritmo LM
La parametrizzazione mista
Implicazioni
Convergenza
L’algoritmo LM
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Vincoli e varietà
Nel prossimo lucido viene mostrata una rappresentazione grafica
dell’insieme dei punti che soddisfano il vincolo polinomiale
x2 − y2 z2 + z3 = 0
la varietà algebrica risultante, può essere approssimata ovunque
mediante un piano tangente, tranne che lungo un asse dove la
superfice interseca se stessa , quando questo accade, la superfice
può essere approssimata localmente solo da un cono tangente.
Varietà algebriche
Modelli con singolarità
esempio di superfice con zone di singolarità
L’algoritmo LM
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Varietà e modelli di indipendenza
Un modello di indipendenza condizionata può essere definito
vincolando a 0 certe interazioni log-lineari, ovvero, ponendo vincoli su
funzioni lineari di logaritmi di probabilità che sono equivalenti a
vincoli su polinomi di probabilità .
Ad esempio, il modello 1⊥⊥2 | 3 con variabili binarie implica che
p000 p110 − p100 p010
= 0
p001 p111 − p101 p011
= 0
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Varietà e modelli di indipendenza
Un modello di indipendenza condizionata può essere definito
vincolando a 0 certe interazioni log-lineari, ovvero, ponendo vincoli su
funzioni lineari di logaritmi di probabilità che sono equivalenti a
vincoli su polinomi di probabilità .
Ad esempio, il modello 1⊥⊥2 | 3 con variabili binarie implica che
p000 p110 − p100 p010
= 0
p001 p111 − p101 p011
= 0
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Implicazioni della singolarità
Tutti i risultati asintotici che applichiamo comunemente, si basano
sull’ipotesi che l’insieme dei punti dello spazio parametrico che
soddisfano il modello, può essere approssimato localmente mediano
un piano tangente .
Quando questa ipotesi è violata, fra l’altro, la distribuzione asintotica
del rapporto di verosimiglianza converge ad una mistura di variabili
chi-quadro e o al minimo di due o più variabili chi quadro, a seconda
del cono tangente.
Quanto detto sopra vale se il vero modello è contenuto nella
zona di singolarità , ma i risultati possono essere disturbati anche
quando il valore vero del modello, pur non essendo contenuto nella
zona di singolarità, vi è abbastanza prossimo, in termini di
dimensione campionaria.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Implicazioni della singolarità
Tutti i risultati asintotici che applichiamo comunemente, si basano
sull’ipotesi che l’insieme dei punti dello spazio parametrico che
soddisfano il modello, può essere approssimato localmente mediano
un piano tangente .
Quando questa ipotesi è violata, fra l’altro, la distribuzione asintotica
del rapporto di verosimiglianza converge ad una mistura di variabili
chi-quadro e o al minimo di due o più variabili chi quadro, a seconda
del cono tangente.
Quanto detto sopra vale se il vero modello è contenuto nella
zona di singolarità , ma i risultati possono essere disturbati anche
quando il valore vero del modello, pur non essendo contenuto nella
zona di singolarità, vi è abbastanza prossimo, in termini di
dimensione campionaria.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Un esempio elementare
In un contesto di 3 variabili binarie, consideriamo il modello definito
da 1⊥⊥2 e 1⊥⊥2 | 3 , Dawid (Ann.Stat,1980) aveva mostrato che il
modello è equivalente ad assumere che valga almeno uno dei due
vincoli: 1⊥⊥(2, 3) oppure 2⊥⊥(1, 3) .
Geometricamente il modello è equivalente all’unione di due varietà,
ciascuna delle quali può essere approssimata linearmente, ma la
zona di intersezione, che corrisponde al modello di indipendenza
completa, ha spigoli netti.
Varietà algebriche
Modelli con singolarità
rappresentazione euristica
L’algoritmo LM
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Altro esempio
In un contesto di 4 variabili binarie, consideriamo il modello definito
da 1⊥⊥2 | 3 e 1⊥⊥2 | (3, 4) , R. Evans(2011) ha dimostrato che il
modello è equivalente all’unione di 4 distinti modelli, ciascuno dei
quali, singolarmente, è smooth
1⊥⊥(2, 4) | 3
∪ [1⊥⊥(2, 4) | 3 = 0
∪ (1, 4) | 3
∩ 2⊥⊥(1, 4) | 3 = 1]
∪ [1⊥⊥(2, 4) | 3 = 1
∩ 2⊥⊥(1, 4) | 3 = 0];
anche in questo caso, nelle zone di intersezione la varietà definita
dal modello ha degli spigoli che si possono approssimare solo
mediante un opportuno cono tangente.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Altro esempio
In un contesto di 4 variabili binarie, consideriamo il modello definito
da 1⊥⊥2 | 3 e 1⊥⊥2 | (3, 4) , R. Evans(2011) ha dimostrato che il
modello è equivalente all’unione di 4 distinti modelli, ciascuno dei
quali, singolarmente, è smooth
1⊥⊥(2, 4) | 3
∪ [1⊥⊥(2, 4) | 3 = 0
∪ (1, 4) | 3
∩ 2⊥⊥(1, 4) | 3 = 1]
∪ [1⊥⊥(2, 4) | 3 = 1
∩ 2⊥⊥(1, 4) | 3 = 0];
anche in questo caso, nelle zone di intersezione la varietà definita
dal modello ha degli spigoli che si possono approssimare solo
mediante un opportuno cono tangente.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Parametri log-lineari
Un modo di parametrizzare una distribuzione multinomiale è
mediante una opportuna matrice di contrasti riga K ponendo
θ = K log(p)
dove p è il vettore delle probabilità congiunte disposte in ordine
lessicografico; si può mostrare che questo equivale a scegliere una
matrice del disegno X che è una inversa destra di K per cui vale la
formula di ricostruzione logistica
p=
exp(Xθ)
.
10 exp(Xθ)
Nella codifica detta corner point i contrasti sono definit rispetto ad
una categoria di riferimento e si può mostrare che la matrice X è una
opportuna matrice di 0 e 1.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Parametri log-lineari
Un modo di parametrizzare una distribuzione multinomiale è
mediante una opportuna matrice di contrasti riga K ponendo
θ = K log(p)
dove p è il vettore delle probabilità congiunte disposte in ordine
lessicografico; si può mostrare che questo equivale a scegliere una
matrice del disegno X che è una inversa destra di K per cui vale la
formula di ricostruzione logistica
p=
exp(Xθ)
.
10 exp(Xθ)
Nella codifica detta corner point i contrasti sono definit rispetto ad
una categoria di riferimento e si può mostrare che la matrice X è una
opportuna matrice di 0 e 1.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Parametri log-lineari
Un modo di parametrizzare una distribuzione multinomiale è
mediante una opportuna matrice di contrasti riga K ponendo
θ = K log(p)
dove p è il vettore delle probabilità congiunte disposte in ordine
lessicografico; si può mostrare che questo equivale a scegliere una
matrice del disegno X che è una inversa destra di K per cui vale la
formula di ricostruzione logistica
p=
exp(Xθ)
.
10 exp(Xθ)
Nella codifica detta corner point i contrasti sono definit rispetto ad
una categoria di riferimento e si può mostrare che la matrice X è una
opportuna matrice di 0 e 1.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Parametrizzazione mista
Notiamo che µ = X0 p è il vettore dei
valori attesi delle statistiche sufficienti , ed anche un vettore di
opportune probabilità marginali. Esiste una corrispondenza fra gli
elementi di θ e quelli di µ.
Sia allora L un opportuno sottoinsieme delle righe di K e M l’insieme
complementare delle colonne di X, in modo che L individua un
insieme di parametri log-lineari e M un corrispondente insieme di
parametri medi.
E’ noto (Barndorf-Nielsen, 1972) che (µM , θ L ) costituiscono una
trasformazione biunivoca e differenziabile del vettore p, essa si
chiama parametrizzazione mista.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Parametrizzazione mista
Notiamo che µ = X0 p è il vettore dei
valori attesi delle statistiche sufficienti , ed anche un vettore di
opportune probabilità marginali. Esiste una corrispondenza fra gli
elementi di θ e quelli di µ.
Sia allora L un opportuno sottoinsieme delle righe di K e M l’insieme
complementare delle colonne di X, in modo che L individua un
insieme di parametri log-lineari e M un corrispondente insieme di
parametri medi.
E’ noto (Barndorf-Nielsen, 1972) che (µM , θ L ) costituiscono una
trasformazione biunivoca e differenziabile del vettore p, essa si
chiama parametrizzazione mista.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Parametrizzazione mista e modelli marginali
Riprendiamo il modello definito da 1⊥⊥2 | 3 e 1⊥⊥2 | (3, 4) e
supponiamo di voler ricostruire la congiunta avendo già ricostruito la
marginale 123 in cui vale il primo vincolo.
Allora il vettore µM in cui M = {1, 2, 3, 13, 23, 12, 123} è noto e, se
indichiamo con L la lista delle interazioni restanti, cioè
{4, 14, 24, 34, 124, 134, 234, 1234}, allora la congiunta è determinata
univocamente da µM e θ L ed è possibile ricostruirla mediante un
algoritmo semplice e veloce.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Parametrizzazione mista e modelli marginali
Riprendiamo il modello definito da 1⊥⊥2 | 3 e 1⊥⊥2 | (3, 4) e
supponiamo di voler ricostruire la congiunta avendo già ricostruito la
marginale 123 in cui vale il primo vincolo.
Allora il vettore µM in cui M = {1, 2, 3, 13, 23, 12, 123} è noto e, se
indichiamo con L la lista delle interazioni restanti, cioè
{4, 14, 24, 34, 124, 134, 234, 1234}, allora la congiunta è determinata
univocamente da µM e θ L ed è possibile ricostruirla mediante un
algoritmo semplice e veloce.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Duplicazione di vincoli sulle interazioni
Se i valori medi determinati dalla marginale 123 ed i parametri
log-lineari in L definiscono in modo univoco la congiunta, resta anche
determinato il valore delle interazioni 12 e 123 definiti nella congiunta
1234, quindi queste interazioni
non possono essere vincolate di nuovo come richiesto dal vincolo
1⊥⊥2 | (3, 4).
A meno che, non decidiamo di omettere alcuni dei parametri
log-lineari in L per far posto alle interazioni che vorremmo replicare.
Resta però da verificare se è possibile ricostruire la congiunta con
una parametrizzazione in cui
certe interazioni sono definite in due o più marginali .
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Duplicazione di vincoli sulle interazioni
Se i valori medi determinati dalla marginale 123 ed i parametri
log-lineari in L definiscono in modo univoco la congiunta, resta anche
determinato il valore delle interazioni 12 e 123 definiti nella congiunta
1234, quindi queste interazioni
non possono essere vincolate di nuovo come richiesto dal vincolo
1⊥⊥2 | (3, 4).
A meno che, non decidiamo di omettere alcuni dei parametri
log-lineari in L per far posto alle interazioni che vorremmo replicare.
Resta però da verificare se è possibile ricostruire la congiunta con
una parametrizzazione in cui
certe interazioni sono definite in due o più marginali .
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Un algoritmo di ricostruzione
Un algoritmo di ricostruzione potrebbe essere strutturato in questo
modo: sia I l’insieme delle interazioni che vogliamo duplicare (12 e
123 nel nostro esempio) e R = M \ I le restanti interazioni già
definite nelle marginali precedenti {1, 2, 3, 13} nell’esempio).
Infine sia H ⊂ L un opportuno sottoinsieme delle interazioni
log-lineari non ancora definite che indicizzano un numero di
parametri uguale a quello indicizzato da I e che decidiamo di
omettere; nel nostro esempio supponiamo di omettere le interazioni
124 e 1234 con la variabile 4 fissata ad un dato livello.
Supponendo infine di fissare (o riprendere dal passo precedente) un
valore iniziale per θ H , procediamo in due passi, come descritto nel
lucido successivo
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Un algoritmo di ricostruzione
Un algoritmo di ricostruzione potrebbe essere strutturato in questo
modo: sia I l’insieme delle interazioni che vogliamo duplicare (12 e
123 nel nostro esempio) e R = M \ I le restanti interazioni già
definite nelle marginali precedenti {1, 2, 3, 13} nell’esempio).
Infine sia H ⊂ L un opportuno sottoinsieme delle interazioni
log-lineari non ancora definite che indicizzano un numero di
parametri uguale a quello indicizzato da I e che decidiamo di
omettere; nel nostro esempio supponiamo di omettere le interazioni
124 e 1234 con la variabile 4 fissata ad un dato livello.
Supponendo infine di fissare (o riprendere dal passo precedente) un
valore iniziale per θ H , procediamo in due passi, come descritto nel
lucido successivo
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
L’algoritmo LM
Si alternano, fino alla eventuale convergenza, i due passi seguenti:
• passo M applichiamo una parametrizzazione mista utilizzando
tutti i valori medi veri in M e tutti i parametri log-lineari in L,
utilizzando, per i parametri in H che non sono definiti, i valori
iniziali; dalla ricostruzione ricaviamo una stima di µH ;
• passo L applichiamo di nuovo una parametrizzazione mista,
questa volta prendiamo i valori medi in R ∪ H ed i parametri
log-lineari in I ∪ (L \ H); cosi facendo, i parametri log-lineari
utilizzati sono quelli veri, invece, fra quelli medi stiamo usando i
valori prodotti dall’output del passo precedente.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
L’algoritmo LM
Si alternano, fino alla eventuale convergenza, i due passi seguenti:
• passo M applichiamo una parametrizzazione mista utilizzando
tutti i valori medi veri in M e tutti i parametri log-lineari in L,
utilizzando, per i parametri in H che non sono definiti, i valori
iniziali; dalla ricostruzione ricaviamo una stima di µH ;
• passo L applichiamo di nuovo una parametrizzazione mista,
questa volta prendiamo i valori medi in R ∪ H ed i parametri
log-lineari in I ∪ (L \ H); cosi facendo, i parametri log-lineari
utilizzati sono quelli veri, invece, fra quelli medi stiamo usando i
valori prodotti dall’output del passo precedente.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Indipendenze con limitazioni di contesto
Se l’algoritmo convergesse ad una soluzione unica, significherebbe
che la parametrizzazione adottata è smooth.
Tuttavia, se qualcuno degli elementi di H appartiene alle classe di
interazioni che avremmo dovuto vincolare a 0 ma che omettiamo,
siamo costretti a restringere la portata dell’ultima indipendenza
condizionata.
Nel nostro esempio, se la variabile X4 fosse binaria, non avremmo
scelta: dobbiamo omettere le interazioni 124 e 1234 con X4 al livello
1, quindi restiamo con 1⊥⊥2 | (3, 4) per tutti i valori di X3 ma con X4
fissata al livello iniziale.
Se invece X4 avesse k > 2 livelli, l’indipendenza 1⊥⊥2 | (3, 4) sarà
valida sempre, tranne che per uno dei livelli di X4 che possiamo
scegliere arbitrariamente.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Indipendenze con limitazioni di contesto
Se l’algoritmo convergesse ad una soluzione unica, significherebbe
che la parametrizzazione adottata è smooth.
Tuttavia, se qualcuno degli elementi di H appartiene alle classe di
interazioni che avremmo dovuto vincolare a 0 ma che omettiamo,
siamo costretti a restringere la portata dell’ultima indipendenza
condizionata.
Nel nostro esempio, se la variabile X4 fosse binaria, non avremmo
scelta: dobbiamo omettere le interazioni 124 e 1234 con X4 al livello
1, quindi restiamo con 1⊥⊥2 | (3, 4) per tutti i valori di X3 ma con X4
fissata al livello iniziale.
Se invece X4 avesse k > 2 livelli, l’indipendenza 1⊥⊥2 | (3, 4) sarà
valida sempre, tranne che per uno dei livelli di X4 che possiamo
scegliere arbitrariamente.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Indipendenze con limitazioni di contesto
Se l’algoritmo convergesse ad una soluzione unica, significherebbe
che la parametrizzazione adottata è smooth.
Tuttavia, se qualcuno degli elementi di H appartiene alle classe di
interazioni che avremmo dovuto vincolare a 0 ma che omettiamo,
siamo costretti a restringere la portata dell’ultima indipendenza
condizionata.
Nel nostro esempio, se la variabile X4 fosse binaria, non avremmo
scelta: dobbiamo omettere le interazioni 124 e 1234 con X4 al livello
1, quindi restiamo con 1⊥⊥2 | (3, 4) per tutti i valori di X3 ma con X4
fissata al livello iniziale.
Se invece X4 avesse k > 2 livelli, l’indipendenza 1⊥⊥2 | (3, 4) sarà
valida sempre, tranne che per uno dei livelli di X4 che possiamo
scegliere arbitrariamente.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Teorema del punto fisso
Una coppia di passi dell’algoritmo LM può essere visto come la
funzione
(s−1)
(s)
θ H = ξ(θ H );
che, a partire da una stima iniziale, la aggiorna; sia J lo jacobiano
della derivata di ξ rispetto a θ 0H , essa ci dice come cambia il risultato
in un passo per cambiamenti locali del vettore di partenza.
Uno dei risultati fondamentali dice che, se esiste almeno una
soluzione dell’equazione θ H = ξ(θ H ), allora la condizione necessaria
e sufficiente affinchè l’algoritmo converga ad un’unica soluzione a
prescindere dal valore iniziale è che ρ(J), il raggio spettrale (il
massimo autovalore in valore assoluto) sia strettamente minore di 1
su tutto lo spazio parametrico.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Teorema del punto fisso
Una coppia di passi dell’algoritmo LM può essere visto come la
funzione
(s−1)
(s)
θ H = ξ(θ H );
che, a partire da una stima iniziale, la aggiorna; sia J lo jacobiano
della derivata di ξ rispetto a θ 0H , essa ci dice come cambia il risultato
in un passo per cambiamenti locali del vettore di partenza.
Uno dei risultati fondamentali dice che, se esiste almeno una
soluzione dell’equazione θ H = ξ(θ H ), allora la condizione necessaria
e sufficiente affinchè l’algoritmo converga ad un’unica soluzione a
prescindere dal valore iniziale è che ρ(J), il raggio spettrale (il
massimo autovalore in valore assoluto) sia strettamente minore di 1
su tutto lo spazio parametrico.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Matrici di covarianza binarie
Le colonne della matrice X possono essere viste come delle variabili
binarie con distribuzione di probabilità data appunto da µ, cioè, ogni
elemento del vettore dei valori medi è il
valore atteso di una variabile binaria . Si può dimostrare inoltre che
∂µU
= X0U diag(p)XV − µU µ0V = V U V
∂θ 0V
è la matrice di varianza-covarianza delle variabili binarie associate
alle colonne U, V di X, le quali, ricordiamo, indicizzano delle
interazioni log-lineari.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Lo jacobiano
Sviluppando i risultati precedenti, si può dimostrare che lo jacobiano
dell’algoritmo può essere calcolato analiticamente ed ha la seguente
espressione
−1
−1
J = [V HH − V HR V −1
RR V RH ] [V HH − V HM V MM V MH ],
in cui è possibile riconoscere le espressioni della varianza residua
della variabili binarie indicizzate da H nella regressione lineare
rispetto alle variabili in R e a quelle in M.
Siccome R ⊂ M, si possono applicare dei risultati di algebra lineare
(vedasi ad es. Horn e Johnson, Teorema 7.3.3) per cui
il raggio spettrale è sempre minore o al massimo pari a 1 .
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Lo jacobiano
Sviluppando i risultati precedenti, si può dimostrare che lo jacobiano
dell’algoritmo può essere calcolato analiticamente ed ha la seguente
espressione
−1
−1
J = [V HH − V HR V −1
RR V RH ] [V HH − V HM V MM V MH ],
in cui è possibile riconoscere le espressioni della varianza residua
della variabili binarie indicizzate da H nella regressione lineare
rispetto alle variabili in R e a quelle in M.
Siccome R ⊂ M, si possono applicare dei risultati di algebra lineare
(vedasi ad es. Horn e Johnson, Teorema 7.3.3) per cui
il raggio spettrale è sempre minore o al massimo pari a 1 .
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Condizione equivalente
Si può dimostra che una condizione necessaria e sufficiente affinché
il raggio spettrale sia minore di 1 è che la seguente matrice
FIH;R = V IH − V IR V −1
RR V RH
sia di rango pieno.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Raggio spettrale pari a 1
In particolare, se scegliessimo tutti gli elementi di H, cioè le
interazioni da omettere, fra quelle che non abbiamo bisogno di
vincolare, allora si dimostra che la matrice FIH;R è nulla e J è
esattamente pari ad una matrice identità.
Nel nostro esempio, potremmo scegliere un congruo numero di
elementi delle interazioni 134, 234. Se l’algoritmo ... convergesse,
non dovremmo restringere il contesto della indipendenza 1⊥⊥2 | (3, 4).
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Raggio spettrale pari a 1
In particolare, se scegliessimo tutti gli elementi di H, cioè le
interazioni da omettere, fra quelle che non abbiamo bisogno di
vincolare, allora si dimostra che la matrice FIH;R è nulla e J è
esattamente pari ad una matrice identità.
Nel nostro esempio, potremmo scegliere un congruo numero di
elementi delle interazioni 134, 234. Se l’algoritmo ... convergesse,
non dovremmo restringere il contesto della indipendenza 1⊥⊥2 | (3, 4).
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Raggio spettrale pari a 1
Ma, siccome FIH;R è nulla, quindi, sicuramente non di rango pieno,
l’algoritmo non converge.
In particolare, siccome lo jacobiano è una matrice identità, l’algoritmo
rimane esattamente al punto di partenza, a prescindere dal valore
iniziale prescelto. Quindi, un identico vettore di parametri log-lineari e
medi corrisponde ad un insieme di vettori di probabilità, cioè la
parametrizzazione non è smooth.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Altro esempi
Consideriamo il modello: 1⊥⊥2 | 3, 1⊥⊥3 | 4 e 1⊥⊥(2, 3) | (4, 5) .
Qui l’ultimo indipendenza richiede di vincolare in 12345 le interazioni
I = {12, 123, 13, 134} già vincolate nelle marginali 123, 134; affinché
FIH;R sia di rango pieno occorre omettere le interazioni H =
{125, 1235, 135, 1345} con X5 fissata ad un certo livello.
Cosi facendo però avremo che, in 12345, 1⊥⊥(2, 3) | (4, 5) per tutte le
configurazioni di X4 , X5 tranne quelle in cui X5 è fissato ad una certa
categoria.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Altro esempi
Consideriamo il modello: 1⊥⊥2 | 3, 1⊥⊥3 | 4 e 1⊥⊥(2, 3) | (4, 5) .
Qui l’ultimo indipendenza richiede di vincolare in 12345 le interazioni
I = {12, 123, 13, 134} già vincolate nelle marginali 123, 134; affinché
FIH;R sia di rango pieno occorre omettere le interazioni H =
{125, 1235, 135, 1345} con X5 fissata ad un certo livello.
Cosi facendo però avremo che, in 12345, 1⊥⊥(2, 3) | (4, 5) per tutte le
configurazioni di X4 , X5 tranne quelle in cui X5 è fissato ad una certa
categoria.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Altro esempi
Consideriamo il modello:
1⊥⊥2 | (3, 4), 1⊥⊥2 | (3, 5), 1⊥⊥2 | (4, 5) e 1⊥⊥2 | (3, 4, 5) .
Qui l’insieme della interazioni che l’ultimo indipendenza richiede di
vincolare di nuovo è troppo grande e non esiste un numero sufficiente
di interazioni non ancora vincolate da omettere in sostituzione. In
pratica sembra sia possibile replicare solo I = 12 sostituendolo con
H = 12345 con le variabili 3, 4, 5 fissate.
Il fatto che nessuna delle interazioni in
{123, 1234, 124, 1235, 125, 1245}
può essere ridefinita in 12345 implica che, potendo vincolare a 0 solo
12, avremo che 1⊥⊥2 | (3, 4, 5) solo nella configurazione in cui X3 .X4 .X5
sono pari al livello iniziale.
Varietà algebriche
Modelli con singolarità
L’algoritmo LM
Altro esempi
Consideriamo il modello:
1⊥⊥2 | (3, 4), 1⊥⊥2 | (3, 5), 1⊥⊥2 | (4, 5) e 1⊥⊥2 | (3, 4, 5) .
Qui l’insieme della interazioni che l’ultimo indipendenza richiede di
vincolare di nuovo è troppo grande e non esiste un numero sufficiente
di interazioni non ancora vincolate da omettere in sostituzione. In
pratica sembra sia possibile replicare solo I = 12 sostituendolo con
H = 12345 con le variabili 3, 4, 5 fissate.
Il fatto che nessuna delle interazioni in
{123, 1234, 124, 1235, 125, 1245}
può essere ridefinita in 12345 implica che, potendo vincolare a 0 solo
12, avremo che 1⊥⊥2 | (3, 4, 5) solo nella configurazione in cui X3 .X4 .X5
sono pari al livello iniziale.